참고팁Reddit
LLMOps 오픈소스 도구 144종 정리 리스트 공개
프롬프트 관리, 테스트, 모니터링, 트레이싱까지 LLM 서비스 운영에 필요한 오픈소스 툴셋을 카테고리별로 모아둔 유용한 큐레이션.
요약
한 Reddit 사용자가 프로덕션 환경에서 프롬프트를 테스트, 버전 관리, 모니터링할 수 있는 144개의 오픈소스 도구 목록인 'awesome-llmops-platforms'를 GitHub에 공개했다. 이 목록은 프로프트 관리, 평가 및 테스트, 올인원 플랫폼, 관찰 가능성 및 추적 등 9개 카테고리로 분류되어 실무자의 접근성을 높였다. 주요 도구로는 프로프트 관리 분야의 prompty와 aiconfig, 테스트를 위한 promptfoo와 deepeval, 올인원 플랫폼인 Langfuse와 MLflow 등이 포함되어 있다. 특히 프로덕션 배포 후 발생하는 버전 관리, 비용 추적, 성능 저하 등의 문제를 해결하려는 개발자들에게 유용하다. 해당 목록은 GitHub 저장소를 통해 매주 업데이트되며 실무에서 직접 호스팅하여 사용할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I made a list of 144 open-source tools for testing, versioning and monitoring prompts in production, sorted by stars and refreshed weekly
원문 보기 ↗