참고Reddit
단일 Postgres 기반 경량 LLM 관측성 도구 'Spanlight' 오픈소스 공개
별도 인프라 없이 Postgres만으로 LLM 호출 추적 및 비용 관리가 가능한 대안 도구.
요약
오픈소스 LLM 관측 도구인 Spanlight가 공개되어 LLM 애플리케이션의 프롬프트, 응답, 지연 시간, 토큰 사용량, 비용, 오류 등을 추적할 수 있게 되었다. 이 도구는 도커 이미지 1개와 Postgres 데이터베이스 1개만으로 자가 호스팅이 가능한 구조를 갖췄으며 핵심 코드는 MIT 라이선스로 제공된다. 주요 기능으로는 트레이스(Trace) 검색 및 세션별 채팅 뷰, 사이드 바이 사이드 비교, 그리고 단계별 추적 보기가 포함된다. 또한 버전별 가격 테이블을 기반으로 호출당 비용을 계산하며, Anthropic이나 OpenAI 관리자 키 또는 CSV 업로드를 통해 실제 청구 금액과 비교하는 기능을 제공한다. 설정한 예산을 초과할 경우 경고를 보내거나 60초마다 게이트웨이 호출을 차단하는 예산 관리 기능도 지원한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built Spanlight, an open-source LLM observability tool that runs on one Postgres. Looking for honest feedback
원문 보기 ↗