← promppy_ 실시간 AI 뉴스
참고팁Reddit

AI 에이전트 버전별 성능 및 비용 비교 도구 'harness-evals' 오픈소스 공개

프롬프트나 툴 변경이 실제 성능 향상으로 이어지는지 검증하는 에이전트 평가용 라이브러리.

요약

AI 에이전트 개발 시 프롬프트나 도구 변경이 성능에 미치는 영향을 비교할 수 있는 오픈소스 라이브러리 'harness-evals'가 공개되었다. 이 도구는 에이전트의 성공률, pass^k, 비용, 지연 시간을 분석하며 성공-비용 그래프와 실패 맵 기능을 제공하여 구체적인 성능 평가를 지원한다. 특정 의존성 없이 MIT 라이선스로 배포되며, GitHub를 통해 직접 설치 및 사용할 수 있다. 개발자는 테스트 작업과 에이전트 실행 어댑터를 작성하여 여러 버전을 반복 테스트함으로써 개선 여부를 정량적으로 확인할 수 있다. 현재 r/LLMDevs 커뮤니티에서 에이전트 성능 평가 도구로 주목받고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 I made a small library for comparing agent versions (success vs cost plots, failure maps). What do you use?

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스