참고Reddit
에이전트 평가 도구 'skillEd' 오픈소스 공개
에이전트 성능 평가 및 버그 리포트의 재현성 확보를 고민하는 개발자라면 테스트 프레임워크로 검토할 만함.
요약
Apache-2.0 기반의 LLM 기술 평가 툴킷 'skillEd' 개발자가 도구의 실무적 유용성을 검증하기 위한 피드백을 요청했다. 개발자는 사용자가 직접 합성 기술과 사례를 테스트하고, 생성된 평가 보고서에서 입력값, 기대 동작, 실제 출력, 재현 명령어를 확인하는 과정을 거쳐 문제점을 찾길 바라고 있다. 특히 보고서에서 불명확한 부분이나 필요한 문서가 누락된 지점을 파악하는 것이 핵심 목표다. 참여를 원하는 개발자는 GitHub 저장소(https://github.com/DeadHead04/skillEd)에서 툴킷을 실행해 보고 이슈를 제기할 수 있다. 보안을 위해 민감한 데이터는 제외하고 보고해야 하며, 스크린샷보다는 상세한 재현 과정 중심의 피드백을 권장한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 A focused skillEd test: can you reproduce one failing case from its report?
원문 보기 ↗