LLM 에이전트 기반 QA 워크플로우 'Agent QA Kit' 실험 결과

요약

오픈소스 QA 워크플로우인 'Agent QA Kit'은 기능을 구현하기 전 요구사항 티켓에 기반해 Claude Sonnet 기반 에이전트가 유닛 테스트와 브라우저 테스트를 먼저 작성하도록 설계되었다. 테스트는 반드시 초기에 실패해야 하며, 사람이 한 번 승인한 후 고정되는 방식이다. 기능이 구현된 후에는 Claude Haiku 기반 에이전트가 테스트를 실행하며, 실제 테스트 리포트와 대조하는 스크립트를 통해 검증이 이루어지므로 에이전트가 단독으로 결과를 판단하지 않는다. 데모 숍을 대상으로 17개의 티켓과 숨겨진 테스트, 고의적인 버그를 포함해 성능을 측정한 결과, 최신 버전은 6개의 티켓에 대한 21회의 시행에서 모두 통과했다. 또한, 해당 과정에서 심어둔 33개의 버그를 모두 찾아내는 성과를 거두었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.