"AI로 구축한 400개 테스트 스위트"… Fable+Sol 에이전트 활용 사례

요약

Mitchell Hashimoto는 Ghostty 개발 과정에서 Fable과 Sol이라는 두 LLM 에이전트를 활용해 400개 이상의 테스트 케이스를 구축하고 자동화했다. 이 테스트 환경은 Kitty와 Ghostty의 PTY 스트림을 캡처해 바이트 단위로 비교하고, 스크린샷을 통해 시각적 일관성을 검증하는 방식을 취했다. 작업은 하네스 구축, 병렬 테스트 케이스 생성, 상호 검증 및 중복 제거의 4단계 루프를 거쳐 진행되었다. 개발자는 LLM이 생성한 테스트 세트를 직접 검토하는 방식으로 AI의 도움을 받았으며, 이를 통해 스펙 분석과 코드 구현 등 핵심적인 엔지니어링 작업에 집중할 수 있었다. 결과적으로 모든 테스트를 통과했으며, 검증에 사용된 테스트 세트와 하네스는 향후 오픈소스로 공개될 예정이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.