테스트 프레임워크 'Attest 1.1' 릴리즈: 에이전트 실행 과정 재현 및 검증
에이전트의 실제 실행 트레이스를 기록하여 CI 환경에서 API 호출 없이 재테스트 가능. 에이전트의 논리적 오류를 안정적으로 잡으려는 개발자에게 필수적.
요약
파이썬 및 타입스크립트 기반의 오픈소스 LLM 에이전트 테스트 프레임워크 'Attest'의 1.1 버전이 11월 10일 출시되었다. 기존 에이전트 테스트가 답변의 결과값만 확인하는 것과 달리, Attest는 에이전트의 전체 실행 과정을 캡처하고 CI 환경에서 모델 호출 없이 재현 및 검증할 수 있도록 지원한다. 특히 결제 API 오류와 같은 실제 인시던트 상황에서 에이전트가 중복 결제 등 비정상적인 행위를 수행하는지 로직을 파악하는 데 유용하다. attest capture 명령어를 통해 OpenAI와 Anthropic의 모델 통신과 OTLP 데이터를 기록하고, 민감 정보를 마스킹하며 휘발성 값을 템플릿화하여 추적한다. 별도의 유료 티어, 호스팅 서비스, 텔레메트리 없이 Apache-2.0 라이선스로 제공되어 실무자가 직접 인프라를 통제하며 에이전트 테스트를 수행할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Attest 1.1: capture an agent run, replay it in CI with zero model calls, and assert on what the agent did (open source, author here)
원문 보기 ↗