참고팁X
코인베이스가 공유한 사내 AI 에이전트 테스트 자동화 워크플로우
에이전트 개발 시 테스트 자동화 파이프라인(LLM 기반 Judge, 레드팀) 구축을 위한 구체적인 방법론 제시.
요약
Coinbase가 AI 고객 지원 구축 및 테스트를 위해 사내에서 사용하는 에이전트 워크플로우를 공개했으며, 이를 통해 최대 2주가 소요되던 테스트 주기를 1시간 이내로 단축했다. 해당 워크플로우는 영업, 코드 리뷰, 송장 처리 등 거의 모든 에이전트 개발에 적용 가능하다. 구체적인 과정은 에이전트가 실제 고객 상담을 분석하여 대응 절차를 수립하고, 이를 바탕으로 테스트 케이스를 생성하는 방식이다. 이후 봇과 테스트 유저 간 가상 대화를 실행하고, 다른 에이전트가 프롬프트 인젝션 등의 공격을 시뮬레이션하여 취약점을 점검한다. 마지막으로 LLM 저지가 대화를 평가하여 통과 여부를 결정하며, 최종적으로 사람이 승인하는 체계를 갖췄다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @undefinedKi: Coinbase just shared the full agent workflow they run inside the company They use it to build and test their AI support. A test cy
원문 보기 ↗