참고팁X
DoorDash의 AI 에이전트 'Vera' 성능 최적화 사례 공개
에이전트 성능 향상을 위한 데이터 가이드(Cheat Sheet) 및 계획 단계 도입 등 실무적 최적화 전략 제시.
요약
DoorDash는 자체 AI 에이전트 'Vera'가 동일한 모델을 사용한 일반 Claude Code 대비 벤치마크 점수에서 25점 높은 성과를 기록했다고 밝혔다. 1만 명 이상의 직원이 업무 관련 질문을 하면 Vera가 사내 데이터를 기반으로 답변하며, 정답률은 기존 43%에서 90%까지 향상되었다. 이 시스템의 핵심은 신뢰할 수 있는 데이터와 비즈니스 용어를 정의한 '치트 시트'를 활용하고, 검증된 소스만 접근하도록 제한한 점이다. 또한 슬랙과 지라 등 실제 현업 질문을 바탕으로 1,900개 이상의 테스트 세트를 구축해 정확도를 높였다. 복잡한 질문에는 AI가 먼저 계획을 수립하고 사람이 이를 승인하는 절차를 두어 답변 신뢰성을 확보했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @undefinedKi: DoorDash just published how their AI agent works. It beat plain Claude Code by 25 points using the exact same model They call it V
원문 보기 ↗