DoorDash, LLM 검색 비용 98% 절감한 아키텍처

요약

DoorDash는 LLM의 내장 웹 검색 기능을 별도 검색 API로 분리하여 검색 의도 분류 정확도를 유지하면서도 검색 비용을 98% 이상 절감했다. 여러 AI 에이전트가 공유하는 중앙 집중식 검색 게이트웨이를 구축해 모델과 검색 업체를 독립적으로 교체할 수 있는 유연성을 확보했다. 또한, 동일하거나 유사한 질문의 검색 결과를 재사용하는 캐싱 전략을 도입하여 중복 호출을 효과적으로 차단했다. 그 결과, 캐시가 적용된 상태에서는 초기 실행 대비 평균 지연 시간이 68% 감소하고 검색 비용은 99% 이상 절감되는 성과를 거뒀다. 이 구조는 검색 결과의 제목, URL 등을 기반으로 최적화된 관리를 지원하며, 장애 시 대체 업체 전환 등을 설정으로 손쉽게 제어할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.