참고팁Reddit
지원용 AI 에이전트, '상태 없음(Stateless)' 설계가 유리한 이유
실시간 데이터 참조와 문맥 관리 비용 최적화를 위해 메모리를 배제한 에이전트 아키텍처 사례입니다.
요약
Orca 개발팀은 코드나 벡터 저장소, 메모리 없이 5개의 마크다운 파일로 구성된 지원용 챗봇을 출시했습니다. 이 챗봇은 사용자의 질문에 답할 때 매번 실시간 문서를 참조하여 답변하며, 답변 근거가 되는 URL을 함께 제시합니다. 메모리 기능을 배제한 첫 번째 이유는 제품 업데이트 속도가 빨라 기존의 답변이 쉽게 구형 정보가 되기 때문입니다. 두 번째 이유는 챗봇이 매번 불특정 다수의 새로운 사용자를 상대하므로, 이전 대화 맥락을 기억하는 것이 오히려 부정확한 정보를 제공할 위험이 있다고 판단했기 때문입니다. 결과적으로 이 챗봇은 정보를 '기억'하는 것이 아니라, 필요할 때마다 올바른 정보를 '찾는' 방식의 지식 체계를 따릅니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Our support bot has no memory, on purpose. Staleness was the obvious reason. The real one is that it talks to strangers all day.
원문 보기 ↗