메시지 기반 AI 에이전트 설계: 지연시간 해결을 위한 2단계 패턴

요약

iMessage 기반 AI 어시스턴트인 'dexi' 개발 과정에서 인터페이스가 없는 서비스의 대기 시간(latency) 관리가 핵심 과제로 떠올랐다. 메시지 기반 환경에서는 로딩 표시나 토큰 스트리밍을 구현할 수 없어 약 10초 이상의 지연이 발생하면 사용자가 무시당했다고 느껴 대화가 끊기는 문제가 발생한다. 이를 해결하기 위해 저비용 고속 모델이 사용자의 의도를 즉시 파악해 구체적인 내용을 포함한 응답을 먼저 전달하고, 이후 고비용 모델이 실제 작업을 수행하는 'two-model' 패턴을 도입했다. 단순한 "처리 중입니다"와 같은 기계적인 응답은 신뢰도를 떨어뜨리므로, 대기 시간 동안 사용자의 요청을 정확히 이해했음을 증명하는 구체적인 확인 메시지를 전달하는 것이 중요하다. 결론적으로 인터페이스가 없는 환경에서 지연 시간은 인격(personality)으로 작용하며, 이를 자연스럽게 메꾸는 것이 사용자 경험의 핵심이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.