Anthropic이 제안하는 비용 최적화: '어드바이저'와 '오케스트레이터' 구조

요약

Anthropic의 비용 최적화 가이드에 따르면, 다중 모델 구조가 비용 효율성을 확보하는 경우는 '조언자(advisor)'와 '오케스트레이터(orchestrator)'라는 두 가지 형태뿐입니다. 첫 번째인 '조언자' 모델은 저비용 모델이 작업을 수행하다 막힐 때만 Frontier 모델을 호출하는 방식이며, Frontier 모델은 400~700 토큰 정도의 짧은 조언만 제공해 비용을 절감합니다. 두 번째인 '오케스트레이터' 모델은 Frontier 모델이 전체 계획과 위임을 담당하고, 저비용 모델이 토큰 소모가 많은 탐색 작업을 수행하는 방식입니다. 특히 첫 번째 방식에서는 저비용 모델이 스스로 막혔다는 것을 인지하는 '자기 인식' 능력이 핵심인데, 이 능력이 부족할 경우 성능 저하가 발생할 수 있습니다. 그 외의 다중 모델 조합은 기대만큼 비용 절감이나 성능 향상 효과가 크지 않은 것으로 나타났습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.