LLM 비용 절감을 위한 'System 1+2' 아키텍처: 소형 분류 모델 도입 전략

요약

Jev와 같은 소형 분류 모델이 기존 LLM 대비 100배 빠르고 200배 저렴하다는 점에 주목하여, AI 시스템의 효율성을 높이기 위한 'System 1 + System 2' 아키텍처가 제안되었다. 반복적인 단순 의사결정은 Jev와 같은 고속 분류 모델(System 1)이 처리하고, 복잡한 추론이 필요한 작업은 강력한 LLM(System 2)이 담당하는 방식이다. 이를 통해 값비싼 LLM 호출 빈도를 획기적으로 줄여 비용을 절감할 수 있다. 현재 제안자는 단순 분류 작업을 자동화하는 '적응형 AI 분류 하네스(adaptive AI classification harness)' 도구 구축을 검토 중이다. 분류 모델은 코드 생성이나 복잡한 추론은 불가능하지만, 미리 정의된 선택지 내에서 의사결정을 내리는 데 최적화되어 있어 실무적 활용 가치가 높다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.