참고팁X
오픈 웨이트 모델의 '과도한 생각(Overthinking) 세금'…추론 비용의 함정
토큰당 단가가 낮아도 긴 추론 과정으로 인해 실제 비용이 높을 수 있음. LLM 비용 효율화 시 토큰당 단가 외에 추론 길이를 고려해야 함.
요약
AI 프론티어(AI Frontier)와 마션(Martian)이 공개한 최신 연구에 따르면, 오픈 웨이트 모델들이 실제 해결 과제당 비용 효율성 측면에서 폐쇄형 모델보다 열세인 것으로 나타났다. 16개의 벤치마크와 수십 개의 LLM을 분석한 결과, 비용 대비 효율이 가장 낮은 8개 모델은 모두 Kimi, DeepSeek, Qwen, GLM 등의 오픈 웨이트 모델이었다. R1 스타일 모델들은 정답 도출을 위해 사고 과정(Chain of Thought)을 길게 생성하는데, 이 모든 사고 토큰이 출력 비용으로 청구되면서 이른바 '과잉 사고세(overthinking tax)'가 발생한다. 반면 폐쇄형 모델들은 강화 학습 시 길이 제어 등을 통해 필요한 만큼만 토큰을 사용하도록 정교하게 튜닝되어 있다. 토큰당 가격이 저렴하다고 해서 실제 총비용이 낮다는 보장은 없으므로, 향후 모델 선택 시 단순 토큰 가격이 아닌 실제 작업당 비용을 고려해야 한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: This chart will worry open-source labs! Researchers just measured the actual dollars models consume per solved task across dozens
원문 보기 ↗