참고Reddit
비용 효율적인 모델 선택의 함정: 총 소유 비용(TCO) 관점의 분석
추론 비용만 보고 모델을 선택하면 검토 및 수정 비용 증가로 실제 업무 효율이 저하될 수 있음.
요약
단순히 호출당 비용이 저렴한 소형 LLM을 사용하는 것이 전체 업무 비용을 낮추는 것은 아니라는 분석이 제기되었습니다. 쉬운 작업에서는 소형 모델이 비용 절감 효과를 내지만, 난도가 높은 작업에서는 모델의 결과물이 부정확해 검토자가 직접 수정하는 시간이 더 소요되기 때문입니다. 결과적으로 모델 사용료는 줄어들지만, 사람이 투입되는 검토 및 수정 비용이 증가하여 전체 프로젝트 비용은 상승합니다. 특히 모델이 놓친 오류를 사후에 수정하는 데 드는 비용은 초기 추론 비용보다 훨씬 클 수 있습니다. 기업은 모델 사용료뿐만 아니라 검토 시간과 오류 수정 비용까지 포함한 전체 운영 비용을 측정해야 합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Using LLMs to measure what LLMs cost and why smaller models aren't always cheaper
원문 보기 ↗