LLM을 평가자로 쓸 때의 가성비 비교: MiniMax(미니맥스) vs DeepSeek(딥시크) vs GLM

요약

Imperial College London의 AI 석사 과정 학생이 긴 입력값 처리를 위한 저비용 LLM 평가 모델(judge)의 성능을 평가하는 OptBench 프로젝트 결과를 공유했다. 총 57개의 답변을 대상으로 14k~37k 문자 길이의 긴 프롬프트를 사용하여 3개 모델을 테스트한 결과, MiniMax-M3.1-Flash가 Spearman 상관계수 0.83으로 가장 높은 성능을 보였고 DeepSeek-V4.1-Flash(0.81), GLM-5.3-Flash(0.74)가 뒤를 이었다. 비용 측면에서는 GLM-5.3-Flash가 건당 0.00029달러로 가장 저렴했으며 가장 빠른 3.8초의 응답 속도를 기록했다. 다만 모델 선택 시 단순 상관계수뿐 아니라 실제 파싱 실패율도 중요한 고려 요소임이 드러났다. 특히 MiMo 모델의 경우 56개 항목 중 21개에서 분석 불가능한 응답을 반환하여 실제 실무 적용 시 주의가 필요하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.