AI 벤치마크 'AA', 오픈소스 모델 배제 논란

요약

최근 Reddit의 r/LocalLLaMA 커뮤니티에서 Artificial Analysis(AA)의 모델 성능 평가 지표가 논란이 되고 있다. AA의 최신 버전인 v5.0 인덱스 차트에서 'Most Attractive Quadrant(가장 매력적인 사분면)'에 오픈 웨이트 모델이 단 하나도 포함되지 않은 결과가 확인되었다. 과거 버전에서는 DeepSeek, GLM, Kimi, Qwen과 같은 오픈 웨이트 모델들이 매력적인 모델로 언급되었으나, 이번 v5.0 업데이트에서는 이들이 파레토 최적선 근처에도 배치되지 않았다. 사용자는 AA의 인덱스가 실무 환경을 제대로 반영하지 못하고 있다고 비판하며, 앞으로는 메인 지표 대신 보조 벤치마크를 참고하겠다는 반응을 보이고 있다. 현재 AA의 평가 업데이트가 진행 중인 상황에서도 오픈 웨이트 모델이 매력적인 영역에 진입하지 못하는 경향은 유지되고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.