중요AI타임스
과기부, 독파모 2차 평가 성적표 전면 공개…벤치마크·정성평가 순위 엇갈려
모티프는 벤치마크 1위지만 전문가·사용자 평가서 하위권. 국산 LLM 실사용 검증의 한계 시사.
요약
과학기술정보통신부는 지난 27일 '독자 AI 파운데이션 모델(독파모)' 프로젝트 2차 단계평가 세부 점수를 전면 공개했다. 이번 평가는 벤치마크(AAII·NIA), 전문가 평가, 사용자 평가(AI 전문 사용자·일반국민)를 합산하여 진행되었다. 모티프테크놀로지스는 AAII 글로벌 벤치마크에서는 우수한 성적을 거뒀으나, 전문가 및 사용자 평가에서 점수가 낮아 종합 순위 하위권을 기록했다. 이번 결과 공개는 모티프테크놀로지스의 요청과 참여 기업들의 동의에 따라 이뤄졌다. 기술적 성능 지표와 실제 사용자 경험 간의 간극이 평가 결과에 반영됨에 따라, 향후 모델 평가 기준에 대한 실무적 시사점이 주목된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 과기부, 독파모 평가 성적표 전체 공개..."전문가·사용자 평가서 희비 갈려"
원문 보기 ↗