참고Reddit
Cohere의 벤치마크 방법론 논란: r/LocalLLaMA 커뮤니티 반발
특정 모델 폄하 의혹이 제기된 벤치마크 결과. 성능 비교 자료 해석 시 방법론 검증 필요.
요약
최근 Cohere가 Qwen 3.8 Flash Next 모델을 대상으로 수행한 실험 관련 블로그 게시물이 Reddit의 r/LocalLLaMA 커뮤니티에서 비윤리적이라는 비판을 받고 있다. 해당 게시물은 사전 채우기(pre-filling)와 프롬프트 엔지니어링을 과도하게 활용해 모델이 cURL 명령어를 완성하도록 강제하는 방식을 사용하여 비과학적이라는 지적을 받았다. 비판자들은 Cohere가 실험에 사용한 모델이 정식 출시 버전이 아닌 미완성 아키텍처 데모에 불과하다고 꼬집었다. 이번 논란은 Cohere가 캐나다 정부로부터 최대 16억 달러 규모를 포함한 대규모 시리즈 E 펀딩을 발표한 시점에 발생하여 더욱 주목받고 있다. 업계 관계자들은 이러한 마케팅성 실험이 모델 성능에 대한 오해를 불러일으킬 수 있다는 점을 경계하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Arguably unethical behavior from Cohere
원문 보기 ↗