LLM 벤치마크 신뢰성 논란, '펠리컨 벤치마크' 심층 분석

요약

AI 연구자 사이먼 윌리슨이 시작한 '자전거 타는 펠리컨 SVG 생성'은 비공식적이지만 유명한 LLM 벤치마크로 자리 잡았습니다. AI 랩들이 의도적으로 해당 벤치마크 성능을 최적화하는 '펠리컨맥싱(pelicanmaxxing)'을 할 가능성에 대한 의문이 제기되었습니다. 이에 8개 동물과 6개 탈것 조합으로 총 48개의 프롬프트를 구성하여 7개 프런티어 모델을 대상으로 실험이 진행되었습니다. 1,008개의 SVG 파일을 생성하고 LLM 판사 및 Claude Fable 5를 통해 분석한 결과가 도출되었습니다. 전체 실험 코드와 상세 데이터는 깃허브(Github)를 통해 공개되어 있으며, 구체적인 모델별 성능 결과는 본문에서 확인할 수 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.