참고Reddit
모델 성능 저하 논란 검증 프로젝트 'LiveNerf', Fable 5.2(페이블 5.2) 데이터 공개
모델 버전 업데이트에 따른 성능 변화를 실시간으로 추적하는 프로젝트로, 실제 개발 환경에서 모델 안정성 판단에 참고 가능.
요약
Reddit의 r/ClaudeAI 커뮤니티에서 Claude 모델의 성능 저하 여부를 확인하는 'LiveNerf' 프로젝트의 3일 차 업데이트가 진행되었습니다. 9월 24일 출시된 Opus 5.5와 Fable 5.2를 대상으로 매일 동일한 78개의 질문(GPQA Diamond, MMLU-Pro 등 포함)을 수행하여 성능 변화를 추적 중입니다. 현재까지의 Opus 결과는 초기 10일간의 기준점인 58.4% 대비 오늘 60.3%로, 통계적으로 유의미한 성능 저하는 관찰되지 않았습니다. 매일 약간의 변동성은 존재하지만, 사전 등록된 매개변수 내에서 확인한 결과 일반적인 성능 하락은 발견되지 않았습니다. 상세한 추적 데이터와 방법론은 GitHub 저장소(ninjahawk/livenerf)를 통해 투명하게 공개되고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Will They Nerf Fable 5.2? LiveNerf Day 3 Update for Fable 5.2
원문 보기 ↗