참고X
에단 몰릭: LLM 벤치마크, 과거 데이터로 판단하면 안 되는 이유
최신 모델의 환각 및 편향성 개선으로 과거의 평가 결과가 무의미해짐. 모델 평가 시 최신 버전을 기준으로 재검증 필요.
요약
최신 LLM 모델들을 활용하여 과거 AI 연구 결과를 대규모로 재검증하자는 아이디어가 주목받고 있다. 많은 기존 AI 관련 통설이 빠르게 구식화되고 있기 때문이다. 최근 모델들은 과거에 비해 할루시네이션(환각) 발생률이 낮아졌고 인용 출처를 지어내는 문제도 개선되었다. 또한 스테레오타이핑(고정관념) 문제 역시 완화되는 추세이다. 그러나 여전히 모델들은 사용자의 의견에 동조하는 '사이코펀시(sycophancy)' 현상과 정치적 편향성(좌파 성향) 문제를 안고 있는 것으로 나타났다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @emollick: This is a fantastic idea - a mass attempted replication of old findings of LLMs with new models. Much conventional wisdom is outda
원문 보기 ↗