LLM의 추론 오류 측정 벤치마크 'XYBench' 공개

요약

허깅페이스(HF)는 사용자의 잘못된 접근 방식을 바로잡고 실질적인 해결책을 제시하는 능력을 평가하는 벤치마크 'XYBench'를 공개했다. XYBench는 사용자가 목표(X) 달성을 위해 잘못된 방법(Y)을 질문하는 'XY 문제' 상황에서 AI가 오해를 파악하고 올바른 방향으로 유도하는지를 테스트한다. 프로그래밍, 요리, 수리 등 실생활과 관련된 8,115개의 질문으로 구성되었으며, EMNLP 2026에서 최우수 리소스 논문상을 수상했다. 카네기멜론대, NVIDIA, 존스홉킨스대 연구진이 공동 개발한 이 벤치마크는 LLM이 사용자의 질문 이면에 숨겨진 의도와 잘못된 전제를 파악하는 추론 능력을 측정한다. 현재 Claude Sonnet 4.6 등 주요 모델을 대상으로 평가를 진행하며 AI 어시스턴트의 문제 해결 역량 강화에 기여할 전망이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.