참고Reddit
Grok 4.6, 환각 억제력 대폭 강화…비공개 지표 확인됨
비환각율(Non-Hallucination Rate)이 45.9%에서 65.7%로 개선. 에이전트 신뢰도가 중요한 프로젝트라면 Grok 4.6 평가를 고려하세요.
요약
xAI가 출시한 Grok 4.6은 Intelligence Index 61, Coding 76.8, Agentic 58.7을 기록하며 GPT-5.6 Sol과 대등한 벤치마크 성능을 보였다. 이번 업데이트에서 주목할 핵심 수치는 'AA-Omniscience Non-Hallucination Rate'로, 모델이 정답을 모를 때 이를 꾸며내지 않고 '모른다'고 답하는 비율을 의미한다. Grok 4.6의 해당 수치는 65.7%로, 이전 버전인 Grok 4.5의 45.9% 대비 큰 폭으로 향상되어 모델의 교정 능력(calibration)이 비약적으로 개선되었다. 반면 경쟁 모델인 GPT-5.6 시리즈의 해당 수치는 7.4~12.1% 수준에 그쳐 모르는 질문에 대해 지어낼 확률이 여전히 높다. xAI는 공식 발표에서 이 수치를 언급하지 않았으나, 실무 관점에서는 코딩 지표 소폭 상승보다 모델의 환각을 방지하는 이러한 신뢰도 개선이 에이전트 구축에 더 중요하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Grok 4.6's most important number is one xAI didn't even advertise
원문 보기 ↗