Gemini의 '확신에 찬 오답' 현상 분석

요약

Reddit의 한 개발자가 Gemini 2.5 Flash를 활용해 학습 데이터에 없는 미래 주가 예측 데이터를 90일 이상 수집하는 타임락 데이터셋을 구축했다. 해당 프로젝트는 모델이 Google Search grounding을 통해 매일 10일 후 주가 방향, 심리, 확신도를 예측하도록 설계되었다. 실험 결과, 모델이 가장 높은 확신도(0.8~0.9 구간)를 보일 때 오히려 정확도가 28% 수준으로 떨어지는 현상이 관찰되었다. 전반적인 글로벌 ECE(Expected Calibration Error)는 0.217로 나타났으며 모델은 확신도가 높을수록 더 자주 틀리는 경향을 보였다. 또한 하방 위험을 강조하도록 프롬프트를 조정했을 때는 오히려 과도하게 하락을 예측하는 등 부정확한 결과를 보였다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.