LLM의 공간 추론 능력은 어느 정도인가? 샌프란시스코 지리 벤치마크 결과

요약

최근 샌프란시스코의 지리 정보를 학습한 6개 LLM이 지도나 웹 접근 없이 41,526개의 좌표 지점이 무엇인지 식별하는 성능 테스트가 진행되었습니다. 테스트 결과, 최고 성능의 모델도 전체 86%의 정확도를 기록했으나, 이는 '물이나 공원이 아님'이라고만 답하는 단순 베이스라인의 61%와 큰 차이가 없는 수준입니다. 모델들은 골든게이트 파크나 해안선 같은 주요 지형은 파악했지만, 복잡한 도시의 도로망을 이해하는 데는 어려움을 겪었습니다. 특히 마리나 지역의 500m 블록 테스트에서 최고 모델의 도로 식별 점수는 0.32점에 그쳐, 무작위 추측인 0.23점과 비교했을 때 지리에 대한 깊은 이해도가 부족함이 드러났습니다. 이러한 결과는 LLM이 명시적인 공간 데이터 없이 파라미터 내 저장된 기억만으로 정교한 지리 정보를 추론하는 데 한계가 있음을 시사합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.