참고Reddit
LLM의 물리적 세계 모델링: JEPA 기반 시뮬레이션 학습 제안
LLM의 추상적 지식과 물리적 세계의 이해 간 괴리를 줄이기 위한 JEPA 기반 학습 접근법 논의. 최신 연구 트렌드 참고.
요약
최근 Reddit r/MachineLearning에서는 LLM의 물리적 이해력 부족을 극복하기 위해 JEPA(Joint-Embedding Predictive Architecture) 기반의 월드 모델을 시뮬레이션 환경에서 학습시키는 아이디어가 논의되고 있다. 현재 LLM은 단순히 토큰 간의 통계적 관계를 학습할 뿐 물리 법칙을 실질적으로 이해하지 못하는 일종의 '메리의 방(Mary's Room)' 문제에 직면해 있다. 대안으로 MuJoCo와 같은 물리 시뮬레이션 내에서 미래 상태를 추상적인 임베딩 공간으로 예측하는 JEPA 모델을 학습시키는 방식이 제안되었다. 이 방식은 픽셀이나 토큰 예측보다 물리적 오류에 더 민감하게 반응하여 모델이 객체 영속성, 관성, 궤적 등 실제 물리적 구조를 임베딩 공간에 체득하도록 유도할 수 있다. 물리적 법칙을 어길 시 손실 함수가 즉각적인 피드백을 제공하므로 기존 차세대 토큰 예측보다 정교한 물리적 직관을 학습할 가능성이 높다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Grounding LLMs with JEPA-based world models trained in simulation — has this been tried? [D]
원문 보기 ↗