중요팁Reddit
LLM 환각 억제하는 SRM-LoRA 기법, ICML 워크샵 채택
LoRA 그래디언트만 조정해 추론 비용 증가 없이 사실성 개선. 파인튜닝 환각 문제에 참고할 접근.
요약
최근 ICML 2024 워크숍(FoGen)에서 발표된 'SRM-LoRA'는 LLM의 할루시네이션(환각)을 완화하기 위해 고안된 새로운 미세 조정 기법이다. 이 기법은 하위 리만 기하학(sub-Riemannian geometry)에서 영감을 받아 LoRA 파라미터 공간에서의 역방향 그래디언트를 재구성하는 민감도 기반 리만 메트릭을 구축한다. SRM-LoRA는 비용이 높은 업데이트 방향을 억제함으로써 모델의 사실적 신뢰성을 향상시키며, 추론 과정의 연산 비용은 전혀 증가시키지 않는다는 장점이 있다. HaluEval-QA 데이터셋으로만 학습했음에도 불구하고, 관련 벤치마크와 분포 외(OOD) 벤치마크 모두에서 향상된 성능을 입증했다. 공식 구현 코드는 GitHub의 'genji970/SRM-LoRA' 저장소에서 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 LLM hallucination paper(using math) accepted to ICML workshop[R]
원문 보기 ↗