참고Reddit
환각 현상 방지에 특화된 오픈소스 로컬 LLM 'Tilelli' 공개
환각 억제 성능을 강조한 모델로, 로컬 환경에서 신뢰성 검증이 필요한 프로젝트라면 테스트해볼 가치가 있음.
요약
Tilelli LLM은 LLM의 고질적인 문제인 환각 현상을 해결하기 위해 개발된 오픈소스 모델이다. 이 모델은 모놀리식 구조 대신 3개의 전문 경로를 활용하는 'Per-Token Routing' 기술을 적용했다. 이를 통해 정보가 부족할 경우 엉뚱한 답변을 생성하는 대신 '모른다'고 솔직하게 거절하는 능력을 갖췄다. 실제로 난해한 질문에 대해 AUROC 0.93의 높은 정직도를 보이며, 분포 외 데이터도 깔끔하게 거부한다. 현재 성능 격차를 줄이기 위해 Ternary 버전도 개발 중이며, 모든 소스 코드는 GitHub와 HuggingFace를 통해 투명하게 공개되어 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Finally, an open-source local LLM that says "I don't know" when it does not know instead of hallucinating 🤫
원문 보기 ↗