참고Reddit
[Reddit(레딧)] 로컬 위키피디아 RAG 앱 'Offlined' 공개: Steam Deck에서 Qwen 3.5(큐원 3.5) 4B 구동 사례
오프라인 환경에서 데이터 소스를 한정한 RAG를 구축하는 로컬 LLM 활용 사례. 오프라인 RAG 아키텍처 고민 시 참고할 만함.
요약
Reddit 사용자 'Offlined'가 오프라인 환경에서 로컬 LLM을 활용해 위키백과 데이터로만 답변하는 애플리케이션 'Offlined'를 개발했다. 이 앱은 AI의 환각(Hallucination) 현상을 방지하기 위해 검색 범위를 오프라인 위키백과로 제한하며, 답변의 근거가 되는 기사를 인용하도록 설계되었다. 개발 초기에는 Phi-4 mini 등을 테스트했으나 성능상 한계가 있었고, 최종적으로 Qwen 시리즈 모델이 가장 우수한 결과를 보였다. 현재 개발자는 Steam Deck 등 다양한 하드웨어 환경에서의 최적화를 위해 사용자들의 피드백을 수집하고 있다. 특정 모델의 경우 Qwen 3.5 4B 모델을 Steam Deck에서 구동하는 수준으로 최적화된 상태다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built an offline app where local models answer from offline Wikipedia, looking for feedback from people with hardware I can’t test on
원문 보기 ↗