참고팁Reddit
로컬 RAG 앱 성능 평가의 함정: 자동 채점기보다 사람이 더 엄격하다
프로그램 기반의 자동 채점은 100% 점수를 줘도 실제 사람이 보면 틀린 답변이 섞여있음. RAG 검증 시 주의점.
요약
Reddit의 r/ollama 커뮤니티에서 Ollama와 Whisper를 활용해 로컬 환경에서 구동되는 '세컨드 브레인' 시스템 구축 사례가 주목받고 있습니다. Whisper로 음성을 텍스트로 변환하고 Qwen 모델이 노트를 분류 및 질의응답을 처리하며, SQLite와 FTS5, nomic-embed-text 벡터를 결합해 정보를 저장하는 구조입니다. 개발팀은 qwen3.5:4b 모델을 대상으로 테스트를 진행한 결과, 자동화된 채점 프로그램은 43개의 답변을 모두 정확하다고 판단했으나 사람이 직접 검토했을 때는 7개의 오답이 발견되었습니다. 이 결과는 LLM 성능 평가 시 자동화된 평가 지표만으로는 정확성을 신뢰하기 어렵다는 점을 시사합니다. 따라서 실무 환경에서는 모델의 답변을 수동으로 교차 검증하는 과정이 필수적입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 A local second brain with Ollama: our automatic test said all 43 answers from qwen3.5:4b were right. When we read them ourselves, 7 were wrong
원문 보기 ↗