참고팁Reddit
로컬 LLM의 노트 파일 업데이트 성능 실험: Gemma 4(젬마 4) vs Qwen 3(큐원 3)
로컬 모델로 파일 조작 에이전트를 구축할 때, Gemma 4(젬마 4) 12B가 Qwen 3(큐원 3) 8B 대비 훨씬 안정적인 업데이트 성능을 보임.
요약
Ollama 환경에서 Gemma와 Qwen 모델이 기존 노트 파일의 내용을 유지하며 새로운 사실을 정확히 업데이트할 수 있는지 테스트한 결과가 공개되었습니다. Gemma 4 12B QAT 모델은 150개의 사실이 담긴 파일에서 재작성(rewrite), 패치(patch), 추가(append) 등 모든 방식에 대해 20회 시도 중 20회 성공하며 완벽한 성능을 보였습니다. 반면 Qwen3 8B 모델은 150개 사실 조건에서 재작성 7/20회, 추가 17/20회 성공에 그쳤으며 패치 방식은 성공하지 못했습니다. 테스트는 Ollama 0.34.1 버전이 설치된 M5 Max(128GB 메모리) 환경에서 진행되었습니다. Gemma 4 12B는 temperature 1.0, Qwen3 8B는 temperature 0.6 설정으로 구동되었으며, 문맥 길이는 8,192에서 16,384 토큰까지 확장하여 측정되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I tried three ways of getting Gemma and Qwen to update a notes file in Ollama
원문 보기 ↗