참고팁Reddit
Qwen 3.5(큐원 3.5) 파인튜닝 실험: 9B 모델이 27B보다 '부정 답변' 학습에 효율적
특정 태스크 수행 시 큰 모델보다 적절한 학습 데이터가 가성비와 성능에서 유리함.
요약
최근 Reddit의 r/LLMDevs 커뮤니티에서 Qwen3.5 덴스 모델(0.8B, 2B, 4B, 9B, 27B) 전체를 동일한 데이터셋과 LoRA 방식으로 미세 조정하는 실험이 진행되었습니다. BioRED 데이터셋을 활용한 결과, 미세 조정 전 모델들은 2~8%의 F1 점수를 기록했으나, LoRA 적용 후 모든 모델이 48~55%로 성능이 크게 향상되었습니다. 실험 결과 9B 모델이 가장 우수한 성능을 보였으며, 27B 모델은 학습률 설정 문제로 인해 9B보다 낮은 성과를 거두었습니다. 모델들의 성능 향상은 주로 '관계없음(no relation)'을 정확히 판단하는 능력을 학습한 데서 기인했습니다. 이번 실험은 동일한 학습 환경에서도 모델 크기에 따른 최적화 차이가 존재함을 보여줍니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 We fine-tuned every Qwen3.5 dense size (0.8B to 27B) with the same LoRA. 9B won, 27B lost to it. Nearly all the gain was learning to say no.
원문 보기 ↗