Qwen3(큐원 3)-14B 금융 파인튜닝 기술 회고: 도메인 성능과 범용성 사이의 트레이드오프

요약

Reddit의 LLM 개발자 커뮤니티에서 Qwen3-14B 모델을 금융 추론에 특화하도록 파인튜닝한 사례를 공유했다. 모델 적용 결과 FinQA 정확도는 1.9%에서 12.6%로 향상되었으나, 6개 작업의 평균 성능은 0.441에서 0.399로 오히려 감소하는 트레이드오프가 확인되었다. 특히 금융 감성 분석과 개체명 인식 작업에서 상당한 성능 하락이 나타났다. 개발진은 이번 연구에서 데이터 필터링, 13-gram 벤치마크 오염 제거, 평가 형식 이슈 등을 포함한 학습 파이프라인을 공개했다. 향후 모델 도메인 적응을 위해 챗 템플릿 인식 재평가, 사전 학습 없는 직접적인 SFT 적용, 혹은 훈련 데이터 조합 균형화 중 어떤 접근이 우선시되어야 할지에 대한 논의를 제안했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.