참고팁Reddit
Qwen 3.5 4B 모델 도메인 지식 내재화 및 평가 방법론
소형 모델의 특정 도메인 적응을 위한 SFT와 JSON 스키마 기반 평가 패턴.
요약
최근 개발자 커뮤니티에서는 소형 모델인 Qwen 3.5 4B 모델을 특정 도메인에 맞게 지속 사전 학습(CPT)한 후 성능을 평가하는 방법론이 공유되었다. 작성자는 지하철 경로 안내와 같이 복잡한 정보를 출력하기 위해 모델 응답을 엄격한 JSON 스키마 기반으로 설계했다. 모델이 스키마를 안정적으로 출력하도록 Unsloth SFT(Alpaca 형식)를 활용해 파인튜닝을 추가로 진행했다. 평가 방식은 정확한 일치(Exact Match) 외에도 부분 일치와 의미론적 일치(Semantic Match)를 측정하여 모델의 지식 내재화 능력을 검증했다. 이 방식은 도메인 특화 소형 모델의 성능 측정 및 개선에 효과적인 접근법으로 평가받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Creating Evals for a locally trained qwen 3.5 4B model
원문 보기 ↗