참고팁Reddit
LoRA 파인튜닝된 Qwen3(큐원 3) 모델, 짧은 캡션에서 첫 줄 누락 현상 발생
파인튜닝 시 학습 데이터 구조와 추론 프롬프트 간의 토큰 정렬 불일치가 원인일 가능성이 높음. 모델 학습 시 EOS 토큰 처리 로직 점검 필요.
요약
BrickNet을 활용한 MSc 프로젝트 중 LoRA로 파인튜닝된 Qwen3 0.6B 모델이 짧은 캡션 입력 시 출력의 첫 줄을 건너뛰는 현상이 발생하고 있다. 모델은 'root line'을 작성해야 하지만, 4토큰 정도의 짧은 캡션이 주어지면 항상 'b'로 시작하는 잘못된 문법의 텍스트를 출력한다. 학습 단계에서는 캡션과 줄바꿈 문자(' '), 그리고 path와 EOS를 포함해 학습하며, 추론 시에도 캡션 토큰 뒤에 줄바꿈 문자를 추가하여 학습 환경을 동일하게 맞췄다. 하지만 테스트 결과 5개 샘플에 대해 12번 시도 중 0번만 올바르게 출력되어 그래머 오류가 지속되고 있다. 현재 사용자는 PT(Pre-training) 어댑터를 병합한 후 SFT(Supervised Fine-tuning) 어댑터를 peft merge_and_unload와 bf16 환경에서 적용하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 LoRA-conditioned model skips the first line of its output when the caption is short. Any idea why? [D]
원문 보기 ↗