온폴리시 증류 모델 'Kroma 0.3.1' 공개... 속도와 품질 동시 확보

요약

Krea2 모델을 Chroma 데이터셋으로 파인튜닝한 Kroma 0.3.1 버전이 공개되었다. 이번 모델의 핵심인 OPD(On-Policy Distillation)는 기존의 오프라인 방식과 달리 모델이 생성한 궤적에 대해 교사가 직접 수정하는 방식을 채택했다. 이를 통해 학습 과정에서 모델이 자신이 방문한 상태에서만 훈련되므로 기존 모델의 분포를 유지할 수 있다. 결과적으로 모드 붕괴나 디테일 저하 같은 증류의 부작용 없이 Turbo급의 속도를 구현했다. 현재 Hugging Face를 통해 original과 int8_convrot 두 가지 버전으로 다운로드가 가능하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.