LoRA 학습 시 인물 식별력 높이는 'Fizgig Isolation' 기법

요약

최근 r/StableDiffusion에서 주목받는 Fizgig LoRA Isolation은 학습된 대상의 얼굴이 배경 인물이나 주변 사람에게 전이되는 현상을 방지하는 새로운 LoRA 학습 기법입니다. 기존 LoRA는 학습 대상의 얼굴을 사진 속 모든 사람에게 적용하는 문제가 있었으나, 이 방식을 사용하면 여러 인물이 함께 있어도 각자의 얼굴을 그대로 유지할 수 있습니다. Krea 2 환경에서 테스트한 결과, 일반 LoRA가 50명의 무작위 인물 중 48명의 얼굴을 학습 대상과 유사하게 변형시킨 반면, LoRA Isolation은 0건의 오류를 기록했습니다. 핵심 지표인 ArcFace 수치에서도 기존 0.78 대비 0.77로 학습 대상의 외형 유사도를 거의 동일하게 유지했습니다. 특히 이 기법은 두 명의 정체성을 함께 학습시키는 방식을 통해 오히려 인물 분리 문제를 해결한다는 점이 특징입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.