LoRA 학습의 한계 극복: SAM 3D 바디 스캐닝 활용한 체형 학습 기법

요약

최근 한 개발자가 ostris/ai-toolkit을 포크하여 SAM(Segment Anything Model) 3D Body 스캔 기능을 추가한 도구를 공개했다. 기존 LoRA 학습 방식은 얼굴 학습에는 효과적이나 신체 비율이나 체형을 정확하게 구현하는 데 한계가 있었다. 이번 개선안은 학습 과정 중 생성된 이미지와 원본 사진의 신체를 SAM 3D로 스캔 및 대조하는 2차 학습 패스를 추가해 체형 학습 정밀도를 높였다. 이를 통해 사용자는 얼굴뿐만 아니라 키, 골격, 비율까지 본인과 유사하게 구현하는 full-body 학습이 가능해졌다. 현재 베타 단계이지만 최신 버전의 경우 RTX 5090 GPU 기준 약 60분 만에 Lokr 학습을 완료할 수 있는 성능을 보인다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.