LensErase: 'Erase Anything'을 위한 범용 이미지 삭제 파운데이션 모델

요약

다양한 실무 환경에서 객체, 텍스트, 워터마크 등을 제거할 수 있는 범용 파운데이션 모델 LensErase가 공개되었다. LensErase는 1억 107만 개의 쌍으로 구성된 대규모 데이터셋인 LensErase-100M으로 학습되었으며, 텍스트-이미지 모델 Lens의 생성적 사전 학습 지식을 마스크 기반 제거 작업에 최적화했다. 모델은 별도의 마스크 토큰 시퀀스 없이 마스크 정보를 소스 이미지 토큰에 직접 주입하는 3D 회전 위치 인코딩 방식인 Mask-Aware RoPE를 적용하여 효율성을 높였다. 또한 지도 미세 조정과 영역 인식 강화 학습을 거쳤으며, 추론 시에는 편집 영역 외의 콘텐츠 보존을 위해 TraceFusion 기술을 활용한다. 성능 평가 결과 6개의 공개 벤치마크와 독자적인 LensErase-Bench에서 기존 모델 대비 뛰어난 정량적 지표와 VLM 평가 결과를 기록했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.