[R] 'ToolArtist': 도구 사용 능력을 결합한 에이전트형 이미지 생성 모델

요약

ToolArtist는 복잡한 의미론적 이해와 다단계 추론이 필요한 오픈월드 이미지 생성 작업을 위해 설계된 통합 멀티모달 모델(UMM) 기반의 에이전트 모델입니다. 기존 이미지 생성 모델의 고정된 워크플로우 한계를 극복하기 위해 추론, 외부 도구 활용, 이미지 생성을 하나의 정책 내에서 동적으로 조정하도록 개발되었습니다. 연구팀은 지도 미세 조정(SFT) 단계에서 검색 도구와 이미지 생성 도구를 활용하는 교사 에이전트를 학습시키고, 이를 UMM 호환 형식으로 변환하여 학습 데이터를 구축했습니다. 강화학습 과정에서는 의도와 품질 보상을 결합하여 최적화하는 RAD-GRPO(Reason-Act-Draw GRPO) 방식을 도입했습니다. 실험 결과, 전체 이미지 생성 과정을 에이전트 정책 하에 둔 ToolArtist가 고정된 파이프라인이나 부분적 제어 방식보다 우수한 성능을 보였습니다. 현재 연구팀은 학습 데이터와 전체 포스트 트레이닝 인프라를 공개했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.