ActionOPD: 토큰 단위가 아닌 '의사결정' 중심의 에이전트 증류 기법

요약

ActionOPD는 언어 모델 에이전트의 효율적인 증류를 위해 토큰이 아닌 의미론적 행동(semantic actions) 단위로 정렬하는 새로운 방법론을 제시한다. 이 방식은 학생 모델이 조우한 상태에서 블랙박스 교사 모델의 행동 가능성을 최대화하는 방식으로 학습하며, 교사의 토큰 확률이나 동일한 토크나이저를 요구하지 않는 것이 특징이다. Qwen3-4B와 Qwen3-8B 모델에 적용한 결과, 4개의 OOD(out-of-distribution) 벤치마크에서 평균 3.3~6.9%p의 성능 향상을 기록했다. 또한 ActionOPD는 모델의 크기나 교사의 성능에 맞춰 유연하게 확장 가능하며, 오프라인 증류 및 기존 토큰 단위의 OPD와 비교해서도 경쟁력 있는 성능을 입증했다. 향후 동일 모델을 교사로 활용하는 Self-ActionOPD 연구 등 에이전트 증류 분야에서 효과적인 대안으로 주목받고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.