LLM 과도한 RLHF로 인한 'Complexity Theater' 극복법

요약

최근 다중 에이전트 파이프라인 개발자들 사이에서 거대언어모델(LLM)의 직접적인 실행 능력이 저하되는 현상이 제기되고 있다. 사용자가 명확한 변수나 가설을 입력해도 모델이 불필요한 학술적 완곡어법이나 장황한 설명을 덧붙이는 'Complexity Theater(복잡성 연극)' 현상이 발생하고 있다. 이는 과도한 RLHF(인간 피드백 기반 강화학습) 과정에서 모델이 직접적인 응답보다 신중한 답변을 하도록 학습되어 발생하는 'Alignment Tax(정렬 비용)' 문제로 분석된다. 이러한 현상은 잠재 공간 컴퓨팅 자원을 낭비하고 작업 효율을 떨어뜨리는 원인이 되고 있다. 이에 대한 대응책으로 사용자 전제를 물리 법칙처럼 고정해 불필요한 완곡어법을 우회하는 'Axiomatic Locking' 기술이 제안되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.