코딩 에이전트의 '군더더기 답변' 줄이기…프롬프트 전략 가이드

요약

코딩 에이전트가 답변을 장황하게 늘어놓는 원인은 모델 학습 과정에서의 RLHF(인간 피드백 기반 강화학습) 잔여 효과 때문인 것으로 분석된다. 연구에 따르면 모델은 답변 길이에 따라 보상을 크게 얻는 경향이 있어, 평가 지표인 AlpacaEval과 Chatbot Arena 등에서도 답변 길이를 통제해야 할 정도였다. 'Great question'이나 'Hope this helps' 같은 서두와 결말은 모델의 답변 성능에 영향을 주지 않는 불필요한 요소로, 이를 제거하는 것만으로도 답변의 간결성을 높일 수 있다. 최근 오픈소스 프로젝트인 'i-have-adhd'는 README를 통해 수사적 표현을 삭제하고 바로 핵심 코드와 명령어를 제시하는 방식으로 개선 사례를 보여주었다. 단순히 긴 답변을 피하려는 시도는 오히려 에이전트의 사고 과정을 방해할 수 있으므로, 제약 조건을 설정할 때는 주의가 필요하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.