Claude Code 최적화: 450줄짜리 정적 프롬프트 대신 '셀프 러닝' 하네스 도입
정적 프롬프트의 길어지는 복잡도를 해결하기 위해, 에이전트가 상황을 학습하고 적응하게 하여 리포트 오류를 38% 낮춘 사례.
요약
Claude Code 사용 시 450줄에 달하는 정적 프롬프트 파일(CLAUDE.md)을 관리할 경우 모델이 중간 규칙을 무시하거나 과거 정보를 참조하는 등 오류 발생률이 상승하는 현상이 발견되었습니다. 연구팀은 이를 해결하기 위해 정적 지침 대신 자가 학습 방식의 'self-learning harness'를 도입하여 성능을 비교했습니다. 백엔드 리포지토리의 40개 다중 파일 리팩토링 작업을 대상으로 벤치마크를 수행한 결과, 자가 학습 방식을 적용했을 때 회귀 오류(regression errors)가 38.4% 감소하는 성과를 거두었습니다. 이 결과는 너무 긴 정적 프롬프트가 오히려 모델의 성능을 저해할 수 있음을 시사하며, 맥락에 따라 동적으로 학습하는 방식이 코드 생성 및 유지보수 작업에 더 효과적임을 입증합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 We tested giving Claude Code a 450-line static prompt vs a self-learning harness (and measured a 38.4% drop in regression errors)
원문 보기 ↗