사용자 로그로 에이전트 스킬 최적화하는 'TeleTune' 방법론
라이브 테스트 환경 없이 기존 로그의 다음 행동 예측 정확도를 통해 에이전트 성능을 개선하는 실용적 기법.
요약
최근 공개된 마이크로소프트의 'TeleTune: Evolving Agent Skills From Offline Telemetry' 논문은 에이전트가 별도의 라이브 테스트 환경 없이도 원시 사용 로그(raw usage logs)로부터 소프트웨어 기술을 학습할 수 있는 방법을 제시했다. 기존 방식인 Agent Workflow Memory와 달리, TeleTune은 목표가 라벨링된 데이터가 없어도 사용자의 다음 행동을 예측하는 정확도를 통해 기술의 유효성을 판단한다. 이 모델은 각 세션의 목표를 추론하고 텍스트 기술 라이브러리를 사용해 기록된 모든 행동을 예측하며, 예측 정확도가 향상되는 편집 내용만 보존하는 방식을 취한다. 사용 로그에는 목표가 명시되지 않거나 여러 작업이 혼재되어 있다는 한계가 있지만, 본 연구는 이를 활용해 에이전트 기술을 발전시킬 수 있음을 입증했다. 실무자는 보유한 사용자 활동 기록을 활용해 에이전트의 기술을 학습시키고, 별도의 환경 없이도 다음 행동 예측 정확도를 통해 각 변경 사항의 성능을 평가할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @CodeswithClara: New Microsoft paper shows that agents can learn software skills from raw usage logs by keeping only skill edits that better predic
원문 보기 ↗