SOP를 가중치로 학습: 소형 모델(SLM) 활용한 워크플로우 비용 최적화 실험

요약

Qwen-2.5 3B 모델을 활용해 인시던트 트리아주(사건 분류 및 처리) 워크플로우를 자동화하는 실험 결과가 공개되었습니다. 기존의 결정론적 워크플로우를 모델 학습을 통해 대체한 결과, 엔드투엔드(e2e) 성공률 93.0%를 기록했습니다. 이 과정에서 건당 처리 비용은 1.85달러에서 0.22달러로 약 8배 감소했고, 입력 토큰은 5,200개에서 450개로 91.3% 절감되었습니다. 특히 시스템 프롬프트에서 3,500토큰 분량의 표준운영절차(SOP)를 제거하고 절차를 모델 가중치에 내재화한 점이 효율성을 높였습니다. 학습 시 알람과 도구 출력값을 마스킹하여 모델이 무작위 텔레메트리 데이터가 아닌 의사결정 과정에만 집중하도록 설계했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.