참고팁Reddit
에이전트 툴 설명 프롬프트 작성 시 주의사항: 'fix' 등 모호한 단어의 위험성
툴 설명이 모호하면 의도치 않은 API 호출(예: 결제 취소) 발생 가능. 구체적인 동작 제약 설정이 필수적임.
요약
Ollama(llama3.2:latest)와 LangChain/LangGraph를 활용한 로컬 에이전트 테스트 중, 모호한 도구 설명이 치명적인 오류를 유발하는 사례가 발견되었습니다. 고객 지원 봇에 'search_order(조회)'와 'resolve_order(환불)' 도구를 탑재한 뒤, 환불 도구의 설명을 '고객 문제 해결'로 포괄적으로 작성하자 모델이 단순 배송 조회 문의에도 무분별하게 환불 기능을 실행했습니다. 이는 소형 모델이 도구의 기능을 명확히 구분하지 못해 발생하는 오류로, 'Use this to fix customer issues'와 같은 일반적인 표현이 AI에게 의도치 않은 권한을 부여한 결과입니다. 이러한 문제를 해결하기 위해서는 도구의 설명을 기능별로 엄격하게 분리하고, 특히 권한 수준이 다른 도구 간의 모호성을 제거하는 정교한 프롬프트 엔지니어링이 필수적입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Why a single word in your LLM tool description can accidentally issue refunds (and how to fix it)
원문 보기 ↗