참고팁Reddit
에이전트 툴 콜링의 역발상: JSON 생성을 LLM에 맡기지 마세요
모델은 의미론적 의도만 파악하고, 스키마에 맞춘 JSON 구조 생성은 하네스가 담당하게 하여 오류와 비용을 줄이는 아키텍처 제안.
요약
Reddit의 r/LLMDevs에서 기존 에이전트 프레임워크가 LLM에게 복잡한 JSON 구조를 직접 생성하게 하는 방식 대신, '의도 기반의 결정 엔진'을 활용하는 새로운 아키텍처가 논의되고 있습니다. 현재 OpenCode나 Hermes 같은 에이전트 하네스는 이미 도구의 JSON 스키마를 완벽히 알고 있음에도, LLM에게 매번 도구 선택부터 인자 생성, JSON 포맷팅까지 전 과정을 맡기는 비효율이 존재합니다. 제안된 방식은 LLM은 도구 사용에 대한 '의도'와 '의미론적 인자 선택'만 수행하고, 실제 실행을 위한 JSON 구조화는 하네스가 스키마에 맞춰 결정론적으로 수행하도록 책임을 역전시키는 것입니다. 이를 통해 모델의 추론 부담을 줄이고 도구 호출의 정확성을 높일 수 있는 새로운 에이전트 설계 방향성이 제시되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 What if agent harnesses stopped asking LLMs to generate tool-call JSON?
원문 보기 ↗