중요X
불명확한 입력에도 환각 없이 동작하는 에이전트 전용 27B 모델 오픈소스 공개
환각률 15.1%, 출력 토큰 절반 수준. 에이전트 구축 시 비용·신뢰성 개선 검토 가치.
요약
최근 한 연구소에서 모호한 지시를 수행할 때 발생하는 환각을 최소화하도록 설계된 27B 파라미터 모델을 오픈소스로 공개했다. 이 모델은 모호한 입력에 대해 잘못된 추측으로 행동하는 AI 에이전트의 고질적인 문제를 해결하는 데 집중했다. 성능 평가 결과, 환각 발생률은 15.1%로 기본 모델의 30.4%나 GPT-6 Luna의 85.3% 대비 현저히 낮았으며, MCPMark와 Terminal-Bench 2.1 등 주요 벤치마크에서도 최상위권 성적을 기록했다. 또한 태스크당 중간 출력 토큰 수를 29.3K로 줄여 기본 모델의 65.3K 대비 비용 효율성을 크게 개선했다. 이번 성과는 단순히 모델 규모를 키운 것이 아니라, 특정 목적을 겨냥한 최적화 연구의 결과라는 점에서 의미가 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @lukas_m_ziegler: A lab just open-sourced a 27B model built for one job: acting on unclear input without making things up. 🧠 Think about what an ag
원문 보기 ↗