에이전트 결정 속도 개선…'Karpo Decision' 오픈 모델 공개
생성형 토큰 생성 없이 옵션 확률만 출력해 지연 시간을 95ms로 단축. 실시간 에이전트 브라우징 성능 최적화에 유용.
요약
생성형 LLM은 버튼 클릭이나 도구 호출과 같은 일상적인 에이전트 작업에 토큰을 하나씩 생성하는 방식 때문에 속도가 매우 느리다는 한계가 있다. MachinePulse는 토큰 생성 과정을 생략하고 보정된 옵션 확률을 단일 순방향 패스로 반환하는 멀티모달 모델 'Karpo Decision 31B'를 공개했다. 이 모델은 텍스트나 페이지 스크린샷을 입력받아 처리하며, 0.8B부터 31B까지 다양한 크기로 허깅페이스(Hugging Face)에 오픈 웨이트로 제공된다. RTX PRO 6000 단일 GPU 환경에서 테스트한 결과, 95ms의 중앙값 지연 시간을 기록했으며 Mind2Web 요소 선택에서 90.0%, When2Call 작업에서 90.4%의 정확도를 달성했다. 이는 Gemini Decision 1 대비 높은 정확도와 빠른 반응성을 보이며, 실시간 에이전트의 효율적인 라우팅과 브라우저 클릭 작업에 효과적이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ai_for_success: generative LLMs are way too slow for routine agent decisions because they decode text token by token just to pick a button or deci
원문 보기 ↗