중요X
토큰 생성 루프 없앤 새 아키텍처 'Constrained Decoding Models(CDM)' 공개
분류·추출·요약 등 단일 작업에 특화. 라우팅·태깅 등 정형 응답 파이프라인이라면 비용·속도 측면서 검토 가치.
요약
새로운 AI 모델 아키텍처인 Constrained Decoding Models(CDMs)가 공개되었습니다. CDMs는 LLM의 토큰 생성 루프를 생략하여 속도와 비용 효율성을 극대화한 것이 특징이며, Classify(분류), Extract(추출), Summarize(요약) 세 가지 목적별 모델로 구성되어 실무에 바로 활용할 수 있습니다. 100만 토큰의 멀티모달 입력을 처리하며, DecisionBench 벤치마크에서 77.2%의 성능을 기록했습니다. 기존 최신 LLM API 대비 200배 빠르고 467배 저렴하며, 출력 토큰 비용은 무료로 제공됩니다. OpenRouter, Vercel, LangChain 등 주요 플랫폼에서 즉시 사용할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @neal_k_patel: You already gave the LLM the answer. So why is it writing it out from scratch? Introducing a new AI model architecture: Constraine
원문 보기 ↗