참고X
Rock Matrix, 고정 KV 캐시로 256K 컨텍스트 지원하는 'EdgeRock-4B' 공개
컨텍스트 길이와 무관하게 72MB KV 캐시 유지. 로컬 LLM의 장문 처리 효율성 혁신.
요약
Rock Matrix가 공개한 오픈소스 모델 EdgeRock-4B는 256K의 긴 컨텍스트를 지원하면서도 KV 캐시 크기를 72 MiB로 고정하여 성능을 혁신했다. 기존 LLM과 달리 재귀 상태, 로컬 어텐션, Rock Memory Anchors(RMA) 기술을 결합해 컨텍스트가 길어져도 KV 캐시가 증가하지 않는다. 성능 측정 결과, Qwen3.5-4B 대비 6.42배 높은 12,124 tokens/s의 출력 처리량과 99.1% 절감된 KV 캐시 사용량을 기록했다. 특히 256K 컨텍스트 환경에서 고정된 캐시로도 이전 정보를 효율적으로 검색하며, AIME 2024-2026 벤치마크에서 82.9%의 평균 pass@1을 달성했다. 이는 14B급 모델을 포함한 기존 바운디드 스테이트 베이스라인 대비 압도적인 추론 능력이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @DataChaz: THIS 4B MODEL JUST MADE LONG-CONTEXT MEMORY WAY MORE INTERESTING. 256K context. A fixed 72 MiB KV cache. No cache growth as contex
원문 보기 ↗