참고Reddit
Blockway, KV 캐시 최적화한 하이브리드 아키텍처 모델 'Agens Volundr 32B' 공개
로컬 환경의 메모리 제약을 극복하려는 시도. 하이브리드 아키텍처를 통한 긴 문맥 처리 효율 개선 사례로 주목.
요약
홍콩의 Blockway 팀이 자체 하이브리드 아키텍처를 기반으로 설계한 LLM 'Agens Volundr 32B Preview'를 공개했다. 이 모델은 총 72개 레이어 중 18개 레이어만 KV 캐시를 유지하여 긴 문맥 처리 시 메모리 요구량을 크게 줄인 것이 특징이다. 아키텍처는 고정 크기 순환 상태를 사용하는 54개의 KDA(Kimi Delta Attention) 레이어와 최근 4,096 토큰에 대해 정확한 윈도우를 제공하는 17개의 BCSA(Compressed-Sparse Attention) 레이어로 구성된다. 32B 규모의 밀집형 모델임에도 불구하고 KV 캐시 효율성에 집중하여 로컬 장비에서의 운영을 최적화하는 데 초점을 맞췄다. 모델은 Apache-2.0 라이선스로 배포되어 누구나 사용할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Agens Volundr 32B Preview: our small team's first model on our own hybrid architecture. Only 18 of 72 layers keep a KV cache (Apache-2.0)
원문 보기 ↗