참고팁X
KV 캐시 메모리 사용량 4배 절감 기술 등장
추론 비용과 Latency를 결정짓는 핵심 요소인 KV 캐시 최적화 기술로, 로컬 LLM 구동 효율 및 긴 컨텍스트 처리에 직접적 기여.
원문 제목 @zephyr_z9: Fucking crazy dawg Another 4x KV cache size per token reduction https://t.co/tkzZ9KfIkL
원문 보기 ↗광고
중요DeepSeek, 네이티브 비전 지원 경량 모델 'DeepSeek-V4.1-Flash' 공개
552B MoE에 입력 8B·출력 16B 활성. 비대칭 구조로 추론 비용 낮춰 서빙 최적화 검토 가치.
promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.
15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공