참고팁Reddit
DeepSeek V4 Flash 1M 컨텍스트 로컬 구동 벤치마크 및 설정 공유
RTX 5090 환경에서 llama.cpp를 활용해 대규모 컨텍스트를 최적화하여 돌리는 구체적인 파라미터 설정을 제공함.
원문 제목 DeepSeek v4 Flash on 5090 in llama.cpp with 1 Million context
원문 보기 ↗RTX 5090 환경에서 llama.cpp를 활용해 대규모 컨텍스트를 최적화하여 돌리는 구체적인 파라미터 설정을 제공함.
원문 제목 DeepSeek v4 Flash on 5090 in llama.cpp with 1 Million context
원문 보기 ↗중요SemiAnalysis "Kimi K3의 선형 어텐션(KDA), NVIDIA에 오히려 호재"
KV캐시 감소가 하드웨어 수요 축소로 이어진다는 통념 반박. 2.8조 파라미터 추론에는 NVL72급 대규모 스케일업이 필요하다는 분석.
promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.
15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공