중요X
NVIDIA(엔비디아), DGX Spark·RTX Blackwell용 로컬 추론 서버 'Flare' 공개
Python(파이썬) 없이 Rust 구동, FP8 KV 캐시 기본값. 긴 대화·에이전트 로컬 서빙 대안으로 검토 가치.
요약
NVIDIA가 DGX Spark 및 RTX Blackwell GPU에 최적화된 로컬 추론 서버 'Flare'를 공개했다. Flare는 긴 채팅, 에이전트 작업, 도구 호출을 수행하도록 설계되었으며, 성능을 위해 Python 대신 Rust 기반으로 구축되었다. 메모리를 사전에 계획하여 효율성을 높이고, 기본적으로 FP8 KV 캐시를 지원하는 것이 특징이다. 이번 발표는 DeepSeek이 자사 추론 엔진을 오픈소스로 공개한 시점과 맞물려 있어 업계의 주목을 받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @MiaAI_lab: NVIDIA just released Flare, a local inference server built for DGX Spark and RTX Blackwell GPUs - Built for long chats, agents and
원문 보기 ↗