참고HF Blog
Edge 환경을 위한 경량 의사결정 모델 'd1-3B' 및 'd1-omni-600M' 출시
에지 디바이스에서 50ms 미만의 지연 시간으로 추론이 가능한 특화 모델로, 온디바이스 AI 구현 시 검토 권장.
요약
Hugging Face가 Liquid Foundation Models(LFMs) 기반의 멀티모달 오픈 d1 결정 모델(d1-3B, d1-omni-600M)을 공개했다. 이 모델들은 텍스트 생성 대신 단일 포워드 패스로 결정을 내리는 방식이며, d1-3B는 7개 공공 데이터셋에서 평균 82.9점을 기록해 Decider 4B를 앞섰다. d1-omni-600M 역시 파라미터가 4분의 1 수준임에도 Decider 2B보다 높은 78.4점을 달성했다. NVIDIA와의 협력을 통해 d1-3B를 RTX 4090, Jetson AGX Thor, Jetson AGX Orin 64GB, Jetson Orin Nano에서 테스트한 결과, 모든 기기에서 50ms 미만의 응답 속도를 보였다. 특히 GPU 환경에서는 10ms 미만으로 질문에 응답하며 엣지 환경에서의 고성능 추론 능력을 입증했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Multimodal open d1 decision models for the edge
원문 보기 ↗