중요Reddit
CPU만으로 돌아가는 395M 오픈소스 모델 'Von' 공개, JEV 대체 노려
1~2GB RAM CPU에서 25~300ms 응답. 온디바이스·경량 추론 환경 검토 시 벤치마킹 가치.
요약
오픈소스 LLM인 'Von'의 395M 파라미터 모델 'System One'이 공개되었습니다. 이 모델은 TypeSafe의 JEV를 대체할 수 있는 드롭인(drop-in) 교체 모델로 개발되었으며 모든 벤치마크 테스트에서 JEV를 앞서는 성능을 보였습니다. 1~2GB 메모리의 CPU 환경에서 구동 가능하며 25~300ms 내에 응답 속도를 제공합니다. GPU 없이도 작동하지만 사용 시 더 빠른 성능을 낼 수 있습니다. 현재 허깅페이스와 깃허브를 통해 소스 코드를 확인할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Von: Open-source 395M "System One" model
원문 보기 ↗