Jev 모델 추론 가속 엔진 'Flide' 공개

요약

Flide는 Jev 방식의 의사결정 모델을 위한 고속 추론 인프라로, 정확한 상태 포킹(exact state forking) 기술을 통해 vLLM 및 SGLang 대비 최대 9.5배 빠른 속도를 제공한다. Jev /v1/systemone API를 지원하며, 모델의 응답 정확도는 단일 질문 시 모델이 직접 도출한 답변과 동일하게 유지된다. 성능 측정은 H200 GPU 환경에서 진행되었으며, 기존 엔진들과 비교해 중간 지연 시간(median latency)을 획기적으로 개선했다. 또한 KnowLine 35B 모델에 대해 fp8 양자화를 지원하는 등 다양한 최적화 옵션을 제공한다. Apache-2.0 라이선스로 배포되며 연구 활용 시 관련 논문을 인용할 것을 권장한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.