브라우저용 고성능 추론 엔진 'WebLLM' 공개

요약

WebLLM은 별도의 서버 지원 없이 웹 브라우저 내에서 LLM 추론을 수행할 수 있도록 지원하는 고성능 엔진으로, WebGPU를 활용한 하드웨어 가속을 제공한다. 이 엔진은 OpenAI API와 완벽하게 호환되어 기존 코드를 수정하지 않고도 로컬 환경에서 오픈 소스 모델을 쉽게 실행할 수 있다. 스트리밍, JSON 모드, 로그 수준 제어 등 실무에 필요한 핵심 기능을 지원하며, WebAssembly를 통해 최적화된 구조화된 JSON 생성 성능을 구현했다. npm 패키지 형태로 제공되어 개발자가 자체 웹 애플리케이션에 AI 어시스턴트 기능을 간편하게 통합할 수 있다. MLC LLM의 동반 프로젝트로서 다양한 하드웨어 환경에서 범용적인 LLM 배포를 목표로 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.