참고X
llama.cpp v1.0 출시: FP8 KV 캐시 및 MoE 최적화 포함
로컬 LLM 구동 핵심 툴의 대규모 업데이트. API 함수 35개가 제거되었으니 업그레이드 전 코드 호환성 확인이 필수적임.
요약
AI 모델을 로컬 환경에서 구동하는 필수 라이브러리인 llama.cpp가 버전 1.0을 출시하며 기반이 되는 ggml 라이브러리 또한 1.0 버전에 도달했다. 이번 업데이트는 FP8 KV 캐시 지원과 시스템 메모리를 활용하는 Mixture-of-Experts 모델용 캐시를 추가하여 효율성을 높였다. 또한 웹 UI 재설계, 음성 생성 엔드포인트 지원, 내장 서버의 보안 강화가 포함되었으며 다양한 신규 모델 아키텍처와 호환된다. 다만, 개발자는 업그레이드 전 35개의 API 함수가 삭제되었음을 반드시 확인해야 한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @mark_k: llama.cpp has reached version 1.0, and the release brings a lot more than a new version number for people running AI models locall
원문 보기 ↗