중요팁Reddit
로컬 LLM 추론 라이브러리 ExLlamaV3, 1년 개발 끝에 v1.0.0 정식 출시
KV 양자화 슬로다운 제거, TP 확대, Ampere GEMM 개선. 로컬 추론 서버라면 업그레이드 검토.
요약
ExLlamaV3가 1년 이상의 개발 끝에 첫 프로덕션 버전인 v1.0.0을 공식 출시했다. 이번 업데이트로 flash-attention-2 및 xformers 의존성을 완전히 제거하고 Gemma4를 포함한 대부분의 모델에 텐서 병렬 지원을 확장했다. 특히 새로운 어텐션 커널을 도입해 온라인 캐시 양자화를 적용함으로써 KV 양자화 시 발생하던 속도 저하 문제를 해결하고 추론 속도를 높였다. 또한 Ampere 아키텍처에서의 GEMM/GEMV 성능 개선, 새로운 INT8 GEMV 커널, 그리고 MoE 커널 티켓 스케줄러가 추가되었다. 모든 어텐션 및 GDN 모듈에 대한 그래프 경로가 도입되었으며, 별도의 causal_conv1d 없이도 작동하는 새로운 conv1d 커널이 탑재되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 ExLlamaV3 v1.0.0 - Major Performance Upgrades
원문 보기 ↗