참고팁Reddit
레거시 GPU(Tesla P100(테슬라 P100)/V100)용 LLM 가속 엔진 'PXA 4.0' 공개
구형 GPU의 LLM 추론 성능을 llama.cpp 대비 최대 8배 개선하는 프로젝트. 해당 하드웨어 보유 시 도입 고려.
요약
Tesla P100 및 V100 GPU를 활용한 로컬 LLM 구동 최적화 프로젝트 PXA가 4.0 버전으로 업데이트되었습니다. 기존 llama.cpp 대비 동일 하드웨어 환경에서 디코드 속도는 최대 3배, 프롬프트 처리 속도는 최대 8배 향상되었습니다. 본 프로젝트는 Pascal 및 Volta 아키텍처 지원이 부족했던 기존 엔진의 한계를 극복하기 위해 llama.cpp를 포크하여 핵심 커널을 재작성하는 방식으로 개발되었습니다. 특히 메모리 효율성을 개선하여 기존에 구동이 어려웠던 대형 MoE 모델도 원활하게 실행할 수 있습니다. 해당 업데이트는 버려지기 쉬운 구형 엔터프라이즈 GPU를 저비용 고효율의 로컬 AI 인프라로 재활용할 수 있는 실질적인 대안을 제시합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I spent a year making old Tesla P100/V100 cards fast for local LLMs. PXA 4.0 is out today: up to 3x the decode and 8x the prompt speed of mainline llama.cpp on the same box, same files. Numbers, method and the losses inside.
원문 보기 ↗