참고팁Reddit
구형 데이터센터 GPU(P100, V100) 최적화 엔진 'PXA' 공개
VRAM 제약이 있는 구형 GPU에서 LLM 효율을 극대화하는 커스텀 엔진. 개인 로컬 인프라 활용 시 유용.
요약
Tesla P100, V100, GTX 1080 Ti 등 구형 GPU에서 LLM을 효율적으로 구동할 수 있는 새로운 엔진 'PXA'가 공개되었습니다. PXA는 ik_llama.cpp를 포크한 프로젝트로, HBM2 메모리는 탑재했으나 텐서 코어나 DP4A 기능이 없는 구형 카드에 최적화된 CUDA 커널을 직접 작성해 성능을 개선했습니다. 자체 양자화 포맷인 PXQ(2~6비트 및 혼합 비트 지원)를 적용해 모델 크기를 가용 GPU 자원에 맞춰 유연하게 조정할 수 있습니다. 특히 사용자가 복잡한 설정을 할 필요 없이 GPU와 모델만 입력하면 카드 구성에 맞춰 배치 사이즈를 자동으로 최적화하는 편의성을 제공합니다. 기존 llama.cpp, ik_llama.cpp, 1Cat vLLM 대비 구형 아키텍처 환경에서 더 나은 성능을 목표로 개발되었으며, GitHub을 통해 오픈소스로 공개되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I spent two years making Tesla P100s and V100s not suck at LLMs. Today I'm releasing the engine, and I benchmarked it against llama.cpp, ik_llama.cpp and 1Cat vLLM on the same cards. Charts inside.
원문 보기 ↗