참고팁Hacker News
Nvidia(엔비디아) RTX 3000 시리즈 성능 제한 해제…FP/BF16 연산 속도 2배
로컬 LLM의 프리필(prefill) 속도에 직결되는 BF16 연산 성능을 잠금 해제하여 가성비를 극대화할 수 있는 리소스.
요약
Nvidia 3000 시리즈 GPU에서 FP/BF16 명령어 발행 속도를 전문가용 카드 수준으로 해제할 수 있는 리눅스 커널 모듈 'GPU-unlock'이 공개되었습니다. 이 모듈은 CMP unlocker의 V67/PLM 기술과 UEFI 방식의 프리 드라이버 타이밍을 결합하여, 수정되지 않은 엔비디아 드라이버가 로드되기 전에 설정을 변경함으로써 드라이버 업데이트 시마다 별도의 패치가 필요 없습니다. GA102, GA103, GA104, GA106 칩셋 기반 카드에서 FP/BF16 FMA의 FP32 연산 속도를 최대 2배까지 향상시킬 수 있습니다. 실제 사용자 보고에 따르면 LLM 프리필(prefill), 디퓨전 모델, FlashAttention 등 행렬 연산이 많은 작업에서 14~36%의 성능 향상이 확인되었습니다. 다만 메모리 대역폭의 영향을 받는 LLM 디코드나 INT8 연산에는 효과가 없으며, 전력 제한 설정에 따라 실제 성능 개선 폭은 달라질 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 GPU-unlock: FP/BF16 instruction issue rate on Nvidia 3000's cards
원문 보기 ↗