V100 서버에서의 27B 모델 최적화 사례 공유

요약

최근 Reddit의 r/LocalLLaMA 커뮤니티에서 5,400달러 상당의 8x V100 서버를 활용한 효율적인 LLM 구동 사례가 주목받고 있다. 해당 서버는 4개의 GPU만을 사용해 이미지 인식 환경에서 약 120k 수준의 KV 캐시를 확보하는 안정적인 성능을 보였다. 특히 27B 파라미터 모델을 TP=4 설정으로 구동 시 dflash 적용 기준 200 tok/s 이상의 속도와 2.5~3.5k 수준의 프리필 속도를 달성했다. 사용자 MzCWzL은 Nvidia의 nvfp4 체크포인트를 활용했으며, 이를 fp16으로 즉시 변환해 처리하는 최적화 저장소인 '1Cat-vLLM'을 사용했다고 밝혔다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.