LLM 추론 가속의 비용: 하드웨어별 모델 포맷이 파편화된 이유

요약

Google과 Anthropic은 LLM 추론 속도가 빨라질수록 이를 실행할 수 있는 하드웨어의 범위는 좁아진다는 점에 동의하며, 이는 성능 최적화가 특정 하드웨어에 종속된 선택을 강제하기 때문입니다. LLM 배포를 위한 6가지 주요 포맷 중 Pickle과 safetensors는 범용성이 높으나 프레임워크 의존성이 있고, GGUF는 별도 ML 프레임워크 없이 단일 파일로 실행 가능하며 ONNX는 프레임워크 간 호환성을 제공합니다. Apple 실리콘 환경에 최적화된 MLX는 CPU와 GPU의 메모리 공유를 통해 효율을 극대화하며, NVIDIA의 TensorRT는 특정 GPU 아키텍처에 맞춘 기계어로 컴파일해 속도를 극대화합니다. 하드웨어 호환성과 속도는 트레이드오프 관계이므로 지연 시간 예산에 맞춰 적절한 포맷을 선택해야 합니다. 실무 환경에서는 여러 모델을 동시에 운영할 경우 vLLM과 같은 프로세스가 GPU 메모리를 점유해 자원 병목 현상이 발생할 수 있으므로, 단일 모델 최적화를 넘어 전체 시스템의 자원 관리를 고려해야 합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.