개인 개발자의 GGUF 추론 엔진 'ge' 공개: llama.cpp 대비 저사양 최적화

요약

Rust로 자체 개발한 GGUF 추론 엔진 'ge'가 llama.cpp와의 성능 비교 테스트에서 일부 지표 우위를 점했다. Ryzen 5 5600H CPU와 4GB VRAM을 가진 RTX 3050 노트북 환경에서 Qwen3-4B 모델을 테스트한 결과, 'ge'는 CPU 프롬프트 처리 속도에서 최대 84 tok/s(llama.cpp 59 tok/s)를 기록했다. 특히 Llama-3.1-8B 모델의 CPU/GPU 하이브리드 모드 실행 시 'ge'의 최대 RAM 사용량은 2.4GB로, llama.cpp의 4.7GB 대비 메모리 효율성이 높았다. 'ge'는 CPU 커널(int8, AVX2)과 Vulkan GPU 커널을 직접 구현하고 자동 CPU/GPU 분할 기능을 갖춘 약 4MB 크기의 단일 실행 파일이다. 또한 OpenAI 및 Anthropic 호환 서버 기능을 내장하고 있으며, 8K 컨텍스트에서도 속도 저하 없이 8비트 KV 캐시를 기본 지원한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.