Ollama(올라마) 포크 버전, RPC 기반 텐서 병렬화 지원… 멀티 노드 추론 성능 향상

요약

Ollama 포크 버전에서 llama.cpp의 최신 RPC 기반 텐서 병렬 처리를 구현하여 두 대의 NVIDIA DGX Spark를 통합 활용하는 데 성공했습니다. 기존의 레이어 단위 분할 방식은 계산이 순차적으로 이루어져 속도 저하가 발생했으나, 이번 업데이트는 각 RPC 서버가 레이어 절반씩을 담당하고 all-reduce를 수행하여 성능을 개선했습니다. 벤치마크 결과, gpt-oss-120b 모델 구동 시 기존 42.7 tok/s에서 58.1 tok/s로 속도가 향상되었습니다. 이를 위해 Ollama는 기존 llama-server 외에 추가적인 RPC 서버를 구동하며, 설정 파라미터로 '--rpc worker,local -dev RPC0,RPC1 -sm tensor -ts 1,1'을 사용합니다. 이번 개선은 여러 노드를 결합해 대형 모델의 추론 속도를 실질적으로 높일 수 있는 방법을 제시합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.