Ollama(올라마) 포크: 듀얼 DGX 환경에서 모델별 RPC 서버 할당으로 멀티 GPU 병렬 처리 최적화

요약

Reddit의 한 사용자가 Ollama 포크 버전을 통해 DGX Spark 2대를 연동하는 과정에서 발생한 다중 모델 실행 문제를 해결했다. 기존에는 ggml-rpc-server가 한 번에 하나의 클라이언트만 처리할 수 있어, 첫 번째 모델이 RPC 서버를 점유하면 이후 모델들은 두 번째 머신으로 확장되지 못하고 로컬 GPU만 사용하는 문제가 있었다. 이를 해결하기 위해 각 모델마다 별도의 RPC 서버(슬롯)를 할당하는 방식을 도입했다. 이제 첫 번째 모델 실행 시 기본값으로 3개(최대 7개)까지 슬롯을 생성하며, 모델당 RPC 서버를 개별적으로 운영해 여러 모델을 동시에 원활하게 로드할 수 있게 되었다. 이번 개선으로 Ollama 환경에서 두 대의 DGX Spark(각 128GB, 200Gb/s 케이블, RDMA 연결) 자원을 효율적으로 분산 활용할 수 있게 되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.