4.6TB VRAM 통합 메모리 구축: 36x DGX Spark 클러스터 운용 사례

요약

최근 16개로 구성했던 DGX Spark 클러스터를 20개 추가하여 총 36개 규모의 'The All Spark' 클러스터로 업그레이드했다. 이번 확장을 통해 총 4.6TB의 통합 메모리를 확보했으며 200Gbps FS 스위치와 QSFP56 DAC 케이블 등을 사용하여 네트워크 인프라를 구축했다. 단순히 대규모 추론 모델을 실행하는 기계를 넘어 Hermes와 자체 구축한 메모리 사이드카 시스템을 결합해 지속적인 에이전트 기능을 수행하는 클러스터로 운영 중이다. 작성자는 지난 4개월 이상 주요 LLM 모델들을 해당 환경에서 구동하며 클러스터를 고도화해 왔다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.