40개 미니 PC 클러스터에서 구동한 'GLM 5.3 Flash' 성능 측정

요약

한 Reddit 사용자가 Intel N150 미니 PC 40대를 활용하여 GLM 5.3 Flash를 구동하는 클러스터 환경을 구축했습니다. 각 노드는 12GB DDR5 4800 메모리를 탑재했으며, USB 3.2를 이용한 10Gbps 속도의 트리 구조(1→3→9→27) 네트워크로 연결되어 있습니다. 이 시스템은 1k 컨텍스트에서 14tps, 최대 40tps(배치 디코딩 시)의 성능을 보이며 1M 컨텍스트까지 처리가 가능합니다. 기존 1Gbps LAN 연결 대비 두 배 향상된 속도를 기록했으며, 최대 전력 소모량은 740W입니다. 전체 시스템 구축 비용은 약 5,000달러가 소요되었으며, 현재 Prefill 성능 최적화 등을 위한 추가 개선 작업을 진행 중입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.