참고팁Reddit
3U 서버급 사양의 로컬 추론 구축 사례: RTX 6000 Blackwell 2개 활용
고성능 로컬 추론 서버 구성 시 하드웨어 배치와 오케스트레이션 전략을 참고할 수 있는 상세 사례입니다.
요약
최근 Reddit에서 화제가 된 'Acorn'은 3U 섀시 크기에 최적화된 프라이빗 자체 추론 서버입니다. 이 서버는 RTX 6000 Blackwell MaxQ 2개를 메인으로 하여 GLM-5.3-flash와 같은 중형 MoE LLM을 구동하며, RTX 2000E로는 임베딩 및 리랭커 모델을, RTX 4000 SFF로는 음성 ASR 및 TTS를 처리합니다. 256GB ECC UDIMM RAM을 탑재하여 LLM 동시성을 높였고, 소비자용 AM5 플랫폼과 1200W 파워서플라이를 사용해 구성되었습니다. 개발자는 이 시스템에서 커스텀 오케스트레이터 에이전트를 운영하여 200 tokens/s 이상의 속도와 실시간 스트리밍 음성 처리를 구현했습니다. 기존 클라우드 기반 서비스 대비 월등히 빠른 반응속도와 완전한 프라이버시를 확보했다는 점이 핵심입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Self contained 3U inference server orchestrating all of my work
원문 보기 ↗