중요X
AMD, 책상 밑에서 조 단위 파라미터 모델 돌리는 'Threadripper Halo Station' 공개
GPU 576GB·10만 달러대 온프레미스 워크스테이션. 데이터 외부 유출 없는 프론티어 추론 대안.
요약
AMD가 IFA Berlin에서 기업용 서버 랙 수준의 AI 모델 구동이 가능한 데스크톱 워크스테이션 'Threadripper Halo Station'을 발표했다. 이 장비는 96코어 Threadripper PRO CPU와 최대 4개의 Instinct MI350P GPU를 탑재하여 트릴리언 파라미터 규모의 모델을 로컬 메모리에서 직접 실행할 수 있다. 총 576GB의 HBM3E 메모리와 16TB/s 대역폭을 제공하며, 모든 부품이 개별 액체 냉각 방식으로 설계되었다. 데이터 외부 유출 없이 보안이 중요한 연구소나 AI 스튜디오에서 독립적인 AI 환경을 구축하는 데 최적화되어 있다. 풀옵션 기준 예상 가격은 10만 달러 이상으로, 일반 소비자가 아닌 전문 작업자를 위한 고성능 워크스테이션이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @VaibhavSisinty: The machine AMD announced today runs AI models that most companies rent entire server racks to run. It sits under your desk. 🤯 It
원문 보기 ↗