퀄컴, 150W 저전력 고효율 AI 가속기 'Cloud AI 100 Ultra' 발표

요약

Qualcomm이 생성형 AI와 대규모 언어 모델(LLM) 추론에 특화된 가속기 카드인 Cloud AI 100 Ultra를 발표했다. 이 카드는 150W의 TDP를 유지하면서 ECC를 지원하는 128GB 메모리와 548GB/s의 메모리 대역폭을 제공하여 효율적인 대규모 배포를 지원한다. 내부적으로는 64개의 AI 코어와 최대 576MB의 온다이 SRAM을 탑재했으며, 연산 성능은 INT8 기준 870 TOPS, FP16 기준 288 TFLOPS에 달한다. 컴퓨터 비전부터 Transformer 기반 LLM까지 폭넓은 워크로드를 지원하며, PCIe Gen4 16레인을 통해 호스트와 연결된다. 뛰어난 성능 대비 전력 효율과 비용 최적화를 강점으로 내세워 데이터센터 환경의 추론 요구 사항을 겨냥했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.