중요AI타임스
AMD-세레브라스, AI 추론 플랫폼 협력…'프롬프트-토큰 분리'로 성능 5배 목표
프리필-디코딩 분리 아키텍처가 확산 조짐. 대규모 추론 서빙 비용 구조 재검토 필요.
요약
AMD와 세레브라스가 차세대 AI 추론 플랫폼 공동 개발을 위해 협력한다. 이번 플랫폼은 AMD의 랙 스케일 AI 인프라 '헬리오스(Helios)'와 세레브라스의 웨이퍼 스케일 엔진(WSE)을 통합하는 방식이다. 핵심 기술은 추론 과정을 역할별로 분리하는 분산형 구조로, 이를 통해 전력 대비 토큰 생성 성능을 최대 5배 높이는 것을 목표로 한다. 양사는 23일(현지시간) 이 같은 내용을 발표하며 서로 다른 하드웨어가 하나의 추론 워크플로 안에서 각자의 강점을 발휘하도록 설계할 계획이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 AMD·세레브라스, AI 추론 플랫폼 협력..."프롬프트-토큰 생성 분리로 성능 5배 높인다"
원문 보기 ↗