AMD, AI 모델을 실리콘에 직접 새기는 Taalas 인수
HBM 없이 가중치를 트랜지스터에 각인, Llama 3.1 8B 초당 1.7만 토큰. 온디바이스 추론 판도 주시 필요.
요약
AMD가 AI 모델을 실리콘에 직접 각인하는 토론토 기반의 스타트업 Taalas를 인수했다고 2026년 8월 6일 발표했다. Taalas가 개발한 첫 칩인 HC1은 HBM에서 가중치를 불러오는 기존 방식 대신 트랜지스터 자체에 모델 데이터와 가중치를 내장하여 메모리 병목 현상을 해결했다. TSMC 6nm 공정의 HC1 칩은 Meta의 Llama 3.1 8B 모델을 단일 카드에서 사용자당 초당 약 17,000 토큰의 속도로 구동하며 전력 소모는 200~250W에 불과하다. 이 방식은 가중치가 칩 내부에 고정되어 메모리 읽기 과정이 필요 없기에 기존 GPU 대비 훨씬 빠른 추론 속도와 효율성을 제공한다. 향후 20B 파라미터를 목표로 하는 HC2 개발이 예정되어 있으며, 대규모 데이터 센터 없이도 로컬 환경에서 강력한 AI 연산이 가능해질 전망이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @BrianRoemmele: BOOM! MASSIVE AI POWER ON YOUR DESKTOP OR POCKET. It will make doomers freak out. AMD bought the company that etches entire AI mod
원문 보기 ↗