Cerebras(세레브라스), 조 단위 파라미터 모델을 초당 1000토큰 이상으로 구동

요약

Cerebras는 자사의 웨이퍼 스케일 칩인 WSE-3T를 활용하여 수조 개의 파라미터를 가진 거대 AI 모델을 배포하는 방법을 공개했다. 이 기술을 통해 3조 파라미터 규모의 오픈소스 모델인 Kimi K3를 초당 1000~2000 토큰 이상의 속도로 구동할 수 있다. Kimi K3는 Terminal-Bench 2.1에서 88.3%, BrowseComp에서 91.2%의 점수를 기록하며 일부 벤치마크에서는 주요 독점 모델을 능가하는 성능을 입증했다. 4비트 양자화를 적용한 Kimi K3를 구동하기 위해 Cerebras는 총 59개의 WSE-3T 웨이퍼를 사용하여 모델 레이어를 분산 처리한다. 이를 통해 거대 모델의 메모리 제약을 극복하고 효율적인 추론 환경을 제공한다는 설명이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.