참고팁X
DeepSeek-V4-Flash, RTX 6000 Blackwell 2장으로 초당 245토큰 처리
고성능 GPU 2장만으로도 상당한 추론 속도를 확보할 수 있어 로컬 환경 구축 시 벤치마크 지표로 참고할 가치가 있습니다.
요약
Tinygrad가 NVIDIA RTX 6000 Blackwell GPU 2개를 사용하여 DeepSeek-V4-Flash-0731 모델에서 초당 245토큰(tok/s)의 성능을 달성했다. 이번 성과를 기념하여 Tinygrad는 GPU 2개 전용 tinybox 에디션을 새롭게 출시한다. 해당 에디션은 4개의 GPU를 설치할 수 있는 모든 하드웨어가 포함되어 있으며, 사전에 테스트를 거쳐 제공된다. 효율적인 추론 성능을 원하는 실무자들에게 고성능 워크스테이션 구축을 위한 새로운 하드웨어 옵션이 될 것으로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @__tinygrad__: 245 single user tok/s on DeepSeek-V4-Flash-0731, and it's only using 2 of the RTX 6000 Blackwell GPUs! In honor of DeepSeek, we're
원문 보기 ↗