중요Reddit
OpenAI 자체 추론칩 'Jalapeño' 벤치마크 공개…Nvidia GB300 능가
700W 칩이 1,400W Nvidia 대비 와트당 처리량 1.5~1.9배. 추론 비용 구조 재편 가능성 주목.
요약
OpenAI가 Broadcom과 공동 개발한 자체 추론 칩 Jalapeño의 벤치마크 성능을 공개하며 주목받고 있다. SemiAnalysis의 InferenceX를 통해 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 모델로 테스트한 결과, Jalapeño는 Nvidia의 GB200 및 GB300 랙 시스템 대비 킬로와트당 처리량에서 1.5배에서 1.9배 높은 효율을 기록했다. 특히 엔드투엔드 지연 시간은 1.7배에서 3.6배 낮았으며, 저지연 환경에서는 킬로와트당 처리량이 최대 8.6배에서 104배까지 향상되는 성능을 보였다. 해당 칩은 700W의 전력을 소모하면서도 1,200W~1,400W급 Nvidia 장비를 압도하는 결과를 나타냈다. SemiAnalysis는 이번 테스트를 통해 Jalapeño가 지금까지 테스트한 Nvidia, AMD, Google의 모든 칩을 능가하는 성능을 확인했다고 평가했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 OpenAI Just Dropped Benchmarks for Their Own Chip, Jalapeño, and It's Beating Nvidia's GB300
원문 보기 ↗