OpenAI 자체 추론 칩 'Jalapeño' 벤치마크 공개: NVIDIA Blackwell 대비 우위 주장
DeepSeek R1서 700 tok/s(GB300은 169). 사실이면 추론 인프라 비용·조달 판도 재편 신호.
요약
OpenAI가 자체 개발한 1세대 AI 칩 'Jalapeño'의 초기 벤치마크 결과가 공개되었으며, GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 모델 테스트에서 Nvidia의 GB200/GB300 Blackwell 시스템을 압도했다. Jalapeño는 전력 대비 성능 1.5~1.9배, 지연 시간 1.7~3.6배 개선을 보였으며, 특히 DeepSeek R1에서 700 tok/s/user의 속도를 기록해 GB300의 169 tok/s/user 대비 월등한 성능을 나타냈다. 128개 칩으로 구성된 랙은 27.5TB의 HBM4 메모리를 기반으로 1.7 EFLOPS의 MXFP4 연산 능력을 제공한다. 더욱 주목할 점은 OpenAI가 Codex와 GPT-Astra를 활용해 단 2개월 만에 3개의 모델을 설계하고, AI가 생성한 커널이 전문가가 작성한 것보다 1.5~1.8배 높은 성능을 보였다는 것이다. 현재 1세대인 Jalapeño에 이어 2세대 칩 개발과 3세대 구상이 이미 진행 중이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @mark_k: Hot Chips: @OpenAI's Jalapeño AI chip is much more impressive than I expected. The first real benchmarks are out, and the Gen 1 in
원문 보기 ↗