참고X
화제: OpenAI 직원도 Ultrafast 모델 사용을 제한하는 이유
컴퓨팅 자원 확보가 차세대 모델의 핵심 지표가 되고 있습니다. 750 tokens/sec 속도는 현재 인프라로도 유지하기 힘든 수준임을 시사합니다.
요약
OpenAI 임직원들은 모든 사용 가능한 모델에 대해 Codex를 무제한으로 이용할 수 있으나 Ultrafast 모델만은 예외인 것으로 나타났다. 티보(Tibo)에 따르면, 약 750 tokens/sec에 달하는 Ultrafast 모델의 속도를 전 직원에게 개방할 경우 가용 컴퓨팅 자원이 빠르게 고갈되기 때문이다. 하지만 OpenAI는 이러한 초고속 성능을 향후 1~2년 내에 전 세계 사용자 대상의 기본 설정으로 만들겠다는 계획을 세우고 있다. 현재는 비용 문제로 내부 직원에게조차 무제한 제공이 어렵지만 2027~2028년경에는 이것이 보편적인 ChatGPT 및 Codex의 속도가 될 전망이다. 이는 OpenAI가 매우 공격적인 인프라 확장 목표를 추진하고 있음을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @TokenGremlin: One detail from Tibo that really stuck with me: OpenAI employees apparently have unlimited Codex access across all available model
원문 보기 ↗