Inworld Inference, Gemma 4(젬마 4) 등 초저지연 LLM 추론 API 공개

요약

Inworld AI가 모든 개발자를 위한 LLM 추론 API인 'Inworld Inference'를 정식 출시했다. 이번 서비스는 실시간 소비자용 AI 애플리케이션에 최적화되었으며, 특히 Gemma 2 27B 모델 사용 시 첫 토큰 생성 속도를 크게 단축시켰다. Inworld Inference의 중간 첫 토큰 생성 시간은 0.17초로, 기존 OpenRouter 제공 업체의 중간값인 0.61초 대비 3.6배 빠르다. 95% 백분위수 기준으로는 0.31초를 기록해 기존 2.42초 대비 약 7.8배 개선된 성능을 보여, 즉각적인 반응이 중요한 AI 튜터나 게임 캐릭터 구현에 효과적이다. 또한 Inworld는 Gemma 외에도 GLM, DeepSeek, MiMo 모델을 OpenAI 호환 API를 통해 제공한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.