구글, Gemini Batch API 인프라 대규모 개선… p95 지연 80%↓, 성공률 99.998%

요약

구글이 Gemini Batch API의 인프라 업그레이드를 통해 성능을 대폭 개선했다. 이번 업데이트로 p95 지연 시간은 80%, p99 지연 시간은 68% 감소하여 처리 속도가 크게 향상되었다. 배치 작업의 성공률은 99.998% 이상을 기록했으며, 배치 만료 사례 또한 98% 줄어들어 안정성을 확보했다. 또한 개발자 편의성을 위해 부분 배치(partial batches) 기능에 대한 지원을 새롭게 추가했다. 해당 개선 사항은 Gemini Batch API 사용자의 작업 효율성과 시스템 신뢰도를 높이는 데 기여할 것으로 보인다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.