← promppy_ 실시간 AI 뉴스
중요팁X

NVIDIA(엔비디아)·OpenAI(오픈AI), 모델 수정 없이 에이전트를 최대 14배 빠르게 하는 서빙 프레임워크 공개

같은 GPU에서 KV 캐시 재사용·동적 자원 할당으로 에이전트 다단계 호출 최적화. 서빙 비용 절감 검토 가치.

요약

NVIDIA와 OpenAI가 모델 변경 없이 AI 에이전트 구동 속도를 최대 14배 향상시키는 'Evolving Infra' 서빙 프레임워크를 공개했다. 기존 시스템은 에이전트가 반복적으로 긴 문맥을 요청할 때마다 서버가 이를 매번 다시 읽어야 하는 비효율이 있었으나, 새로운 시스템은 GPU 자원을 읽기와 쓰기 작업 간에 유동적으로 재배치하고 문맥을 유지하여 이를 해결했다. 90개의 Claude Code 에이전트를 동시에 실행하여 테스트한 결과, 기존 NVIDIA의 Dynamo 대비 첫 토큰 생성 속도는 최대 14배, 전체 응답 속도는 최대 4.1배 개선되었다. 또한 동일한 하드웨어 환경에서 처리 가능한 요청량도 최대 2.7배 증가하는 성과를 보였다. 관련 코드는 오픈소스로 공개되었으며, 동일 GPU 자원에서 반복적인 불필요한 연산을 제거한 것이 핵심이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 @undefinedKi: NVIDIA and OpenAI just made AI agents run up to 14x faster on the same GPUs, without touching the model. They built a new serving

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스