중요X
Together AI, 에이전트 기반 지속 추론 컴파일러 'Together Compiler' 공개
모델·트래픽 변화에 따라 실시간 재최적화, 최적화 실험 처리량 252배. 자체 추론 인프라 운영 시 참고.
요약
Together AI가 AI 추론을 위한 지속적 컴파일 최적화 솔루션인 Together Compiler를 공개했다. 이 컴파일러는 AI 모델의 아키텍처와 사용 패턴이 빠르게 변화하는 최신 추론 환경에 대응하기 위해 에이전트를 활용하여 실시간으로 배포 설정을 최적화한다. 기존 에이전트 기반 최적화 시스템 대비 시간당 252배 더 많은 실험을 수행할 수 있으며, NVIDIA, AMD, Trainium2 등 다양한 하드웨어 환경에서 업계 최고 수준의 초당 처리량(TPS)을 기록했다. 특히 MiniMax M3.1 B200에서 1111 TPS, DeepSeek v4.1 Flash GB300(batch size 1)에서 1205 TPS를 달성하며 뛰어난 성능을 입증했다. 현재 매일 수조 개의 토큰 처리를 지원하며, 트래픽 변화에 따라 수 시간 내에 재컴파일을 통해 배포 환경을 즉각적으로 조정한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @simran_s_arora: Introducing the Together Compiler: continual compilation for AI inference! I’m super proud to finally share this work from our res
원문 보기 ↗