중요X
오픈소스 추론 엔진 SGLang v1.0 공개, 구글·메타·엔비디아 참여 컨소시엄 출범
vLLM 외 대안으로 SGLang 입지 강화. 대형 벤더 지원으로 자체 추론 스택 선택지 재검토 가치 있음.
요약
오픈소스 추론 기술 분야에서 SGLang v1.0 발표와 Miles v0.2 출시를 포함한 대규모 업데이트가 연이어 발표되었다. 특히 주목할 만한 점은 SGLang 컨소시엄이 새롭게 출범했다는 것이다. 이번 컨소시엄의 창립 멤버로는 구글(Google), 메타(Meta), 엔비디아(NVIDIA), AMD, 인텔(Intel) 등 글로벌 빅테크 기업들이 대거 참여했다. 또한 씽킹 머신즈(Thinking Machines), 클라우드플레어(Cloudflare), 모달(Modal), 래딕스아크(RadixArk) 등도 주요 멤버로 이름을 올렸다. 업계의 주요 기술 기업들이 대거 합류함에 따라 향후 오픈소스 추론 기술 생태계의 발전 속도가 가속화될 것으로 전망된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @DataChaz: HUGE week for open-source inference. > SGLang v1.0 announced > Miles v0.2 released > SGLang Consortium launched SGLang's
원문 보기 ↗