참고X
구글·메타, TorchTPU 오픈소스 공개…Nvidia(엔비디아) 의존도 낮춘다
PyTorch 워크로드를 Google(구글) TPU에서 즉시 실행 가능. 특정 하드웨어 종속성 제거 및 인프라 최적화 전략 수립에 참고.
요약
Google이 Meta의 PyTorch 팀과 공동 개발한 TorchTPU를 오픈소스로 공개하며, 기존 PyTorch 워크로드를 최소한의 코드 수정만으로 Google TPU에서 네이티브하게 실행할 수 있게 되었다. 이번 업데이트로 Hugging Face, vLLM, SGLang 등 주요 도구와 원활하게 통합되어 학습 및 추론 작업을 모두 지원한다. 특히 RadixArk에 따르면 SGLang 통합 기능은 이미 Meta의 대규모 프로덕션 환경에서 사용 중이다. 이제 동일한 서빙 코드베이스를 통해 GPU와 TPU를 모두 활용할 수 있으며, 프리픽스 캐싱(prefix caching) 및 추측 디코딩(speculative decoding) 기능도 동일하게 적용된다. 이번 조치는 특정 하드웨어 아키텍처에 종속되지 않으려는 Meta의 전략적 결정에 따른 것으로, 향후 AI 인프라의 다변화가 가속화될 전망이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @mark_k: Google and Meta just made switching away from Nvidia a lot less painful. Google has open-sourced TorchTPU, developed with Meta's P
원문 보기 ↗