AI 컴퓨팅 자원 경제학: 매출 10배 달성을 위한 랩들의 인프라 전략 분석
AI 랩들의 컴퓨팅 비용 대비 매출 구조 변화 분석. 차세대 모델 개발을 위한 하드웨어 투자 및 인프라 경제성을 이해하는 데 참고.
요약
AI 연구소의 연간 연산 자원(compute)은 매년 3배씩 증가하는 추세이며, 연산 자원 증가율을 상회하는 10배의 매출 성장을 달성하기 위해 세 가지 변화가 동반되어야 한다는 분석이 제기되었다. 구체적으로는 연구소 마진율 상승, 컴퓨팅 비용 증가, 그리고 추론(inference)을 위한 연산 자원 할당 비중 확대로 요약된다. 현재 시장에서는 이 세 가지 현상이 모두 나타나고 있는 것으로 파악된다. 특히 구글과 앤스로픽이 SpaceX를 통해 확보하는 GPU 임대료가 상승세인데, 구글은 GPU 11만 대에 대해 월 9억 달러를 지불하며 스팟 가격 대비 약 2배의 비용을 치르는 것으로 알려졌다. 또한, 현재의 GPU 스팟 가격 역시 지난 2월 대비 40% 이상 상승했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @dwarkesh_sp: "Lab compute 3x-es year over year. For a lab to 10x revenue while continuing to only 3x compute, some combination of the following
원문 보기 ↗