추론 전용 칩 담보로 4억 달러 조달한 'General Compute', 오픈소스 추론 클라우드 확장
프런티어 LLM 대신 오픈소스 모델을 싸게 돌리는 추론 인프라가 부상 중. 비용 최적화 관점에서 검토 가치.
요약
AI 추론 클라우드 스타트업 General Compute가 기술 투자 기업 Upper90으로부터 4억 달러 규모의 대출을 확보했으며, 이는 업계 최초로 추론 전용 칩을 담보로 한 금융 거래로 주목받고 있다. 이번 투자는 기업들이 고비용의 최신 LLM 대신 오픈소스 모델을 효율적으로 구동할 수 있는 저비용 인프라로 눈을 돌리고 있음을 시사한다. General Compute는 SambaNova의 SN50 칩을 기반으로 AI 워크로드에 특화된 '네오클라우드'를 구축하고 있으며, 이 칩은 기존 GPU 클라우드 대비 16배 빠른 추론 속도와 뛰어난 전력 효율성을 제공한다. 또한 SN50 칩은 별도의 수냉식 냉각 시스템이 필요 없어 다양한 데이터센터에 신속한 배치가 가능하다. 이번 자금 조달은 GPU 가격 상승과 AI 서비스 운영 비용 증가에 대응하기 위한 시장의 전략적 변화를 잘 보여주는 사례로 평가된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Why the first GPU financiers are turning to inference chips in a $400 million deal
원문 보기 ↗