참고X
General Compute, 오픈소스 모델 추론 가속화 솔루션 'Positron' 공개
오픈소스 모델의 실시간 추론 비용과 속도를 최적화하려는 개발자들에게 유용한 인프라 소식입니다.
요약
오픈소스 모델의 문제는 모델 그 자체가 아니라 실행 속도에 있었으며, 최근 General Compute와 Positron의 협력은 개발자들에게 빠른 추론 환경을 제공하기 위한 중요한 진전으로 평가받는다. General Compute는 1,500만 달러 규모의 시드 투자를 유치했으며, 30MW 이상의 컴퓨팅 용량을 확보하고 있다. 이 플랫폼은 Cerebras, SambaNova, d-Matrix, Positron과 같은 주요 하드웨어 및 솔루션을 지원한다. 개발자들은 베어메탈 환경이나 단일 엔드포인트를 통해 해당 인프라를 활용할 수 있다. 이는 오픈소스 모델의 성능을 실무 수준에서 효율적으로 구현하려는 흐름을 가속화할 것으로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @DataChaz: open-source models were never the problem. running them fast was. General Compute + Positron is another step toward getting fast i
원문 보기 ↗