참고X
오픈소스 모델, 추론 워크로드 20% 점유... 비용 효율성 입증
오픈소스 모델이 상용 API 대비 100배 저렴한 비용으로 실무 워크로드를 대체 중. 비용 최적화 전략 수립 시 참고.
요약
Bindu Reddy는 자사의 워크로드 중 20%를 자체 오픈소스 모델로 처리하고 있다고 밝혔다. 해당 오픈소스 모델 운영 비용은 Anthropic이나 OpenAI 모델을 사용할 때보다 약 100배 더 저렴하다. 현재 기술 발전 속도를 고려할 때, 전체 추론 작업의 50%를 오픈소스가 담당할 날이 머지않았다는 전망이다. 기업들은 비용 효율성을 높이기 위해 상용 모델에서 오픈소스 모델로의 전환을 가속화할 것으로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @bindureddy: Already our very own open source models are handling 20% of our workloads About 100x cheaper than Anthropic and OpenAI We are not
원문 보기 ↗