샘 올트먼 "개별 기기 로컬 추론은 자원 배분 관점에서 비효율적" 발언 화제

요약

샘 올트먼(Sam Altman) 오픈AI CEO는 최근 로컬 추론(Local inference)이 제한된 자원을 비효율적으로 배분하는 방식이라고 비판했다. 그는 많은 사람들이 오픈소스 모델 덕분에 개인용 컴퓨터에서 모델을 구동하면 데이터센터가 필요 없을 것으로 오해하고 있다고 지적했다. 그러나 올트먼은 전 세계적으로 부족한 DRAM 자원이 개별 컴퓨터에 분산되어 5% 미만의 가동률로 사용되는 것은 글로벌 자원 배분 관점에서 매우 비효율적이라고 주장했다. 그는 현재처럼 공급이 제한적인 환경에서는 클라우드 환경을 통해 자원 활용도를 극대화하는 것이 필수적이라고 강조했다. 많은 이들이 직관적으로 로컬 구동을 선호하지만, 실제 자원 효율성 측면에서는 반대의 접근이 필요하다는 것이 그의 견해다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.