LLM 자체 구축의 현실: HGX B300 도입 비용 및 운영 효율 분석

요약

기업에서 glm 5.2 모델 구동을 위해 HGX B300 시스템을 구매하려 할 때, 하드웨어 구입 비용으로만 약 110만 유로가 소요된다. 하드웨어 도입 후에도 유지보수를 위해 최소 0.25~0.5명의 전담 인력이 필요하며, 해당 장비는 2~5년간 사용 가능하지만 연말이면 기술적 구세대 모델이 될 가능성이 높다. HGX B300 한 대의 성능은 초당 약 7,000 토큰을 처리하며, 이는 glm 5.2 모델 기준 동시 접속자 20명의 코딩 작업 혹은 120~180명의 RAG 작업 처리가 가능한 수준이다. 현재 HGX B300의 공급량이 부족하여 자본이 충분하더라도 실제 구매가 어려울 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.