AI 파이프라인 최적화: 소형 특화 모델 조합과 메모리 비효율 해결

요약

AI 모델을 자체 호스팅할 때 소형 특화 모델을 사용하면 비용이 절감될 것으로 기대되지만, 실제로는 서버 운영 방식 때문에 비용이 크게 줄지 않는 문제가 발생한다. 현재 vLLM, TEI 등은 모델별로 서버를 따로 구축해 GPU 메모리를 개별적으로 점유하므로, 사용량이 적어도 GPU 비용이 그대로 발생한다. 4개의 소형 모델을 각각 4개의 GPU에 할당하는 방식은 하드웨어 가동률을 떨어뜨리며, 결과적으로 비용 효율성을 저해하는 주원인이 된다. 안드레 카르파티(Karpathy) 등 전문가들은 '인지 핵심(cognitive core)' 파라미터만으로 대부분의 작업 수행이 가능하다고 보지만, 이를 위해서는 단일 서버에서 LLM, 리랭커, 임베딩 모델 등 다양한 모델을 통합 운영하는 방식이 필요하다. 하나의 GPU 서버에서 여러 모델의 트래픽을 처리하여 유휴 자원을 최소화한다면, 인프라 비용을 최대 75%까지 절감할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.