Sarvam AI 공동창업자, 4,000개 GPU로 인도 자체 LLM 개발 과정 공개

요약

인도 AI 스타트업 Sarvam AI의 공동 창업자 Pratyush Kumar는 Llama 모델을 기반으로 시작하여 아시아 기업 중 유일하게 Llama 3 시리즈 개발에 기여했다고 밝혔다. 회사는 인도 언어 처리에 강점을 확보한 뒤, 인도에 최초로 GPU가 도입되었을 때 20억 파라미터 규모의 모델을 자체 사전 학습하여 인포시스(Infosys)와 IT 서비스 최적화 작업을 수행했다. 이후 강화학습의 중요성을 인식하고 미스트랄(Mistral)의 소형 모델을 기반으로 추론 특화 모델 'Sarvam M'을 구축했다. 최근 1년 동안에는 4,000개의 Hopper 시리즈 GPU를 활용해 인도 현지에서 1,000억 파라미터 이상의 모델을 자체 사전 학습하는 성과를 거두었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.