NVIDIA(엔비디아)·AI4Bharat, 인도 22개 언어 2.8조 토큰 사전학습 데이터·파이프라인 공개

요약

NVIDIA와 IIT Madras의 AI4Bharat 연구소가 인도 헌법에 명시된 22개 언어를 지원하는 사전 학습 모델 'Nemotron-pretraining-Indic-v1'을 발표했다. 이 모델은 약 2.8조 개의 토큰으로 학습되었으며, 인도 인구의 97%가 사용하는 언어들을 포괄한다. 이번 발표에는 모델 학습에 사용된 오픈 소스 기반의 GPU 가속 데이터 생성 파이프라인이 포함되어 있어, 개발자가 직접 자신의 소스 자료에 맞춰 데이터를 생성하고 조정할 수 있다. AI4Bharat의 기존 오픈 소스 데이터셋인 'Sangraha'와 결합해 인도 언어 AI 연구를 위한 강력한 기반을 제공할 것으로 기대된다. 해당 파이프라인은 프롬프트, LLM 워크플로우, 품질 검사 과정을 모두 포함하며, 수학, 코드, Q&A 등 다양한 영어 커리큘럼 데이터를 인도 언어로 확장하는 역할을 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.