참고Reddit
1931년 이전 데이터로 학습한 빈티지 LLM 'Bart' 공개
LLM 학습 데이터의 출처와 구성이 모델의 추론 능력에 미치는 영향을 실험하는 흥미로운 연구 사례.
요약
Unbounded Labs가 1931년 이전의 영어 텍스트 20.1B 토큰으로 학습시킨 2.82B 파라미터 규모의 빈티지 LLM 'Bart'를 공개했다. 이번 프로젝트는 AI 모델이 과거 과학자들과 동일한 결론에 도달할 수 있는지, 그리고 모델이 독창적인 아이디어를 생성할 수 있는지 검증하기 위해 3개월간 800달러를 투입하여 진행되었다. 학습 데이터는 1931년 이전의 문헌을 중심으로 구축되었으며, 개발팀은 이를 통해 AI의 근본적인 추론 능력을 탐구하고자 했다. 현재 Bart는 공식 데모 사이트와 Huggingface를 통해 체험 및 모델 확인이 가능하다. 자세한 데이터 정제 과정과 학습 방법론은 Unbounded Labs의 블로그를 통해 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Bart- A vintage llm [R]
원문 보기 ↗