비드래프트, 학습 레시피·로그 포함한 오픈소스 모델 'Aether-7B-5Attn' 공개

요약

AI 스타트업 비드래프트가 독자 개발한 오픈소스 파운데이션 모델 'Aether-7B-5Attn'을 허깅페이스에 공개했다. 이 모델은 모델 가중치뿐 아니라 학습 데이터 레시피, 학습 코드, 하이퍼파라미터 등 제조 공정 전반을 Apache-2.0 라이선스로 완전 공개해 재현 가능성을 확보했다. 65.9억 파라미터 규모의 전문가 혼합(MoE) 구조로, 5종의 이종 어텐션 메커니즘을 결합해 추론 효율을 높였으며 엔비디아 B200 GPU 16장을 활용해 약 1442억 토큰으로 학습됐다. 특히 수학, 한국어, 영어 데이터 비중을 고려해 설계되었으며 소버린 AI 구축을 위한 투명성과 독립적 검증 가능성에 초점을 맞췄다. 비드래프트는 이번 공개를 통해 국내 AI 생태계의 독자 모델 개발 역량과 재현 가능성에 대한 논의를 확장할 방침이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.