IFM, 오픈소스 모델 'K2 Horizon' 시리즈 공개 (0.9B~375B)

요약

Institute of Foundation Models(IFM) 연구팀이 0.9B부터 375B 파라미터 크기를 가진 6개의 완전 오픈 모델군 K2 Horizon을 공개하고 Reddit AMA를 진행했다. K2 Horizon은 모델 가중치뿐만 아니라 학습 데이터, 레시피, 학습 코드, 중간 체크포인트, 상세 학습 로그 및 평가 데이터까지 모두 오픈소스로 제공한다. 연구팀은 이번 AMA에서 사전 학습 데이터 믹스, 포스트 트레이닝, 온디바이스용 소형 모델, MoVA 및 희소 어텐션(sparse attention) 기술 등에 대한 기술적 질의응답을 받았다. IFM은 AI 연구의 독립성과 개방성을 목표로 하며, 이번 공개를 통해 frontier급 파운데이션 모델 개발의 투명성을 높이고자 한다. 관련 연구자들은 이번 모델의 배포 방식과 향후 로드맵에 대해서도 구체적인 논의를 이어갔다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.