참고Hacker News
IFM, 오픈 소스 모델군 'K2 Horizon' 출시
0.9B부터 375B까지 6종의 모델과 학습 데이터 및 레시피를 전면 공개. 소형 모델 활용 시 성능 비교가 필요함.
요약
IFM이 6개의 오픈 모델 제품군인 'K2 Horizon'을 공개했다. 이번 라인업은 375B-A23B, 36B-A4B, 32B, 7B, 3.7B, 0.9B 등 다양한 크기로 구성되었으며, 특히 0.9B, 3.7B, 7B 모델은 각 규모에서 새로운 최첨단 성능을 기록했다. IFM은 모델 사전 학습부터 추론, 에이전트 사후 학습까지 전 과정을 공개하며, 중간 체크포인트, 데이터셋 구성 레시피, 학습 코드 및 설정, 평가 결과 등을 Apache 2.0 라이선스로 제공한다. 36B-A4B 모델은 독자적인 Mixture-of-Expert(MoE) 설계를 통해 활성 파라미터 수 이상의 효율성을 입증했다. 이번 릴리즈는 모델의 아키텍처와 데이터 구축 방식까지 투명하게 공개하여 실무자의 기술적 이해와 활용도를 높였다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 K2 Horizon: A connected fleet of six open models
원문 보기 ↗