Kimi K3 기술 도용 의혹에 대한 기술적 반박 화제
학습 기간과 증류(distillation) 원리 기반, 문샷 AI 모델에 제기된 기술 도용 주장의 허점을 지적하는 업계 의견.
요약
최근 대규모 인공지능 모델의 학습 기간이 수개월에 달한다는 점을 고려할 때, 일부에서 제기하는 모델 도용 의혹은 비논리적이라는 주장이 제기되었다. 초대형 프론티어 모델의 학습에는 일반적으로 수개월, 최대 9개월까지 소요된다. 의혹의 대상이 된 Fable 모델은 6월 9일부터 12일까지, 그리고 7월 1일부터 짧은 기간만 공개되었고 Kimi K3는 7월 17일에 출시되었기에, 며칠 만에 2.8조 개의 파라미터를 가진 모델을 증류(distillation) 방식으로 학습했다는 주장은 설득력이 낮다. 또한, K3는 아키텍처 측면에서 상당한 혁신을 이뤘으며 이를 상세히 문서화하여 공개했다. 증류 기술은 모델의 출력값만을 복제할 뿐 모델의 구조를 직접 복사할 수 없으므로, 기술적 도용이라는 주장에는 한계가 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @RnaudBertrand: For anyone who knows about AI, this makes very little sense: the training run of a large-scale frontier model takes several months
원문 보기 ↗