참고X
에단 몰릭의 평가: 신규 오픈 웨이트 모델 'Inkling', 성능 기대 이하
최신 오픈 웨이트 모델의 성능을 필드 테스트로 검증한 사례로, 벤치마크 외 실사용 지표 확인 필요.
요약
AI 연구자 에단 몰릭(Ethan Mollick)은 최근 공개된 오픈 웨이트 모델 'Inkling'에 대해 초기 테스트 결과 성능이 다소 거칠다고 평가했다. 그는 Inkling이 현재 최첨단 중국산 오픈 웨이트 모델들의 성능 수준에는 미치지 못한다고 지적했다. 구체적인 사례로 DeepSeek r1이나 Claude 3.5 Sonnet 같은 최첨단 모델들이 통과한 '렘 테스트(Lem Test)'를 Inkling이 수행하지 못하는 모습을 확인했다. 새로운 오픈 웨이트 모델의 등장은 반가운 소식이지만, 실무적인 활용 측면에서는 아직 개선이 필요한 단계로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @emollick: Happy to see a new open weights model, but, so far, Inkling is pretty rough in my tests, not close to frontier Chinese open weight
원문 보기 ↗