텐센트, 770B 오픈소스 모델 'Hy4' 프리뷰 공개 (49B 활성·1M+ 컨텍스트)
MoE 구조로 활성 49B만 사용해 대형 모델을 자체 인프라에 올릴 여지. 장기 에이전트·툴체인 용도로 벤치 검토 가치.
요약
텐센트(Tencent)가 770B 규모의 총 파라미터와 49B 활성 파라미터를 갖춘 대규모 언어 모델 'Hy4' 프리뷰 버전을 오픈소스로 공개했다. 이 모델은 100만 토큰 이상의 컨텍스트 윈도우를 지원하며, 복잡한 구조 설계나 다단계 도구 사용 등 장기 기억이 필요한 작업에서 뛰어난 성능을 보인다. 특히 모델이 스스로 훈련 파이프라인과 커널을 최적화하는 과정을 거치며 모델 성능 개선의 선순환 구조를 구축한 점이 핵심적인 특징이다. 테스트 결과, 불필요한 내용 없이 구조적인 논리 전개가 뛰어나며 코딩 에이전트나 긴 문맥 유지가 필요한 작업에 최적화되어 있다. 현재 이 모델은 WorkBuddy AI에서 향후 2주간 무료로 체험해 볼 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @CodeswithClara: Tencent just dropped Hy4 preview. and open sourced it. 770b total parameters. 49b activated. over 1m tokens of context. most labs
원문 보기 ↗