참고Reddit
Vega: 800M 파라미터의 경량 물리학 기반 의사결정 모델 공개
73k 컨텍스트와 이미지 입력을 지원하는 초경량 모델. 온디바이스 에이전트 경량화 연구 시 테스트 권장.
요약
오픈소스 모델 개발자가 새로운 물리 기반 의사결정 모델인 'Vega'를 공개했다. Vega는 8억 개의 파라미터(800 Million Parameters)로 구성되었으며 4B 모델도 함께 지원한다. 특히 73k 토큰 컨텍스트와 이미지 처리가 가능하며, 이전 모델인 Jev의 벤치마크 성능을 단일 샷(single-shot)에서 뛰어넘는 결과를 보였다. 해당 모델은 엔진과 어댑터를 결합한 테스트 타임 트레이닝(Test-Time Training) 아키텍처를 적용했다. 기존 Jev 모델의 오픈소스 버전인 Laya에 이어, 로컬 LLM 커뮤니티를 중심으로 개발 및 확산되고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Created laya : Now Introducing a new 800 Million Param physics-based typed decision model with 73k context and image support
원문 보기 ↗