참고Reddit
Nanbeige4.2-3B 공개: Looped Transformer 기반 경량 에이전트 모델
파라미터 증설 없이 레이어를 재사용하는 Looped Transformer 구조를 채택해, 3B 규모에서 에이전트 성능을 최적화한 오픈소스 모델입니다.
요약
Nanbeige4.2-3B는 Nanbeige4.2-3B-Base를 기반으로 구축된 에이전트 특화형 소형 언어 모델입니다. 이 모델은 트랜스포머 레이어를 재사용하는 Looped Transformer 아키텍처를 도입하여 파라미터 추가 없이 모델의 용량을 효율적으로 확장했습니다. 실제 임베딩을 제외한 파라미터는 3B 규모에 불과하지만, 범용 에이전트 및 코드 에이전트 작업에서 뛰어난 성능을 발휘합니다. 강력한 추론 능력과 정렬 기능을 결합하여 소형 모델임에도 불구하고 기존 4배 크기 모델을 상회하는 효율성을 보여줍니다. 현재 Hugging Face를 통해 공개되어 있으며, 로컬 LLM 커뮤니티인 r/LocalLLaMA에서 주목받고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 New Model: Nanbeige4.2-3B (Looped Transformer, outperforms 4x size)
원문 보기 ↗