참고팁Reddit
오픈소스 결정 모델 'Laya' 공개: 421M 파라미터로 벤치마크 상회
비자기회귀 방식의 결정 모델 'Laya' 공개. 35ms의 추론 속도로 실시간 의사결정이 필요한 에이전트 시스템에 유용함.
요약
최근 Reddit LocalLLaMA 커뮤니티에서 Jev 아키텍처를 개선한 오픈소스 모델 'Laya'가 공개되었다. Laya는 421M 파라미터 규모의 비자기회귀(non-autoregressive) 결정 모델로, Bidirectional ModernBERT-large 인코더와 Transformer 헤드를 결합해 단일 35ms 포워드 패스로 typed schema를 해결한다. 학습에는 RTX 6000 Pro(96GB VRAM) 1대가 사용되었으며, 의도 라우팅, 팩트체크, 모데레이션 합의 등 실제 사례 2만 5천 건 이상의 100% 인간 주석 데이터셋으로 훈련되었다. RLCD(Reinforcement Learning from Classifier Decisions) 기법을 적용해 기존 Jev 벤치마크 성능을 모두 상회하는 결과를 보였다. 현재 Hugging Face Space에서 누구나 모델을 테스트하고 벤치마크 결과를 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Made the horizontal open-source model for Jev with RLCD, and it surpasses all the Jev benchmarks. HF space, benchmark, model, repo
원문 보기 ↗