훈련 없이 가중치를 직접 생성하는 'Fable 5.1(페이블 5.1)' 실험 결과 공개

요약

Fable 5.1 모델은 별도의 학습 데이터나 옵티마이저 없이 작성된 사양만으로 신경망의 가중치를 직접 생성하는 새로운 접근 방식을 선보였다. 개발자는 이 방식을 통해 코딩 에이전트의 루프 상태를 진단하는 2.1M 파라미터 규모의 트랜스포머 모델을 구축했다. 해당 모델은 은닉 테스트 세트에서 0.957, 독립적으로 작성된 로그 데이터에서 0.908의 높은 정확도를 기록했다. 특히 오프 분포 로그에서 건강한 윈도우에 대한 오경보율이 6.8%에 그쳐, 223,930개의 라벨로 기존 학습 방식을 거친 모델(34.5%)보다 월등히 낮은 수치를 보였다. 이 작업에 소요된 API 비용은 총 64.62달러로, 학습 없는 모델 가중치 직접 생성의 가능성을 입증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.