참고Reddit
파라미터 21,000개 초소형 모델 'Valentine-v0' 공개
비즈니스 이메일 생성에 특화된 극초소형 모델 실험. 모델 경량화 연구에 참고할 만한 아키텍처.
요약
최근 Reddit의 LLMDevs 커뮤니티에서 비즈니스 이메일 생성 모델인 Valentine-v0가 공개되었습니다. 이 모델은 기존 Strawberry-email 모델의 7% 수준인 21,000개의 비임베딩(non-embedding) 파라미터만을 사용하여 훈련되었습니다. 모델 구조는 2개 레이어, 4개 헤드, 64 헤드 차원 및 170 FFN 차원으로 구성되었으며, 작성자가 이전에 개발한 Silia 아키텍처를 기반으로 합니다. 훈련에는 기존과 동일한 합성 비즈니스 이메일 데이터셋이 사용되었습니다. 극도로 작은 파라미터 수에도 불구하고 효율적인 이메일 생성 능력을 보여주며 소규모 언어 모델의 가능성을 제시하고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Trained 21 thousand non-embedding parameters model on email generation
원문 보기 ↗