참고HF Blog
허깅페이스, CPU 기반 빠른 추론을 위한 'LFM2.5-Encoders' 출시
분류, PII 탐지 등 저비용 CPU 추론 서비스 구현 시 엔코더 모델 활용 가능.
요약
Hugging Face가 CPU에서 빠르고 저렴하게 실행 가능한 LFM2.5-Encoders를 출시했다. 이 모델은 LFM2-230M과 LFM2-350M 디코더 백본을 기반으로 하며, 마스크 언어 모델링 목표로 사전 학습되어 분류, 토큰 수준 작업, 검색 등 다양한 NLP 애플리케이션에 활용할 수 있다. LFM2.5-Encoders는 입력 데이터가 길어져도 비용 증가가 완만한 LFM2 아키텍처를 계승하여 의도 라우터, 정책 린터, PII 탐지기 등 상시 구동되는 서비스에 최적화되었다. GLUE, SuperGLUE를 포함한 17개 작업에서 성능을 검증했으며, 특히 LFM2.5-Encoder-350M은 비교된 14개 모델 중 네 번째로 높은 성능을 기록했다. 모든 모델과 결과 데이터는 오픈소스로 공개되어 실무자가 즉시 도입 가능하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 LFM2.5-Encoders for Fast Long-Context Inference on CPU
원문 보기 ↗