Liquid AI, 131K 컨텍스트 지원 온디바이스 추론 모델 'LFM2.5-24B-A2B' 공개

요약

LFM2.5-24B-A2B는 기존 LFM2-24B-A2B의 아키텍처를 계승하면서 컨텍스트 윈도우를 32K에서 131K 토큰으로 확장하고, 어휘 사전 규모를 65K에서 128K로 두 배 늘려 비라틴 문자 처리 능력을 개선했다. 이번 모델은 추론 전용 모델로 설계되어 최종 답변 전 명시적인 사고 과정(Chain of Thought)을 생성하며, 사전 학습 데이터를 기존 약 17T에서 약 33T 토큰 규모로 확대했다. 또한, 추론, 수학, 코드, 다국어 처리 등에 중점을 둔 미드 트레이닝 과정을 거쳐 성능을 고도화했다. Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it, Nemotron-3.5-Lightning 등과 비교했을 때 가장 작은 규모임에도 불구하고, 도구 사용 및 에이전트 워크플로우 관련 8개 벤치마크 중 5개에서 경쟁 모델과 대등하거나 우수한 성능을 입증했다. 특히 도구 활용 및 지시 이행 능력에서 강점을 보여 에이전트 애플리케이션 개발에 적합하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.