참고Reddit
1M 컨텍스트 지원 'LongCat-Flash-Lite-Sparse' 오픈 웨이트 공개
기존 dense MLA 대신 스파스 어텐션을 채택하여 긴 문맥 처리에 특화된 모델. 긴 컨텍스트 모델 필요 시 테스트 고려.
요약
Reddit의 r/LocalLLaMA 커뮤니티에서 LongCat-Flash-Lite-Sparse 모델의 가중치가 공개되어 다운로드가 가능해졌다. 이 모델은 기존 LongCat-Flash-Lite를 기반으로 개선되었으며, 핵심적인 변화는 기존 Dense MLA 구조를 LongCat Sparse Attention(LSA)으로 대체했다는 점이다. 이를 통해 기존 256k였던 컨텍스트 길이를 최대 1M 토큰까지 네이티브하게 지원하는 것이 특징이다. 실무자들은 최신 릴리스된 가중치를 리포지토리에서 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 LongCat-Flash-Lite-Sparse Is Now Available for Download
원문 보기 ↗