참고Reddit
Cohere, North Micro Vision Instruct 모델 llama.cpp 지원 공식화
Cohere의 최신 비전 모델이 llama.cpp와 호환되어 로컬 환경에서의 추론 및 배포가 용이해짐.
요약
Cohere는 커뮤니티의 피드백을 반영하여 자사의 모델들에 대한 llama.cpp 지원을 공식화했다. 최근 llama.cpp에 'North Micro Vision Instruct' 모델의 비전 인코더 지원이 병합되면서, Cohere의 최신 모델 아키텍처 전체가 llama.cpp와 호환된다. LLM 아키텍처의 경우 이미 'North Mini Code' 및 'Command A+'와 동일한 구조를 공유하고 있어 원활한 연동이 가능하다. 이번 업데이트는 로컬 환경에서 Cohere 모델을 활용하고자 하는 개발자들의 요구사항을 적극적으로 반영한 결과이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 llama.cpp support for Cohere models
원문 보기 ↗