참고Reddit
로컬 LLM 양자화 모델 'Swift 1.5 Flash Next - Heretic v2' 공개
로컬 환경에서 추론 효율과 출력 길이를 개선한 양자화 모델. 로컬 LLM 사용자라면 테스트해 볼 가치 있음.
요약
r/LocalLLaMA 커뮤니티에 'Swift 1.5 Flash Next - Heretic v2' 모델이 새롭게 공개되었다. 이번 버전은 jeffpeng3가 개발한 v2 Heretic 가중치를 기반으로 제작되었으며, 이전 v1 모델 대비 추론 능력과 출력 길이를 크게 개선한 것이 특징이다. 개발자는 imatrix 레시피를 포함한 양자화 작업을 직접 수행했으며, 모델은 GGUF 파일 형식으로 제공된다. Strata 빌드 아티팩트가 포함된 압축 파일은 저장소에서 다운로드할 수 있다. 모델 로딩 시 'BF16 kernel not found' 오류가 발생할 수 있으나, 이는 Strata 내 관련 경로를 지정하면 해결 가능하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Release: Swift 1.5 Flash Next - Heretic v2 - ReverseEngineer
원문 보기 ↗