Bonsai-27B 및 Ternary-Bonsai-27B 업데이트: llama.cpp 업스트림 지원 강화

요약

Bonsai-27B와 Ternary-Bonsai-27B 모델의 업데이트 상황이 llama.cpp 업스트림을 중심으로 공개되었습니다. 이진(Binary) 양자화 모델인 Q1_0의 경우, CPU와 Metal, CUDA, Vulkan 등 llama.cpp의 다양한 백엔드에서 즉시 사용 가능하도록 업스트림에 병합되었습니다. 다만 MLX 1-bit 지원은 현재 업스트림 병합 대기 중으로, 병합 전까지는 PrismML-Eng/mlx 저장소의 별도 브랜치를 사용해야 합니다. 삼진(Ternary) 양자화 모델의 지원은 현재 llama.cpp 메인라인으로 마이그레이션되는 과정에 있습니다. 이에 따라 현재 세 가지 Ternary GGUF 변형이 제공되고 있으며, 각 변형은 적절한 환경에서 구동해야 하는 상태입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.