IBM Granite Switch 4.1 공개: 챗·의사결정·음성을 단일 엔드포인트로 통합

요약

IBM이 채팅, 의사결정, 음성 인식 기능을 단일 엔드포인트에서 통합 수행하는 Granite Switch 4.1 모델(8B 및 30B)을 공개했다. 이 모델은 기반 모델과 유사한 VRAM을 점유하면서도 여러 기능을 동시에 제공하여 GPU 효율성을 극대화했다. 특히 Activated LoRA 기술과 vLLM 최적화를 통해 KV 캐시를 재사용하고 어댑터 전환 속도를 대폭 개선했다. Granite-switch-4.1-8b 모델은 실시간으로 오디오 전사, 요약, 유해 콘텐츠 필터링 등을 단일 경로에서 즉각 처리할 수 있다. 또한, 기존 Granite Libraries의 특화된 어댑터들을 활용해 일반적인 의사결정 모델보다 특정 분류 작업에서 더 뛰어난 성능을 발휘한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.