중요AI타임스
엔비디아, Nemotron 압축 프레임워크 'Puzzle' 공개…추론 처리량 최대 4.6배
120B→75B 압축으로 GPU 1장에 초장문맥 처리. LLM 셀프호스팅 비용 절감 검토 가치.
원문 제목 엔비디아, '반복 퍼즐' 프레임워크로 추론 효율 극대화…"거대 모델 운영 비용 절반으로"
원문 보기 ↗120B→75B 압축으로 GPU 1장에 초장문맥 처리. LLM 셀프호스팅 비용 절감 검토 가치.
원문 제목 엔비디아, '반복 퍼즐' 프레임워크로 추론 효율 극대화…"거대 모델 운영 비용 절반으로"
원문 보기 ↗