참고Reddit
LLM 내부에서 LLM 구동: Qwen 3.5(큐원 3.5)-4B 가중치 내 NPU 컴파일 성공
LLM 가중치 내에 NPU를 직접 컴파일해 소형 모델을 구동하는 실험적 시도. 모델 경량화 및 추론 최적화의 기술적 한계를 탐구.
요약
Qwen 3.5-4B의 가중치 내부에 NPU를 컴파일하여 또 다른 LLM을 구동하는 'QwenPU' 프로젝트가 공개되었다. 개발자는 Andrej Karpathy의 'stories260k' 모델을 C 프로그램 형태로 변환한 뒤, 이를 Qwen 모델 내부 메모리에서 직접 실행하도록 구현했다. 별도의 외부 도구 없이 모델 자체 가중치만 사용하여 행렬곱(matmuls), 소프트맥스, 어텐션 연산을 비트 단위로 정확하게 처리한다. 이전 RISC-V CPU를 Qwen에 통합했던 개발자의 후속 연구로, LLM 내부에 또 다른 연산 엔진을 구축했다는 점에서 주목받고 있다. 현재 깃허브(GitHub)와 허깅페이스(Hugging Face)를 통해 코드와 가중치가 공개되었으며, 추가 최적화 작업이 진행 중이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 An LLM inside an LLM - Same guy who put a RISK-V CPU inside Qwen has now made Karpathy's stories260k run on an NPU compiled inside Qwen 3.5-4B's weights
원문 보기 ↗