참고X
LLM 안에 또 다른 LLM을? Qwen(큐원) 모델 위에서 돌아가는 'QwenPU' 기술 화제
Qwen(큐원) 모델 가중치 내부에 NPU를 컴파일하여 소형 언어 모델을 구동하는 흥미로운 기술적 실험.
요약
X 사용자 @divagr1925가 Qwen 3.5-4B 모델의 가중치 내부에 또 다른 LLM인 'QwenPU'를 구동하는 기술을 공개했다. QwenPU는 Karpathy의 'stories260k' 모델을 NPU 형태로 컴파일하여 Qwen 3.5-4B 가중치 내부에 탑재한 구조이다. 이 과정에서 stories260k라는 C 프로그램을 Qwen 모델 내부에서 실행하기 위해 행렬 곱셈, 소프트맥스, 어텐션 연산을 비트 단위로 동일하게 수행하는 NPU를 모델 가중치에 직접 컴파일했다. 별도의 외부 도구 없이 Qwen의 자체 메모리 내에서 LLM이 다른 LLM을 구동하는 방식이다. 작성자는 현재 처리 속도를 최적화하기 위한 추가 작업을 진행 중이며, 조만간 상세 내용을 공유할 예정이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @divagr1925: 1/3 A CPU inside an LLM is one thing, but running another LLM inside an LLM would be taking things a bit too far, wouldn't it? Any
원문 보기 ↗