참고팁Reddit
Qwen3.5 9B/27B 모델, 저가형 FPGA 하드웨어에서 구동 성공
일반 GPU가 아닌 FPGA를 활용한 초저전력 및 전용 AI 추론 환경 구축 가능성을 보여줌.
요약
한 개발자가 저렴한 이베이 중고 채굴용 하드웨어인 SQRL FK33 FPGA를 활용하여 Qwen3.5 9B 및 27B INT4 모델의 추론 구현을 시도했다. 8GB HBM2와 약 400GB/s 대역폭을 가진 SQRL FK33 보드(약 280달러)를 사용하여 Qwen3.5 9B 모델을 구동한 결과, 75MHz 클럭에서 2tok/s의 성능을 확보했다. 개발자는 기존 AXU3EG FPGA 보드에서의 llama.c 추론 경험을 바탕으로, 높은 클럭을 구현하기 위한 추가적인 RTL 최적화 및 코어 전압 조정 작업을 진행 중이다. 이번 시도는 값비싼 전문 GPU 없이도 FPGA 패브릭을 통해 최신 9B~27B 규모의 LLM 추론이 가능하다는 점을 실증했다는 점에서 의미가 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Qwen3.5 arch implementation in FPGA fabric for 9B/27B INT4 models on relatively cheap eBay mining hardware
원문 보기 ↗