← promppy_ 실시간 AI 뉴스
참고Reddit

Qwen 27B(큐원 27B) 모델 구동 가능한 로컬 저전력 AI 칩 프로토타입 공개

FPGA에서 Qwen 27B(큐원 27B)가 초당 5.5~7.9 토큰으로 구동되는 사례. 온디바이스 AI 및 로컬 LLM 환경의 하드웨어적 가능성을 보여줌.

요약

Valley Semiconductor가 로봇, 드론, 현장 장비 등에서 인터넷 연결 없이 로컬 환경에서 대형 AI 모델을 구동할 수 있는 저전력 AI 칩 프로토타입을 공개했다. 현재 AWS 상의 FPGA에서 해당 칩 아키텍처가 구동 중이며, 공식 웹사이트를 통해 Qwen 27B(4비트 가중치) 모델의 라이브 테스트를 지원한다. 측정 결과 Qwen 27B 모델 구동 시 5.5~7.9 tokens/sec 속도를 기록하며, 8일 만에 성능을 4배 개선했다. 모델의 출력 결과는 4비트 참조 모델과 정확히 일치하며, 전체 정밀도 버전 대비 2.5% 이내의 성능 품질을 유지한다. 해당 하드웨어는 Qwen 27B 외에도 Llama 3.1 8B 및 OLMoE 모델을 구동할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 We built a chip prototype that runs Qwen 27B. You can try it live.

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스