참고팁Reddit
Qwen 35B MoE 모델, 갤럭시 S26 Ultra에서 구동 성공
온디바이스 환경에서 MoE 모델의 실행 가능성을 보여준 사례. 경량화 및 모바일 추론 최적화의 기술적 힌트.
요약
최근 Reddit의 r/MachineLearning 커뮤니티에 S26 Ultra 환경에서 Qwen 35B MoE 모델을 구동하는 실험 결과가 공유되었습니다. 실험자는 별도의 아키텍처나 방법론은 공개하지 않았으나, 해당 모델의 활성 파라미터가 기기 메모리 제한 내에 수용됨을 확인했습니다. 최적화 이후 테스트 결과, 입력 처리 속도는 초당 약 90토큰, 출력 생성 속도는 초당 약 8토큰을 기록했습니다. 해당 실험자는 비전공자로서 연구를 수행 중이며, 학계 소속이 없다는 이유로 arXiv 논문 투고가 보류되는 어려움을 겪고 있다고 밝혔습니다. 현재 이 연구와 관련하여 협업할 연구자를 모집하고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Tried testing qwen 35b moe model on s26 ultra , without compromising on precision [R] ,[D]
원문 보기 ↗