참고Reddit
Jetson 기기에서 허깅페이스 모델 성능을 실시간 테스트하는 'Embedl' 공개
Orin Nano 등 Jetson 보드에서 모델 최적화 및 런타임 벤치마크 데이터를 직접 확인 가능.
요약
Embedl은 브라우저를 통해 Jetson 디바이스에서 Hugging Face 모델을 무료로 테스트할 수 있는 환경을 제공하며, 사용자는 모델 페이지에서 디바이스를 선택하고 프롬프트나 이미지를 업로드하여 실시간 런타임 통계를 확인할 수 있다. 기존에 8GB 메모리 제한으로 BF16 스택 구동이 불가능했던 Cosmos3-Edge 모델을 INT4 양자화 및 최적화를 통해 Orin Nano Super 8GB에서 구동하는 데 성공했다. 최적화된 모델은 Orin Nano Super 8GB에서 152.5 tok/s, AGX Thor 128GB에서 207.8 tok/s의 성능을 기록했다. 이는 기존 vLLM BF16 방식(AGX Orin 64GB 44.1 tok/s, AGX Thor 128GB 68.2 tok/s) 대비 크게 향상된 수치이다. 또한, 5개 VLM 벤치마크 테스트 결과, 정확도(65.56 → 65.20)를 거의 유지하면서도 처리 속도를 대폭 개선했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Test Huggingface models on Jetson devices over the browser
원문 보기 ↗