참고팁Reddit
확산 언어 모델(dLLM) 가속 기술 'ORL' 공개: RTX 5090에서 2,788 tokens/s 달성
확산 언어 모델의 추론 성능을 획기적으로 개선하는 연구 및 최적화 엔진으로, 고속 추론 구축 시 참고 가능.
요약
확산 언어 모델(dLLM)의 생성 속도를 비약적으로 높이는 새로운 연구 기술인 ORL(On-Policy Residual Learning)이 오픈소스로 공개되었다. 자체 추론 엔진인 dlmrt와 ORL을 결합했을 때, 단일 RTX 5090 환경에서 LLaDA-2.1-mini 모델로 초당 2,788 토큰을 생성하는 성능을 달성했다. 또한 8개의 B200 GPU 환경에서는 DiffusionGemma 26B MoE 모델 사용 시 초당 7,708 토큰 처리 속도를 기록했다. QwenDLM-4B 모델의 경우 기존 대비 최대 6.9배 높은 엔드투엔드 처리량을 제공하면서도 품질은 동등하거나 더 우수하다는 것이 핵심이다. 특히 H100 환경의 단일 요청 비교에서 DFlash 추측 디코딩보다 1.74배 더 빠른 속도를 보였으며, 이는 배치 사이즈 1 기준의 성능이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 [Research] 2,788 tokens/s on a single RTX 5090 with a diffusion LLM — Introducing ORL (fully open source) [R]
원문 보기 ↗