← promppy_ 실시간 AI 뉴스
참고팁X

DeepSeek-V4.1(딥시크 V4.1)-Flash 가속화 팁: 커스텀 'Traffic-tuned Drafter'로 1,129 tps 달성

실제 트래픽 기반 Drafter 학습을 통해 기존 모델 가중치 변경 없이 처리 성능을 대폭 높인 사례.

요약

DeepSeek-V4.1-Flash 모델이 AMD Instinct MI355X GPU 4대를 활용하여 초당 1,129개의 출력 토큰을 기록하는 성능을 달성했다. 이번 성과는 기존 모델 가중치를 수정하지 않고, 고객 트래픽을 기반으로 최적화된 'Traffic-tuned Drafter' 기술을 적용한 결과다. 이 기술은 메인 모델이 초안을 더 효과적으로 수용하게 만들어 7토큰 길이의 긴 초안을 유용하게 활용할 수 있도록 설계되었다. 결과적으로 기존 기본 드래프터 사용 시 초당 835토큰이었던 처리 속도가 1,129토큰으로 대폭 향상되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 @ai_for_success: 1,129 output tokens per second on DeepSeek-V4.1-Flash, running on four AMD Instinct MI355X GPUs. What I like is how they got there

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스