참고팁X
LlamaIndex, OpenDocRouter 내 OSS 모델 추론 가속화
speculative decoding 도입으로 추론 지연 시간 개선. OSS 모델 운영 시 참고 가능.
요약
LlamaIndex가 OpenDocRouter의 오픈소스 모델 성능을 개선하기 위해 추가적인 추측 디코딩(speculative decoder) 학습을 완료했습니다. 이번 업데이트로 LightOnIO의 LightOnOCR-3-1B와 같은 모델에서 추론 속도가 상당히 빨라졌습니다. 단일 요청과 64개 요청이 동시에 처리되는 포화 상태(saturated throughput) 환경 모두에서 초당 토큰 처리량(TPS)이 향상되었습니다. 다만, TeleOCR의 경우 작은 호출을 반복하는 특성상 디코딩 지연의 영향이 적어 대규모 처리 시 속도 개선 폭은 상대적으로 낮습니다. 최신 개선 사항은 OpenDocRouter 링크를 통해 바로 테스트할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @llama_index: The OSS models on OpenDocRouter are slowly powering up! 🚀 We trained additional speculative decoders to help with latency. You sh
원문 보기 ↗