참고AI타임스
리퀴드 AI, 추론 병목 해결하는 ‘디스파크(DSpark)’ 기술 공개
소형 모델이 생성하고 대형 모델이 검증하는 방식의 새로운 추론 가속 기술로, LLM 운영 효율성 개선 기대.
요약
리퀴드AI가 20일(현지시간) LLM 추론 과정의 메모리 병목 현상을 해결할 신규 가속 기술 '디스파크(DSpark)'를 공개했다. 이 기술은 약 3억 개 매개변수의 경량 모델이 토큰을 먼저 생성하면, 대형 모델이 이를 한꺼번에 검증하는 방식을 채택했다. 이를 통해 매 토큰 생성마다 발생하는 메모리 병목을 대폭 줄여 추론 속도와 비용 효율성을 높이는 데 초점을 맞췄다. AI 에이전트와 온디바이스 AI 활용이 확대되는 상황에서 추론 성능 개선을 위한 새로운 접근법으로 주목받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 리퀴드 AI ‘디스파크’, 메모리 병목 뚫었다…소형 모델이 미리 쓰고 대형 모델이 검증
원문 보기 ↗