모델 라우팅 효율화: '모델 어피니티(Model Affinity)'로 추론 비용과 지연시간 최적화

요약

프로덕션 환경의 LLM 라우팅 시 호출마다 모델을 변경하면 KV 캐시를 새로 생성해야 하는 비효율이 발생하므로, '모델 어피니티(Model Affinity)' 전략을 통해 태스크 단위로 모델을 고정하는 방식이 권장된다. 이는 첫 번째 호출 시 라우팅을 수행하고 세션 ID(affinity_id)를 통해 동일한 태스크 내에서는 동일한 모델을 유지하는 구조로, 오픈소스 도구인 Plano를 통해 OpenAI 호환 엔드포인트에서 쉽게 구현할 수 있다. 설정은 YAML 파일로 관리하며, API 호출 시 헤더에 affinity_id를 전달하면 기본 10분간 모델이 고정되고 Redis를 통한 확장도 가능하다. 한편, NVIDIA는 모델 간 KV 캐시 형식을 변환하여 재처리를 생략하게 만드는 기술을 연구 중이나, 현재는 동일 모델군 내에서만 가능해 아직 프로덕션 도입 단계는 아니다. 향후 이종 모델 간 캐시 변환이 해결되면 태스크 중간에도 캐시 재처리 비용 없이 자유로운 모델 교체가 가능해질 전망이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.