LLM 게이트웨이 성능 벤치마킹 시 p50 지연 시간만 보면 안 되는 이유

요약

최근 LLM 게이트웨이 성능 벤치마킹 시 단순히 헤드라인의 지연 시간(latency) 수치만 보고 판단하는 것은 위험하다. 마이크로초 단위의 측정치가 라우팅 로직, 게이트웨이 내부 처리 시간, 실제 클라이언트가 체감하는 지연 시간 중 무엇을 의미하는지 구분해야 하기 때문이다. 정확한 평가를 위해서는 고정된 응답 시간을 가진 가상의 LLM 제공업체를 설정해 게이트웨이와 네트워크의 오버헤드를 분리해야 한다. 또한, 게이트웨이 성능 저하가 요청 생성 속도에 영향을 미치지 않도록 '오픈 루프(open-loop)' 방식의 부하 생성을 사용해야 한다. 단순히 p50 지연 시간만으로는 전체 성능을 파악할 수 없으므로, 이러한 세부 측정 요소를 고려해 게이트웨이를 평가해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.