참고팁Reddit
LLM API 호출 전 예산 확인 로직, 커넥션 재사용으로 p99 지연 시간 1.2s→0.4s 단축
네트워크 핸드셰이크가 성능 저하의 주범. Redis 등을 활용한 체크 로직 호출 시 커넥션 재사용만으로도 실질적인 대기시간을 크게 줄일 수 있음.
요약
LLM 호출 전 사용자 예산 확인 서비스를 운영하는 개발자가 연결 재사용 여부에 따른 성능 차이를 실험한 결과, 연결 재사용 시 p99 지연 시간이 1278ms에서 414ms로 크게 개선되었습니다. p50 수치 또한 연결 재사용 시 317ms로, 매번 새 연결을 생성할 때의 446ms보다 향상되었습니다. 실험 결과 지연 시간의 대부분은 Redis 확인 자체가 아닌 TCP 및 TLS 핸드셰이크 과정에서 발생한 것으로 나타났습니다. 실제로 순수 네트워크 통신만 측정했을 때, 새로운 연결은 TCP와 TLS 핸드셰이크에만 315ms가 소요된 반면, 재사용된 연결은 물리적 거리에 따른 기본 지연 시간만 발생했습니다. 해당 서비스는 인도에서 us-east-1 리전의 서버로 요청을 보내며, Cloudflare를 통해 통신하는 환경에서 이 같은 최적화가 유효함을 확인했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I timed a budget check that runs before every LLM call. Reusing the connection cut p99 from 1278 ms to 414 ms
원문 보기 ↗