참고X
Theo, 6.77T 토큰 처리 인프라 가동 성능 데이터 공개
실제 프로덕션 환경의 인프라 처리 성능 지표를 통해 대규모 AI 운영 참고 가능.
요약
@thdxr는 최근 24시간 동안 특정 랙이 6.77T 토큰을 처리했다고 밝혔다. 해당 랙의 p50 TTFT(Time to First Token)는 1.16초, p50 TPS(Tokens Per Second)는 143으로 측정되었다. 다만 p95 수치는 다소 저조하게 나타났는데, 이는 랙 내부 트레이 중 하나에서 문제가 발생했기 때문이다. 현재 해당 트레이를 교체할 예정이며, 이후 성능이 크게 개선될 것으로 기대하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @thdxr: in the last 24 hours this rack - handled 6.77T tokens - p50 TTFT was 1.16s - p50 TPS was 143 unfortunately p95 isn't looking great
원문 보기 ↗