중요X
Artificial Analysis, 서버리스 엔드포인트별 정확도 보존율 지수 공개
같은 오픈웨이트 모델도 프로바이더 양자화·최적화로 정확도 차이 발생, 가격·속도 외 정확도로 API 선택 근거 확보.
요약
Artificial Analysis가 서버리스 API 엔드포인트가 오픈 웨이트 모델의 정확도를 얼마나 유지하는지 측정하는 'Endpoint Accuracy Index'를 공개했다. 이 지표는 벤더들이 속도와 비용 최적화를 위해 모델 가중치를 양자화하거나 커스텀 커널을 사용하는 과정에서 발생하는 정확도 손실을 검증한다. 평가 항목은 Tool calling(BFCL-500), 과학적 추론(HLE-250), 긴 문맥 회상(AA-LCR-25) 등 세 영역으로 구성되며, 자체 호스팅된 공식 웨이트 배포판을 100% 기준으로 비교한다. 현재 GLM-5.2, gpt-oss-120b, DeepSeek V4 Pro에 대한 평가를 제공하며 Kimi K3도 곧 추가될 예정이다. 실제 측정 결과, 출력 토큰 제한이 엄격한 엔드포인트는 HLE-250 점수가 공식 배포판의 절반 이하로 떨어지는 등 엔드포인트별로 뚜렷한 성능 차이를 보였다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ArtificialAnlys: Announcing the Artificial Analysis Endpoint Accuracy Index, measuring how much of an open weights model's accuracy each serverless
원문 보기 ↗