참고Reddit
클라우드 API 모델의 성능 저하(Drift) 현상 분석
모델 업데이트 후 성능 및 응답 성향이 변할 수 있음. 에이전트 개발 시 버전 고정 및 Telemetry 모니터링의 중요성 시사.
요약
클라우드 제공업체가 기존 deepseek-v4.1-flash 모델을 10월 17일 공개된 -1017 버전으로 10월 19일까지 사전 예고 없이 교체했다는 분석이 제기되었다. 해당 업데이트는 기존의 중국어 출력 문제를 해결하고 도구 호출 기능을 강화했으나, 실무자가 체감하는 모델의 성능은 크게 하락했다. 실제 코딩 에이전트 로그 분석 결과, 모델 교체 후 사용자의 욕설 빈도는 3배 증가했으며 세션 중 다른 모델로 전환하는 비율은 6.7배 급증했다. 클라우드 API 방식의 특성상 이전 가중치로 롤백할 수 없어 실무자들은 모델 버전 관리 및 API 신뢰성에 대한 우려를 나타내고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Why you can't trust cloud API endpoints: 40 days of coding-agent telemetry showing the exact day providers silently overwrote deepseek-v4.1-flash with -1017 ("faster execution, shorter answers" = 3x more swearing and 6.7x more model switches)
원문 보기 ↗