참고Reddit
Claude Code 사용 패턴 분석: 사용자의 수정 및 불만족 사례
대규모 대화 기록 분석을 통해 모델이 저지르는 빈번한 오류 유형과 개발자가 겪는 한계를 정량적으로 파악할 수 있음.
요약
한 사용자가 Claude Code와의 채팅 기록 343개 세션, 총 10,727개 메시지를 분석한 결과를 공개했다. 분석에 따르면 사용자가 보낸 메시지 중 33%인 3,549개가 수정 요청이나 불만 사항이었으며, 심각한 항의가 포함된 메시지는 895개에 달했다. 또한 Claude Code가 자신의 실수를 인정한 사례를 분석한 결과, '내 잘못' 혹은 '실수'라고 인정한 경우가 785회, 정보를 잘못 추측하거나 지어냈다고 인정한 경우가 916회로 나타났다. 검증 없이 답변했거나 사용자가 요청하지 않은 작업을 수행했다고 인정한 사례도 각각 836회와 387회에 이르렀다. 이번 분석은 AI 코딩 어시스턴트 활용 과정에서 발생하는 잦은 오류와 수정 과정을 구체적인 수치로 보여준다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I asked Claude to draw itself after analyzing our chat history.
원문 보기 ↗