참고팁Reddit
Claude Code(클로드 코드)의 '성능 저하' 체감 시, 실험 세션 확인하는 법
Claude Code(클로드 코드) 사용 시 A/B 테스트나 모델 변경 여부를 로컬 세션 파일로 직접 확인하는 기술적 팁.
요약
Reddit 커뮤니티에서 Anthropic이 사용자 모르게 Claude 모델에 대한 성능 실험을 진행하고 있다는 의혹이 제기되었습니다. 일부 사용자들은 Claude의 성능 저하(nerf) 현상을 주장하며, 이를 뒷받침하기 위해 시스템 내에 존재하는 'experiment-id'의 존재를 근거로 제시했습니다. 사용자들은 ~/.claude/ 디렉토리 내의 session-transcripts 파일들을 통해 자신이 어떤 실험 대상에 포함되었는지 확인할 수 있다고 설명합니다. 해당 파일은 /home/<user>/.claude/projects/*/*.jsonl 경로에서 .jsonl 형태로 제공됩니다. Anthropic의 이러한 비공개 실험 방식이 실제 모델 성능에 영향을 미치고 있다는 논란이 이어지고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 The nerf is real. Thank you u/WuM1ha1nho!!!!
원문 보기 ↗