Claude Code vs OpenCode vs Pi, 하네스별 성능 벤치마크 공유

요약

최근 Reddit r/LocalLLaMA 커뮤니티에서 DeepSeek V4 Flash를 활용한 코딩 도구 벤치마크 결과가 공유되었습니다. 작성자는 Claude Code, OpenCode, Pi 등 3가지 하네스를 대상으로 자체 대규모 코드베이스 벤치마크를 진행했습니다. 테스트 결과, 세 도구 모두 코드 생성 품질은 거의 동일했지만 실행 시간과 토큰 소모량에서는 큰 차이를 보였습니다. 특히 Claude Code는 CLIProxyAPI 사용 시 가장 빠른 도구 대비 약 4배 더 긴 시간이 소요되었습니다. vLLM 환경에서 약 180 tok/s로 구동되는 DeepSeek V4 Flash를 기준으로 할 때, 하네스(Scaffolding) 선택이 성능 효율에 미치는 영향이 큼을 확인할 수 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.