딥시크-V4 플래시 성능, 에이전트 하네스(Framework)에 따라 최대 10% 차이

요약

가성비 모델로 주목받는 'DeepSeek-V4 Flash'가 실제 기업용 에이전트 환경에서 구동 환경인 '하네스'에 따라 성능 차이를 보이는 것으로 나타났다. 에이전트 평가 프레임워크인 컴포지오(Composio)는 지메일, 깃허브 등 업무 도구를 활용하는 30개 다단계 작업을 대상으로 이번 테스트를 진행했다. 실험에는 클로드 코드, 코덱스, 오픈코드, 오 마이 파이(Oh My Pi) 등 4개의 에이전트 실행 하네스가 적용되었으며, 총 240회의 워크플로우가 실행되었다. 테스트 결과, 하네스 선택에 따라 모델의 최종 성과가 최대 10%까지 차이 나는 것으로 확인되었다. 이는 기업이 AI 에이전트를 도입할 때 모델 자체의 성능뿐만 아니라 이를 구동하는 환경 최적화가 필수적임을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.