[Reddit(레딧)] M5 Max 로컬 환경에서의 AI 에이전트 블라인드 테스트 결과

요약

최근 한 사용자가 M5 Max MacBook Pro(64GB) 환경에서 5종의 자체 호스팅(Self-hosted) AI 에이전트를 대상으로 블라인드 성능 테스트를 진행했다. 모든 에이전트는 Qwen 3.8 27B uncensored Q4_K_M 모델(llama.cpp)을 동일하게 사용했으며, 연락처 병합, 함수 이름 변경, 버그 수정, 로그 오류 카운팅, 영수증 PDF 엑셀 변환 등 5가지 실무 과제를 수행했다. 테스트 결과 연락처 병합과 함수 이름 변경, 로그 오류 카운팅에서는 5개 에이전트 모두 정답을 맞혔다. 버그 수정 및 영수증 처리 과정에서는 1개 에이전트가 오답을 내거나 라이브러리 설치 과정에서 사용자 승인을 요구하다 실패하는 등 차이를 보였다. 특히 일부 에이전트는 누락된 Python 라이브러리를 자동으로 설치하는 등 자율적인 문제 해결 능력을 보여주기도 했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.