참고팁Reddit
Android(안드로이드) 에이전트 성능 벤치마크: Claude 5.5(클로드 5.5) vs GPT-6.1(지피티 6.1) Sol
에이전트 태스크 자동화 시 모델별 속도와 정확도 차이를 실측 데이터로 확인할 수 있음.
요약
오픈소스 안드로이드 앱 'Buddy'를 활용해 Claude Code, Codex, OpenCode 등 다양한 AI 모델이 실제 안드로이드 기기(OnePlus 12)를 조작하는 속도와 성능을 벤치마킹했다. 안드로이드 버전 확인, 계산기 연산, 날씨 검색, 지도 경로 탐색, 유튜브 영상 재생 등 5가지 일상 업무를 대상으로 테스트를 진행했다. 실험 결과, Sonnet 5.5가 평균 25초로 가장 빠른 수행 속도와 100% 성공률을 기록했으며 Opus 5.5는 가장 적은 단계로 과업을 완수했다. 이어서 Haiku 5.5(30초), GPT-6 Luna(29초), GPT-6.1 Sol(36초) 등이 뒤를 이었고 오픈소스 모델인 Space Bunny와 Big Pickle도 테스트를 완료했다. 다만, 일부 모델은 특정 경로 탐색 과정에서 예상치 못한 작동 방식을 보이는 등 모델별 효율성 차이가 확인되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Mobile-use benchmark: which AI model is fastest at using a real Android phone?
원문 보기 ↗