Vercel(버셀), AI 에이전트가 데스크톱 앱을 직접 조작하게 돕는 'agent-desktop' 공개

요약

Vercel의 agent-desktop은 AI 에이전트가 맥, 윈도우, 리눅스 환경에서 데스크톱 애플리케이션을 직접 제어할 수 있게 해주는 CLI 도구입니다. 이 도구는 운영체제의 접근성 API를 활용해 앱 내 버튼, 메뉴, 입력란 등의 요소를 ID 기반의 JSON 데이터로 추출하며, 이를 통해 화면 좌표 대신 요소 단위의 정확한 클릭과 텍스트 입력이 가능합니다. 기본적으로 마우스 커서 이동이나 포커스 없이 백그라운드 조작을 지원하며, 필요 시 스크린샷 캡처나 키보드·마우스 직접 입력 기능도 활용할 수 있습니다. 또한 창 이동, 크기 조절, 클립보드 제어 기능까지 갖추고 있어 자동화 범위를 넓혔습니다. 사용자는 CLI, MCP 서버, C 라이브러리 인터페이스를 통해 이 에이전트를 연결하여 복잡한 데스크톱 워크플로우를 자동화할 수 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.