브라우저 작업을 AI 매뉴얼로 자동 변환하는 오픈소스 도구 개발기

요약

브라우저에서 수행한 작업을 자동으로 사용자 설명서(SOP)로 변환하는 Chrome Extension이 공개되었습니다. 이 도구는 클릭과 입력 이벤트를 DOM 맥락과 함께 수집한 뒤, Solar Pro 3를 활용해 자연어 설명으로 생성하고 AI 검증 과정을 거쳐 Word, PDF, Markdown 문서로 출력합니다. 개발 과정에서 가장 큰 난관이었던 '단계 분할' 문제는 DOM 변화, 입력 상태, 페이지 전환 등을 기준으로 이벤트를 병합하는 방식으로 해결했습니다. 현재 문서 생성 기능까지 구현된 상태이며, 향후 생성된 매뉴얼을 AI Agent가 작업을 이해하고 재현할 수 있는 실행 가능한 워크플로우로 발전시킬 계획입니다. 현재 Interaction Segmentation 및 Task Planning 기능을 지속적으로 개선 중이며 관련 분야의 피드백을 수렴하고 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.