비결정론적 생성형 UI를 CI에서 검증하는 오픈소스 'uivet' 공개

요약

최근 CopilotKit이 5월 2,700만 달러 투자를 유치하고 MCP가 ChatGPT, Claude, VS Code에 도입되는 등 생성형 UI 도구가 확산되고 있으나, 모델이 생성한 UI의 정확성을 검증하는 도구는 부족한 실정이다. 기존 픽셀 기반 회귀 테스트는 비결정적 출력으로 인해 적용이 어렵고, 텍스트 기반 LLM 평가는 DOM 렌더링을 확인하지 못한다는 한계가 있다. 이를 해결하기 위해 등장한 오픈소스 검증 도구 uivet은 N개의 출력을 샘플링하여 Headless Chromium에서 렌더링한 후 데이터 충실도, 접근성(axe-core), 레이아웃, 콘솔 오류 등을 평가한다. 특히 멀티모달 저지를 통해 엄격한 JSON 출력을 검증하며, 표준 편차를 통해 일관성을 측정하고 CI 종료 코드를 통해 기준 미달 시 배포를 차단한다. uivet은 생성된 UI 카드에서 보증 정보가 누락되는 등 AI가 흔히 범하는 오류를 잡아내는 데 초점을 맞추고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.