영상 분석 에이전트의 정확도 향상: 샷 JSON 추출을 위한 샘플링 구간 프롬프팅
타임스탬프와 샘플링 주기를 프롬프트에 명시하여 영상 샷 경계를 더 정확하게 추론하도록 돕는 프롬프트 기술.
요약
영상 콘택트 시트를 기반으로 샷을 JSON 형식으로 변환할 때, 프롬프트 내에 샘플링 간격 정보를 포함하면 분석 정확도가 크게 향상된다. Reddit의 한 사례에 따르면, 38초짜리 영상을 2초 간격으로 샘플링하여 19개의 프레임으로 구성한 콘택트 시트를 Ling-3.0-flash-VL 모델에 입력할 때 해당 시간 정보를 제공하는 것이 핵심이다. 프롬프트에 '왼쪽에서 오른쪽, 위에서 아래로 정렬된 2초 간격의 프레임'이라는 규칙을 명시하면, 모델은 각 셀의 위치를 바탕으로 정확한 타임스탬프를 추정할 수 있다. 실제 실험에서 샷 전환 시점을 00:18로 추정한 모델 결과는 실제 재생 시간인 00:19.7과 매우 근접하게 나타났다. 이 기법을 활용하면 복잡한 영상 분석 작업에서도 샷 경계를 더 정밀하게 식별하고 데이터를 구조화할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Put the sampling interval in the prompt when turning a contact sheet into shot JSON
원문 보기 ↗