실시간 영상 이해를 위한 에이전트 프레임워크 'DeltaStreamer' 공개

요약

DeltaStreamer는 인간의 관찰, 기억, 조사 방식을 모방한 새로운 에이전트 기반 스트리밍 비디오 이해 프레임워크입니다. 기존 방식은 비디오 히스토리 압축 과정에서 이벤트 전환을 놓치거나 세부 정보를 생략하는 문제가 있었으나, DeltaStreamer는 변화 인식 메모리와 질의 기반 계획을 결합해 이를 해결했습니다. 시스템은 쿼리가 들어오기 전 스트림을 지속적으로 관찰하며 변화를 구조화된 메모리에 기록하고, 쿼리 발생 시 필요한 증거를 식별해 과거 프레임을 재검토하는 방식으로 작동합니다. 이러한 과정을 통해 누락된 시각적 세부 정보를 복구하고 정확한 근거를 바탕으로 답변을 도출합니다. OVO-Bench와 StreamingBench를 활용한 실험 결과, 각각 66.07%와 59.53%의 종합 점수를 기록하며 기존 스트리밍 비디오 이해 방법론 대비 성능 향상을 입증했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.