비디오 내 객체/이벤트 히트맵 생성 모델 'Viveki' 공개

요약

Reddit의 r/LLMDevs에서 화제가 된 다중 모달 결정 모델인 Viveki가 임의의 객체나 이벤트에 대한 히트맵 생성 기능을 공개했다. 이 모델은 별도의 학습이나 파인튜닝 없이, 토큰 생성 전 모델의 답변을 예측하는 기계론적 통찰(mechanistic insight)을 기반으로 구축되었다. Viveki는 A100-80GB GPU 1개 환경에서 150ms 미만의 지연 시간(latency)으로 영상을 실시간 처리할 수 있다. 현재 Viveki-0.1-20B 모델은 Hugging Face를 통해 이용할 수 있으며, 구체적인 방법론을 담은 연구 논문은 추후 공개될 예정이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.