SimOn: A Simple Framework for Online Temporal Action Localization

국문 초록 (Abstract)

실시간 행동 감지(Online Temporal Action Localization)는 편집되지 않은 실시간으로 재생되는 비디오에서 즉시 행동 인스턴스를 제공하는 것을 목표로 한다. 모델이 과거 예측을 수정하기 위해 미래의 프레임과 처리 기술을 사용할 수 없기 때문에 실시간 행동 감지를 훨씬 더 어려운 태스크로 만든다. 이 논문에서 우리는 최근 주목받는 트랜스포머(transformer) 구조를 사용하여 종단 간 학습방식으로 행동 인스턴스를 예측하는 방법을 배우는 SimOn이라는 간단하면서도 효과적인 프레임워크를 제안한다. 구제적으로, 모델은 현재 프레임의 특징을 쿼리 (query)로 사용하고 과거 맥락 정보 집합을 트랜스포머의 키 (key)와 값 (value)으로 사용한다. 모델의 과거 출력들을 과거의 맥락으로 사용하는 이전 연구들과는 달리 과거 프레임의 시각적 맥락과 현재 프레임 쿼리에 대한 학습 가능한 맥락 임베딩을 활용한다. 코드는 https://anonymous.4open.science/r/SimOn 에 공개되어 있다

목차 (Table of Contents)

• 요약
• Ⅰ. Introduction
• Ⅱ. Method
• III. Experimental Results
• VI. Conclusion
• REFERENCES