实验室1篇论文被IJCV接收

近日，实验室校长专聘教授刘天山作为第一作者的最新研究成果“A Memory-Assisted Knowledge Transferring Framework with Curriculum Anticipation for Weakly Supervised Online Activity Detection”被CCF-A类期刊International Journal of Computer Vision (IJCV) 接收。论文通讯作者为实验室主任鲍秉坤。

论文提出了一种基于记忆辅助和渐进预测的知识迁移框架的弱监督在线行为检测方法。弱监督在线行为检测旨在识别流媒体视频中实时发生的行为，并仅使用可低成本获取的视频级标注进行训练。考虑到弱监督设置和在线约束引发的纠缠难题，使得解决此任务面临挑战。本文从知识蒸馏的角度来解决弱监督在线行为检测任务，核心是训练在线学生检测器从弱监督离线教师模型中蒸馏双层知识。为了确保知识迁移的完备性，从两个方面对传统的知识蒸馏框架进行改进。首先，引入一个外部记忆库来保持长程行为原型，并作为桥梁来对齐从离线教师和在线学生模型中学习到的行为语义；其次，为了补偿不可观测的近期上下文缺失，利用课程学习机制逐步训练在线学生检测器来预测近期未来的行为语义，通过动态规划所提供的辅助未来状态，训练在线检测器在“由易到难”的课程设置中逐步从离线模型中蒸馏上下文信息。在Thumos14、ActivityNet1.2和ActivityNet1.3三个公共数据集上的大量实验结果表明本文所提出方法具备优良检测性能和轻量化部署优势。

论文方法框图

（撰稿：刘天山  审核：贾耕云）