本文针对低光照条件下视频目标分割(VOS)性能严重下降的问题,提出一种利用事件相机数据辅助分割的新框架。该方法包含两个关键模块:自适应跨模态融合(ACMF)模块,用于提取并融合图像与事件模态特征以抑制噪声干扰;事件引导记忆匹配(EGMM)模块,用于修正低光下查询帧与记忆帧之间的相似度计算误差。实验表明,该方法在合成和真实低光数据集上均能显著提升分割精度,生成更准确的目标掩码。
本文针对事件相机目标检测中Transformer计算成本过高的问题,提出场景自适应稀疏Transformer(SAST)。该方法通过窗口-令牌协同稀疏化与场景特定稀疏优化,在保持低计算量的同时实现高检测性能,并能根据场景复杂度自适应调整稀疏程度,有效平衡了检测精度与效率。
本文提出一种事件驱动的双向视频超分辨率框架(EBVSR),利用事件相机的高时间分辨率特性捕捉非线性运动,并设计事件辅助的时间对齐模块,以补充光流法在快速光照变化下的不足。同时构建基于事件的帧合成模块,通过双向跨模态融合增强网络对光照变化的鲁棒性。在合成和真实数据上的实验验证了该方法在视频超分辨率任务中的有效性。
本文提出一种基于分组的事件视觉Transformer骨干网络GET,用于事件相机视觉任务。GET将事件按时间戳和极性分组为Group Token,并在特征提取过程中解耦时空信息与极性信息。通过事件双自注意力模块和分组Token聚合模块,实现空间与时间-极性信息的有效通信与整合,充分利用事件数据特性,提升事件视觉任务性能。
本文针对事件相机目标检测任务,提出高效事件表示Hyper Histogram,充分保留事件极性与时间信息;设计自适应事件转换模块AEC,基于事件密度通过自适应队列将事件流转换为超直方图,并适配现有帧基检测器;还提出事件增强方法Shadow Mosaic,提升样本多样性与泛化能力。在YOLOv5、Deformable-DETR和RetinaNet上验证,在1Mpx、Gen1和MVSEC-NIGHTL21数据集上取得显著优势,且推理速度快。