本文提出RetinexEVSR,首个事件驱动的低光视频超分辨率框架。该框架利用高对比度事件信号与Retinex先验,通过双向跨模态融合策略,有效整合噪声事件数据与退化RGB帧中的有用信息。其中,照明引导事件增强模块利用Retinex模型导出的光照图逐步细化事件特征,抑制低光伪影并保留高对比度细节;事件引导反射率增强模块则通过多尺度融合机制动态恢复反射率细节。实验表明,该方法在三个数据集上达到最优性能,在SDSD基准上相比先前事件方法提升2.95 dB,并减少65%运行时间。
本文提出EvTexture++,一种事件驱动的视频超分辨率纹理增强框架。与以往将事件用于运动估计不同,该方法利用事件的高频时空细节显式恢复纹理,通过定制纹理增强分支和迭代纹理增强模块,逐步挖掘高时间分辨率事件信息,实现纹理区域的渐进细化,从而生成更精确、细节更丰富的高分辨率视频。该框架还可作为即插即用模块提升现有VSR模型性能。
本文提出一种高效的混合神经网络框架,用于事件相机语义分割。该框架包含处理事件流的脉冲神经网络(SNN)分支和处理帧图像的人工神经网络(ANN)分支,并设计了自适应时间加权(ATW)注入器、事件驱动稀疏(EDS)注入器和通道选择融合(CSF)模块,以充分融合帧与事件的互补时空信息。在DDD17-Seg、DSEC-Semantic和M3ED-Semantic数据集上取得了最先进精度,并在DSEC-Semantic上降低63%能耗。
本文首次提出非对称事件引导的视频超分辨率任务,针对事件相机与RGB相机难以严格标定的实际场景,构建了非对称事件引导视频超分辨率网络(AsEVSRN)。该网络通过专门设计的事件特征利用与跨模态融合机制,充分发挥事件相机高时间分辨率优势,有效提升视频超分辨率性能,拓展了事件相机在双摄手机、无人机等新兴高分辨率设备上的应用潜力。
本文针对传统RGB方法在剧烈运动和极端光照下头部姿态估计困难的问题,引入事件相机的高时间分辨率与高动态范围优势。作者构建了两个大规模事件头部姿态数据集,包含282个序列,覆盖不同分辨率与场景;并提出事件头部姿态估计网络EV-HPE,设计了事件时空融合模块和事件运动感知注意力模块,有效结合事件流时空信息,提升姿态估计精度与鲁棒性。
本文提出了一种基于事件相机的微表情识别系统。针对微表情持续时间短、幅度微弱、难以用传统相机捕捉的问题,系统利用事件相机的高时间分辨率特性,设计了事件增强运动提取器(EEME)以放大细微运动,并引入事件引导注意力(EGA)聚焦关键面部区域,从而提升微表情识别的准确性与鲁棒性。该系统为情感计算领域提供了有效工具。
本文针对微表情识别中动作幅度小、持续时间短、难以捕捉的问题,提出了一种事件驱动的时空运动增强网络。该方法引入事件相机捕获的高时间分辨率事件信号,设计事件增强运动提取模块以增强细微运动细节,并利用事件引导注意力模块聚焦特定区域的微小变化,从而获取更精确的空间特征。在合成和真实数据集上的实验结果表明,该方法在微表情识别任务上具有优越性能。