事件相机 | ViLab

Seeing the unseen: Zooming in the dark with event cameras

Sat, 14 Mar 2026 00:00:00 +0000

本文提出RetinexEVSR，首个事件驱动的低光视频超分辨率框架。该框架利用高对比度事件信号与Retinex先验，通过双向跨模态融合策略，有效整合噪声事件数据与退化RGB帧中的有用信息。其中，照明引导事件增强模块利用Retinex模型导出的光照图逐步细化事件特征，抑制低光伪影并保留高对比度细节；事件引导反射率增强模块则通过多尺度融合机制动态恢复反射率细节。实验表明，该方法在三个数据集上达到最优性能，在SDSD基准上相比先前事件方法提升2.95 dB，并减少65%运行时间。

祝贺实验室科研成果发表于 AAAI 2026！

Sat, 14 Mar 2026 00:00:00 +0000

热烈祝贺开大纯同学！论文《Seeing the unseen: Zooming in the dark with event cameras》已发表在 AAAI 2026。

Seeing the unseen: Zooming in the dark with event cameras

祝贺开大纯同学！该论文已发表在 AAAI。

作者： Dachun Kai、Zeyu Xiao、Huyue Zhu、Jiaxiao Wang、Yueyi Zhang、Xiaoyan Sun
发表载体： AAAI
发表时间： 2026年3月14日
相关链接： 论文链接 · PDF · 代码

论文介绍

EvTexture++: Event-Driven Texture Enhancement for Video Super-Resolution

Mon, 02 Feb 2026 00:00:00 +0000

本文提出EvTexture++，一种事件驱动的视频超分辨率纹理增强框架。与以往将事件用于运动估计不同，该方法利用事件的高频时空细节显式恢复纹理，通过定制纹理增强分支和迭代纹理增强模块，逐步挖掘高时间分辨率事件信息，实现纹理区域的渐进细化，从而生成更精确、细节更丰富的高分辨率视频。该框架还可作为即插即用模块提升现有VSR模型性能。

祝贺实验室科研成果发表于 IEEE TPAMI！

Mon, 02 Feb 2026 00:00:00 +0000

热烈祝贺开大纯同学！论文《EvTexture++: Event-Driven Texture Enhancement for Video Super-Resolution》已发表在 IEEE TPAMI。

EvTexture++: Event-Driven Texture Enhancement for Video Super-Resolution

祝贺开大纯同学！该论文已发表在 IEEE TPAMI。

作者： Dachun Kai、Jiayao Lu、Yueyi Zhang、Xiaoyan Sun
发表载体： IEEE TPAMI
发表时间： 2026年2月2日
相关链接： 论文链接 · PDF · 代码

论文介绍

Efficient event-based semantic segmentation via exploiting frame-event fusion: A hybrid neural network approach

Fri, 11 Apr 2025 00:00:00 +0000

本文提出一种高效的混合神经网络框架，用于事件相机语义分割。该框架包含处理事件流的脉冲神经网络（SNN）分支和处理帧图像的人工神经网络（ANN）分支，并设计了自适应时间加权（ATW）注入器、事件驱动稀疏（EDS）注入器和通道选择融合（CSF）模块，以充分融合帧与事件的互补时空信息。在DDD17-Seg、DSEC-Semantic和M3ED-Semantic数据集上取得了最先进精度，并在DSEC-Semantic上降低63%能耗。

祝贺实验室 3 项科研成果发表在 AAAI 2025！

Fri, 11 Apr 2025 00:00:00 +0000

热烈祝贺开大纯同学、李和倍同学、吴沛熹同学！近期，实验室共有 3 项科研成果正式发表。

Event-enhanced blurry video super-resolution

祝贺开大纯同学！该论文已发表在 Proceedings of the AAAI Conference on Artificial Intelligence 39 (4), 4175-4183。

作者： Dachun Kai、Yueyi Zhang、Jin Wang、Zeyu Xiao、Zhiwei Xiong、Xiaoyan Sun
发表载体： Proceedings of the AAAI Conference on Artificial Intelligence 39 (4), 4175-4183
发表时间： 2025年4月11日
相关链接： 论文链接 · PDF · 代码

论文介绍

In this paper, we tackle the task of blurry video super-resolution (BVSR), aiming to generate high-resolution (HR) videos from low-resolution (LR) and blurry inputs. Current BVSR methods often fail to restore sharp details at high resolutions, resulting in noticeable artifacts and jitter due to insufficient motion information for deconvolution and the lack of high-frequency details in LR frames. To address these challenges, we introduce event signals into BVSR and propose a novel event-enhanced network, Ev-DeblurVSR. To effectively fuse information from frames and events for feature deblurring, we introduce a reciprocal feature deblurring module that leverages motion information from intra-frame events to deblur frame features while reciprocally using global scene context from the frames to enhance event features. Furthermore, to enhance temporal consistency, we propose a hybrid deformable alignment module that fully exploits the complementary motion information from inter-frame events and optical flow to improve motion estimation in the deformable alignment process. Extensive evaluations demonstrate that Ev-DeblurVSR establishes a new state-of-the-art performance on both synthetic and real-world datasets. Notably, on real data, our method is 2.59 dB more accurate and 7.28× faster than the recent best BVSR baseline FMA-Net.

Efficient event-based semantic segmentation via exploiting frame-event fusion: A hybrid neural network approach

祝贺李和倍同学！该论文已发表在 AAAI 39(17)。

作者： Hebei Li、Yansong Peng、Jiahui Yuan、Peixi Wu、Jin Wang、Yueyi Zhang、Xiaoyan Sun
发表载体： AAAI 39(17)
发表时间： 2025年4月11日
相关链接： 论文链接 · PDF

论文介绍

Spiking point transformer for point cloud classification

祝贺吴沛熹同学！该论文已发表在 AAAI 39(20)。

作者： Peixi Wu、Bosong Chai、Hebei Li、Menghua Zheng、Yansong Peng、Zeyu Wang、Xuan Nie、Yueyi Zhang、Xiaoyan Sun
发表载体： AAAI 39(20)
发表时间： 2025年4月11日
相关链接： 论文链接 · PDF · 代码

论文介绍

本文提出Spiking Point Transformer（SPT），首个基于Transformer的脉冲神经网络框架，用于三维点云分类。SPT设计队列驱动采样直接编码，在降低计算成本的同时保留关键支撑点；并引入混合动力学积分发放神经元（HD-IF），模拟选择性神经元激活，减少对特定人工神经元的过度依赖。在多个真实与合成点云基准上取得领先结果，理论能耗较ANN对应模型降低至少6.4倍。

Asymmetric event-guided video super-resolution

Mon, 28 Oct 2024 00:00:00 +0000

本文首次提出非对称事件引导的视频超分辨率任务，针对事件相机与RGB相机难以严格标定的实际场景，构建了非对称事件引导视频超分辨率网络（AsEVSRN）。该网络通过专门设计的事件特征利用与跨模态融合机制，充分发挥事件相机高时间分辨率优势，有效提升视频超分辨率性能，拓展了事件相机在双摄手机、无人机等新兴高分辨率设备上的应用潜力。

Event-based head pose estimation: Benchmark and method

Sun, 29 Sep 2024 00:00:00 +0000

本文针对传统RGB方法在剧烈运动和极端光照下头部姿态估计困难的问题，引入事件相机的高时间分辨率与高动态范围优势。作者构建了两个大规模事件头部姿态数据集，包含282个序列，覆盖不同分辨率与场景；并提出事件头部姿态估计网络EV-HPE，设计了事件时空融合模块和事件运动感知注意力模块，有效结合事件流时空信息，提升姿态估计精度与鲁棒性。

A micro-expression recognition system with event cameras

Mon, 15 Jul 2024 00:00:00 +0000

本文提出了一种基于事件相机的微表情识别系统。针对微表情持续时间短、幅度微弱、难以用传统相机捕捉的问题，系统利用事件相机的高时间分辨率特性，设计了事件增强运动提取器（EEME）以放大细微运动，并引入事件引导注意力（EGA）聚焦关键面部区域，从而提升微表情识别的准确性与鲁棒性。该系统为情感计算领域提供了有效工具。

Estme: Event-driven spatio-temporal motion enhancement for micro-expression recognition

Mon, 15 Jul 2024 00:00:00 +0000

本文针对微表情识别中动作幅度小、持续时间短、难以捕捉的问题，提出了一种事件驱动的时空运动增强网络。该方法引入事件相机捕获的高时间分辨率事件信号，设计事件增强运动提取模块以增强细微运动细节，并利用事件引导注意力模块聚焦特定区域的微小变化，从而获取更精确的空间特征。在合成和真实数据集上的实验结果表明，该方法在微表情识别任务上具有优越性能。

Event-assisted low-light video object segmentation

Sun, 16 Jun 2024 00:00:00 +0000

本文针对低光照条件下视频目标分割（VOS）性能严重下降的问题，提出一种利用事件相机数据辅助分割的新框架。该方法包含两个关键模块：自适应跨模态融合（ACMF）模块，用于提取并融合图像与事件模态特征以抑制噪声干扰；事件引导记忆匹配（EGMM）模块，用于修正低光下查询帧与记忆帧之间的相似度计算误差。实验表明，该方法在合成和真实低光数据集上均能显著提升分割精度，生成更准确的目标掩码。

Scene adaptive sparse transformer for event-based object detection

Sun, 16 Jun 2024 00:00:00 +0000

本文针对事件相机目标检测中Transformer计算成本过高的问题，提出场景自适应稀疏Transformer（SAST）。该方法通过窗口-令牌协同稀疏化与场景特定稀疏优化，在保持低计算量的同时实现高检测性能，并能根据场景复杂度自适应调整稀疏程度，有效平衡了检测精度与效率。

Video super-resolution via event-driven temporal alignment

Sun, 08 Oct 2023 00:00:00 +0000

本文提出一种事件驱动的双向视频超分辨率框架（EBVSR），利用事件相机的高时间分辨率特性捕捉非线性运动，并设计事件辅助的时间对齐模块，以补充光流法在快速光照变化下的不足。同时构建基于事件的帧合成模块，通过双向跨模态融合增强网络对光照变化的鲁棒性。在合成和真实数据上的实验验证了该方法在视频超分辨率任务中的有效性。

Get: Group event transformer for event-based vision

Sun, 01 Oct 2023 00:00:00 +0000

本文提出一种基于分组的事件视觉Transformer骨干网络GET，用于事件相机视觉任务。GET将事件按时间戳和极性分组为Group Token，并在特征提取过程中解耦时空信息与极性信息。通过事件双自注意力模块和分组Token聚合模块，实现空间与时间-极性信息的有效通信与整合，充分利用事件数据特性，提升事件视觉任务性能。

Better and faster: Adaptive event conversion for event-based object detection

Mon, 26 Jun 2023 00:00:00 +0000

本文针对事件相机目标检测任务，提出高效事件表示Hyper Histogram，充分保留事件极性与时间信息；设计自适应事件转换模块AEC，基于事件密度通过自适应队列将事件流转换为超直方图，并适配现有帧基检测器；还提出事件增强方法Shadow Mosaic，提升样本多样性与泛化能力。在YOLOv5、Deformable-DETR和RetinaNet上验证，在1Mpx、Gen1和MVSEC-NIGHTL21数据集上取得显著优势，且推理速度快。