Transformer | ViLab

Spiking point transformer for point cloud classification

Fri, 11 Apr 2025 00:00:00 +0000

本文提出Spiking Point Transformer（SPT），首个基于Transformer的脉冲神经网络框架，用于三维点云分类。SPT设计队列驱动采样直接编码，在降低计算成本的同时保留关键支撑点；并引入混合动力学积分发放神经元（HD-IF），模拟选择性神经元激活，减少对特定人工神经元的过度依赖。在多个真实与合成点云基准上取得领先结果，理论能耗较ANN对应模型降低至少6.4倍。

祝贺实验室 3 项科研成果发表在 AAAI 2025！

Fri, 11 Apr 2025 00:00:00 +0000

热烈祝贺开大纯同学、李和倍同学、吴沛熹同学！近期，实验室共有 3 项科研成果正式发表。

Event-enhanced blurry video super-resolution

祝贺开大纯同学！该论文已发表在 Proceedings of the AAAI Conference on Artificial Intelligence 39 (4), 4175-4183。

作者： Dachun Kai、Yueyi Zhang、Jin Wang、Zeyu Xiao、Zhiwei Xiong、Xiaoyan Sun
发表载体： Proceedings of the AAAI Conference on Artificial Intelligence 39 (4), 4175-4183
发表时间： 2025年4月11日
相关链接： 论文链接 · PDF · 代码

论文介绍

In this paper, we tackle the task of blurry video super-resolution (BVSR), aiming to generate high-resolution (HR) videos from low-resolution (LR) and blurry inputs. Current BVSR methods often fail to restore sharp details at high resolutions, resulting in noticeable artifacts and jitter due to insufficient motion information for deconvolution and the lack of high-frequency details in LR frames. To address these challenges, we introduce event signals into BVSR and propose a novel event-enhanced network, Ev-DeblurVSR. To effectively fuse information from frames and events for feature deblurring, we introduce a reciprocal feature deblurring module that leverages motion information from intra-frame events to deblur frame features while reciprocally using global scene context from the frames to enhance event features. Furthermore, to enhance temporal consistency, we propose a hybrid deformable alignment module that fully exploits the complementary motion information from inter-frame events and optical flow to improve motion estimation in the deformable alignment process. Extensive evaluations demonstrate that Ev-DeblurVSR establishes a new state-of-the-art performance on both synthetic and real-world datasets. Notably, on real data, our method is 2.59 dB more accurate and 7.28× faster than the recent best BVSR baseline FMA-Net.

Efficient event-based semantic segmentation via exploiting frame-event fusion: A hybrid neural network approach

祝贺李和倍同学！该论文已发表在 AAAI 39(17)。

作者： Hebei Li、Yansong Peng、Jiahui Yuan、Peixi Wu、Jin Wang、Yueyi Zhang、Xiaoyan Sun
发表载体： AAAI 39(17)
发表时间： 2025年4月11日
相关链接： 论文链接 · PDF

论文介绍

本文提出一种高效的混合神经网络框架，用于事件相机语义分割。该框架包含处理事件流的脉冲神经网络（SNN）分支和处理帧图像的人工神经网络（ANN）分支，并设计了自适应时间加权（ATW）注入器、事件驱动稀疏（EDS）注入器和通道选择融合（CSF）模块，以充分融合帧与事件的互补时空信息。在DDD17-Seg、DSEC-Semantic和M3ED-Semantic数据集上取得了最先进精度，并在DSEC-Semantic上降低63%能耗。

Spiking point transformer for point cloud classification

祝贺吴沛熹同学！该论文已发表在 AAAI 39(20)。

作者： Peixi Wu、Bosong Chai、Hebei Li、Menghua Zheng、Yansong Peng、Zeyu Wang、Xuan Nie、Yueyi Zhang、Xiaoyan Sun
发表载体： AAAI 39(20)
发表时间： 2025年4月11日
相关链接： 论文链接 · PDF · 代码

论文介绍

Perceptual image compression with conditional diffusion transformers

Sun, 08 Dec 2024 00:00:00 +0000

本文提出一种基于条件扩散模型的感知图像压缩方法，旨在解决现有生成式压缩方法性能提升有限和模型复杂度高的问题。方法采用扩散Transformer作为解码器，并利用Swin Transformer实现高效架构，以增强生成能力；同时引入多尺度特征融合模块，为解码器提供更丰富的信息特征。实验结果表明该方法在感知图像压缩任务上取得了优越的性能。

Tmformer: Token merging transformer for brain tumor segmentation with missing modalities

Sun, 24 Mar 2024 00:00:00 +0000

本文提出 TMFormer，一种用于缺失模态脑肿瘤分割的 Token 合并 Transformer。该方法通过提取并合并可用模态为更紧凑的 token 序列，解决现有方法以零图填充缺失模态带来的特征偏差与冗余计算问题。其核心包括单模态 Token 合并块（UMB）和多模态 Token 合并块（MMB），分别增强单模态表示并缓解多模态融合偏差。在 BraTS 2018 和 2020 数据集上的实验表明，TMFormer 在缺失模态场景下优于现有方法。

Attention-guided contrastive masked image modeling for transformer-based self-supervised learning

Sun, 08 Oct 2023 00:00:00 +0000

本文提出注意力引导的对比掩码图像建模方法（ACoMIM），融合对比学习与掩码图像建模两种自监督范式，并利用视觉Transformer的注意力机制提升表征能力。该方法包含两个预训练任务：一是根据注意力引导预测掩码区域的特征，二是比较掩码图像与未掩码图像的全局特征。两个任务相互补充，有效缓解了图像信息稀疏与分布不均的问题，在多种下游任务上验证了方法的有效性。

Eoformer: Edge-oriented transformer for brain tumor segmentation

Sun, 01 Oct 2023 00:00:00 +0000

本文提出边缘导向Transformer（EoFormer），用于脑肿瘤MRI图像分割。该方法采用CNN-Transformer混合编码器，CNN提取局部低级特征，Transformer建模长距离依赖以生成全局高级特征；解码器集成边缘导向Sobel与Laplacian锐化模块，增强边缘信息。同时引入高效注意力与重参数化技术，提升特征表示能力与分割精度。

Get: Group event transformer for event-based vision

Sun, 01 Oct 2023 00:00:00 +0000

本文提出一种基于分组的事件视觉Transformer骨干网络GET，用于事件相机视觉任务。GET将事件按时间戳和极性分组为Group Token，并在特征提取过程中解耦时空信息与极性信息。通过事件双自注意力模块和分组Token聚合模块，实现空间与时间-极性信息的有效通信与整合，充分利用事件数据特性，提升事件视觉任务性能。