摘要—细粒度视觉分类由于类别间高度相似且类内数据差异显著而极具挑战性。现有方法主要聚焦于定位类别间细微差异并增强判别性特征，但背景信息同样重要——它能提示模型哪些特征对分类无用甚至有害，而过度依赖细微特征的模型可能忽视全局特征与上下文信息。本文提出"高温精炼与背景抑制"(HERBS)网络，包含高温精炼模块和背景抑制模块：前者通过多尺度特征图精炼促进多样化特征学习，使模型自适应选择合适特征尺度；后者基于分类置信度分割前景/背景，在低置信区域抑制特征值同时增强判别性特征。

基于视觉Transformer (ViT) 架构的采用标志着3D医学图像(MI)分割领域的重大进步，通过增强全局上下文理解能力超越了传统卷积神经网络(CNN)模型。尽管这一范式转变显著提升了3D分割性能，但最先进的架构需要极其庞大复杂的结构以及大规模计算资源进行训练和部署。此外，在医学影像常见的有限数据集场景下，更大规模的模型可能在模型泛化性和收敛性方面带来挑战。为应对这些问题并证明轻量级模型在3D医学影像中的重要研究价值，我们提出了SegFormer3D——一种在多层次体素特征上计算注意力的分层Transformer。该模型摒弃复杂解码器结构，采用全MLP解码器来聚合局部与全局注意力特征，从而生成高精度分割掩码。这种内存高效的Transformer通过紧凑设计保留了更大规模模型的性能特征。相比当前最优(SOTA)模型，SegFormer3D以参数减少33倍、GFLOPS降低13倍的显著优势，推动了3D医学图像分割的深度学习平民化。我们在Synapse、BRaTs和ACDC三个广泛使用的数据集上对SegFormer3D进行基准测试，均取得具有竞争力的结果。代码：https://github.com/OSUPCVLab/SegFormer3D.git

最近，基于多模态信号（如语言和音频）的视频目标分割（VOS）在工业界和学术界引起了越来越多的关注。探索模态内的语义对齐和跨帧的视觉对应关系具有挑战性。然而，现有方法针对不同模态采用独立的网络架构，忽视了参考信号与帧间的时间交互。本文提出MUTR，一种用于参考视频目标分割的多模态统一时序Transformer。MUTR首次采用统一框架，基于DETR风格的Transformer，能够分割由文本或音频参考指定的视频目标。具体而言，我们引入两种策略来充分探索视频与多模态信号之间的时序关系。首先，在Transformer之前的低层时序聚合中，我们使多模态参考能够从连续视频帧中捕获多尺度视觉线索。这有效赋予文本或音频信号时序知识，并增强模态间的语义对齐。其次，在Transformer之后的高层时序交互中，我们对不同目标嵌入进行帧间特征通信，有助于沿视频跟踪时获得更好的目标级对应关系。

摘要—以掩码图像建模（如掩码自编码器MAE）为指导的自监督学习在遥感领域预训练视觉Transformer时引起了广泛关注。然而，MAE往往过度关注像素细节，从而限制了模型（特别是对含噪SAR图像）的语义理解能力。本文探索将光谱与空间遥感图像特征作为改进的MAE重建目标：首先对不同图像特征重建效果进行研究，发现所有特征均表现优于或等同于原始像素；基于此提出特征引导掩码自编码器（FG-MAE）——针对多光谱图像重建方向梯度直方图（HOG）与归一化差异指数（NDI）的组合特征，针对SAR图像则重建HOG特征。在三个下游任务的实验结果表明FG-MAE具有显著效果（尤其对SAR图像提升明显），同时验证了该方法良好的可扩展性，并首次发布了中分辨率SAR与多光谱图像的预训练视觉Transformer系列模型。

视觉注意力并不总能捕获到鲁棒预测所需的关键物体表征。注意力模块不仅会突出目标物体，还会强调模块认为对训练有帮助的常见共现上下文。该问题源于上下文混杂效应导致物体与预测间错误因果关联，而视觉注意力进一步放大了这种效应。本文提出一种名为干预双重注意力 (Interventional Dual Attention, IDA) 的新颖注意力模块，用于学习对上下文偏置具有鲁棒性的因果物体特征。具体而言，IDA采用双重注意力层配合多重采样干预机制，通过补偿注意力来对抗混杂上下文。我们的方法具有模型无关性，可适配多种骨干网络。大量实验表明，该模型以更低计算量在分类和检测任务中取得显著提升，尤其在MS-COCO和PASCAL-VOC多标签分类任务中实现了最先进性能。

图像聚类是计算机视觉最重要的应用之一，已在文献中被广泛研究。然而，当前聚类方法在处理大规模高维数据时普遍存在效率和可扩展性不足的问题。本文提出了一种称为深度嵌入正则化聚类（DEPICT）的新模型，它能高效地将数据映射到判别性嵌入子空间并精确预测聚类分配。DEPICT通常由堆叠在多层卷积自编码器上的多项逻辑回归函数构成。我们通过相对熵（KL散度）最小化定义聚类目标函数，并以聚类分配频率的先验分布作为正则项，进而推导出交替优化策略来更新参数并估计聚类分配。此外，我们在自编码器中采用重构损失函数作为数据依赖的正则化项，以防止深度嵌入函数过拟合。为了获得端到端优化的优势并消除分层预训练的必要性，我们引入联合学习框架来同步最小化统一的聚类与重构损失函数，并同时训练所有网络层。实验结果表明，在现实世界无标签数据可供超参数调优的聚类任务中，DEPICT具有优越性能和更快的运行速度。

摘要—Transformer 在深度学习领域实现了显著进步。在许多任务中，其表现往往优于循环和卷积模型，同时还能利用并行处理优势。近期，我们提出的 SepFormer 在 WSJ0-2/3 Mix 数据集上实现了语音分离的最先进性能。本文深入研究了语音分离领域的 Transformer 模型，特别通过 LibriMix、WHAM! 和 WHAMR! 等更具挑战性的含噪及含噪混响数据集扩展了 SepFormer 的先前研究成果。此外，我们将模型扩展至语音增强任务，并在去噪和去混响实验中提供了实证。最后，我们首次在语音分离领域探索了高效自注意力机制（如 Linformer、Longformer 和 Reformer）的应用，发现其能显著降低内存需求。例如，基于 Reformer 的注意力机制在 WSJ0-2Mix 数据集上优于流行的 Conv-TasNet 模型，且推理速度更快，内存消耗相当。

无注释手语翻译 (SLT) 将手语视频直接转换为口语语句，无需依赖手语注释（即手语的书面表示形式）。近期，大语言模型 (LLM) 凭借其强大的自然语言生成能力，在无注释方法中展现出卓越的翻译性能。然而，这些方法通常需要对视觉编码器进行领域特定微调才能获得最佳效果。相比之下，我们强调捕捉手语空间构型和运动动态的重要性。基于此，我们提出了基于空间与运动的手语翻译框架 (SpaMo) ，这是一种新型基于大语言模型的 SLT 框架。SpaMo 的核心思想简单而高效：我们使用现成的视觉编码器提取空间和运动特征，而非领域特定微调，随后将这些特征与语言提示共同输入大语言模型。此外，在应用 SLT 监督前，我们采用视觉-文本对齐流程作为轻量级预热步骤。实验表明，SpaMo 在 PHOENIX14T、CSL-Daily 和 How2Sign 三个主流数据集上均实现了最先进性能，且无需视觉微调 [1]。

边界和边缘线索对于提升多种视觉任务（如语义分割、物体识别、立体视觉和物体候选框生成）具有显著作用。近期，边缘检测问题被重新审视，并借助深度学习取得了重大进展。传统边缘检测本身是一个具有挑战性的二分类问题，而类别感知的语义边缘检测本质上则是一个更为复杂的多标签问题。我们将该问题建模为每个边缘像素可以关联多个类别，因为它们可能出现在属于两个或多个语义类别的轮廓或交叉点中。为此，我们提出了一种基于ResNet的新型端到端深度语义边缘学习架构，以及一种新的跳跃层架构，其中顶层卷积层的类别边缘激活共享并与同一组底层特征融合。随后，我们提出了一种多标签损失函数来监督融合后的激活。实验表明，我们提出的架构通过更优性能使该问题受益，并在SBD和Cityscapes等标准数据集上大幅超越了当前最先进的语义边缘检测方法。