随着Transformer成为语言处理的标准模型，并在计算机视觉领域取得进展，其参数量与训练数据规模也相应增长。这使许多人认为Transformer不适用于小规模数据场景，由此引发诸多担忧：某些科学领域的数据可获得性受限，以及资源有限的研究者被排除在该领域研究之外。本文通过引入紧凑型Transformer (Compact Transformers) 提出小规模学习方法。

以人为本的感知任务（如姿态估计、人体解析、行人检测、行人重识别等）在视觉模型的工业应用中扮演着关键角色。虽然特定的人本任务各有其关注的语义层面，但它们都共享相同的人体底层语义结构。然而，很少有研究尝试利用这种同质性来设计通用的人本任务模型。本文重新审视了广泛的人本任务，并以极简方式将其统一。我们提出UniHCP（人本感知统一模型），通过朴素的视觉Transformer架构，以简化的端到端方式统一了多种人本任务。通过在33个人本数据集上进行大规模联合训练，UniHCP在直接评估时能超越多个领域内和下游任务的强基线。当适配特定任务时，UniHCP在广泛的人本任务中刷新了SOTA纪录：人体解析任务在CIHP上达到69.8 mIoU，属性预测在PA100K上达到86.18 mA，行人重识别在Market1501上达到90.3 mAP，行人检测在CrowdHuman上达到85.8 JI，表现均优于为各任务专门设计的模型。代码与预训练模型已开源：https://github.com/OpenGVLab/UniHCP。

无注释手语翻译 (SLT) 将手语视频直接转换为口语语句，无需依赖手语注释（即手语的书面表示形式）。近期，大语言模型 (LLM) 凭借其强大的自然语言生成能力，在无注释方法中展现出卓越的翻译性能。然而，这些方法通常需要对视觉编码器进行领域特定微调才能获得最佳效果。相比之下，我们强调捕捉手语空间构型和运动动态的重要性。基于此，我们提出了基于空间与运动的手语翻译框架 (SpaMo) ，这是一种新型基于大语言模型的 SLT 框架。SpaMo 的核心思想简单而高效：我们使用现成的视觉编码器提取空间和运动特征，而非领域特定微调，随后将这些特征与语言提示共同输入大语言模型。此外，在应用 SLT 监督前，我们采用视觉-文本对齐流程作为轻量级预热步骤。实验表明，SpaMo 在 PHOENIX14T、CSL-Daily 和 How2Sign 三个主流数据集上均实现了最先进性能，且无需视觉微调 [1]。

细粒度视觉分类 (Fine-Grained Visual Classification, FGVC) 是一项需要识别属于超类别下多个子类别对象的任务。当前最先进的方法通常设计复杂的学习流程来解决该任务。然而，仅凭视觉信息往往不足以准确区分细粒度视觉类别。如今，元信息 (如时空先验、属性和文本描述) 通常会与图像一起出现。这启发我们提出一个问题：是否可以使用一个统一且简单的框架来利用各种元信息辅助细粒度识别？为回答该问题，我们探索了一种用于细粒度视觉分类的统一强大元框架 (MetaFormer)。实践中，MetaFormer 提供了一种简单而有效的方法来解决视觉与各种元信息的联合学习问题。此外，MetaFormer 还为 FGVC 提供了一个无需复杂修饰的强大基线。大量实验证明，MetaFormer 能有效利用各类元信息提升细粒度识别性能。

边界和边缘线索对于提升多种视觉任务（如语义分割、物体识别、立体视觉和物体候选框生成）具有显著作用。近期，边缘检测问题被重新审视，并借助深度学习取得了重大进展。传统边缘检测本身是一个具有挑战性的二分类问题，而类别感知的语义边缘检测本质上则是一个更为复杂的多标签问题。我们将该问题建模为每个边缘像素可以关联多个类别，因为它们可能出现在属于两个或多个语义类别的轮廓或交叉点中。为此，我们提出了一种基于ResNet的新型端到端深度语义边缘学习架构，以及一种新的跳跃层架构，其中顶层卷积层的类别边缘激活共享并与同一组底层特征融合。随后，我们提出了一种多标签损失函数来监督融合后的激活。实验表明，我们提出的架构通过更优性能使该问题受益，并在SBD和Cityscapes等标准数据集上大幅超越了当前最先进的语义边缘检测方法。

视觉知识库（如Visual Genome）为计算机视觉中的众多应用（包括视觉问答和图像描述）提供了支持，但其关系标注稀疏且不完整。迄今为止，所有场景图模型都局限于在少量视觉关系上进行训练，每种关系仅有数千个训练标签。雇佣人工标注成本高昂，而基于文本的知识库补全方法又与视觉数据不兼容。本文提出一种半监督方法，通过少量标注样本为大量未标注图像分配概率关系标签。我们通过分析视觉关系，提出两种与图像无关的特征来生成噪声启发式规则，并利用基于因子图的生成模型聚合输出结果。