随着视觉与语言预训练 (VLP) 的兴起，越来越多的下游任务开始采用预训练后微调的模式。尽管该模式在多模态下游任务中展现出潜力，但在遥感领域的应用仍面临一些障碍。具体而言，同模态嵌入倾向于聚集的特性会阻碍高效的迁移学习。为解决这一问题，我们从统一视角重新审视多模态迁移学习在下游任务中的目标，并基于三个不同目标重新思考优化过程。我们提出“协调迁移学习与模态对齐 (HarMA)”方法，该方法在满足任务约束、模态对齐和单模态均匀对齐的同时，通过高效参数微调最小化训练开销。值得注意的是，无需额外训练数据，HarMA 便在遥感领域两个主流多模态检索任务中实现了最先进的性能。实验表明，仅需极少量可调参数，HarMA 就能达到与全参数微调模型相当甚至更优的性能。由于其简洁性，HarMA 可集成到几乎所有现有多模态预训练模型中。我们希望该方法能促进大模型在广泛下游任务中的高效应用，同时显著降低资源消耗 [1]。

虽然CLIP等大规模图文预训练模型已应用于经过剪辑视频的多种视频级任务，但其在未剪辑视频中进行时序定位的用途仍是一个相对未被探索的领域。我们为此设计了名为UnLoc的新方法，该方法利用预训练的图文双塔架构，将token输入视频-文本融合模型。融合模块的输出用于构建特征金字塔，其中每一层级连接至预测逐帧相关性分数及起止时间位移的检测头。与先前工作不同，我们的架构通过单阶段模型即可实现片段检索、时序定位和动作分割，无需动作提案、基于运动的预训练特征或表征掩码。不同于专用模型，我们采用统一方法在三种不同的定位任务上均取得了最先进的成果。代码将在以下地址发布：https://github.com/google-research/scenic。

人们普遍认为，扩展语言模型需要通过增加参数（参数扩展）或输出token（推理时间扩展）来付出显著的空间或时间成本。我们提出了第三种更具推理效率的扩展范式：在训练和推理期间同步增加模型的并行计算量。

摘要—本文提出了一种面向多模态理解与生成的视觉-音频-语言全感知预训练模型(VALOR)。不同于广泛研究的视觉-语言预训练模型，VALOR以端到端方式联合建模视觉、音频和语言的关系。该模型包含三个独立的单模态编码器和一个多模态条件文本生成解码器。我们设计了两个预训练任务：多模态分组对齐(MGA)和多模态分组描述(MGC)。MGA将视觉、语言和音频映射到同一公共空间，同时建立视觉-语言、音频-语言及视听-语言的对齐关系；MGC则学习在视觉、音频或两者共同条件下生成文本token。为推进视听语言预训练研究，我们构建了大规模高质量三模态数据集VALOR-1M，包含100万条带人工标注视听描述的可听视频。大量实验表明，VALOR能学习强大多模态关联，并可泛化至不同输入模态(如视觉-语言、音频-语言及视听-语言)的各种下游任务(如检索、描述和问答)。VALOR在系列公开跨模态基准测试中实现了最先进性能。