本文探讨了标准且广泛使用的Oxford 5k和Paris 6k数据集在图像检索基准测试中存在的问题。重点关注了标注错误、数据集规模和挑战级别：我们为两个数据集重新创建了标注，并特别关注真实标注的可靠性。引入了三种不同难度的新评估协议，这些协议支持包括使用数据集预处理阶段在内的各类方法进行公平比较。针对每个数据集新增了15个具有挑战性的查询项。最后，我们还筛选出一组包含100万张经过半自动清理的困难干扰图像。

图像检索系统传统上采用两阶段范式，即利用全局特征进行初始检索，再通过局部特征进行重排序。然而，由于重排序阶段局部特征匹配带来的巨大存储和计算开销，这种方法的可扩展性往往受限。本文提出Super Global，一种仅使用全局特征完成两阶段任务的新方法，在保持精度的同时提升效率。该方法对检索系统进行关键改进，重点优化全局特征提取与重排序流程：在提取阶段，我们发现广泛使用的ArcFace损失函数与广义均值(GeM)池化方法结合时性能欠佳，并提出多个新模块来改进GeM池化；在重排序阶段，我们引入仅需少量图像参与特征优化的全局特征更新机制，显著提升计算和内存效率。实验表明，本方法在标准基准测试中取得显著提升——在Revisited Oxford\$^{\circ}+\$1M Hard数据集上，单阶段结果提高7.1%，两阶段结果提升3.7%的同时实现64,865倍加速；我们的两阶段系统以16.3%的优势超越当前最优单阶段方案，为高性能图像检索系统提供了兼具可扩展性、精确性和低时延的解决方案。代码：https://github.com/ShihaoShao-GH/SuperGlobal。

摘要—车道检测对车辆定位至关重要，是自动驾驶及众多智能高级驾驶辅助系统的基础。现有基于视觉的车道检测方法未能充分利用有价值的特征和聚合上下文信息，特别是连续帧中车道线与图像其他区域的相互关系。为填补这一研究空白并提升检测性能，本文提出一种结合掩码序列自编码器自预训练与定制化PolyLoss微调的端到端神经网络流程，采用多帧连续图像作为输入。通过掩码序列自编码器以随机掩码图像像素重建为目标进行模型预训练，在微调分割阶段将预训练权重迁移至车道检测任务，采用定制化PolyLoss通过反向传播机制计算输出结果与标注真值间的加权误差。

合成图像生成与处理技术的快速发展已到了引发社会重大关切的阶段。往轻了说，这会削弱人们对数字内容的信任；往重了想，它可能通过传播虚假信息或假新闻造成更深层次的危害。本文研究了当前最先进的图像处理技术的逼真程度，以及通过自动化手段或人工方式检测这些篡改图像的难度。

我们提出了一种基于CNN（卷积神经网络）的技术，用于从单张低动态范围图像中估算高动态范围的户外光照。为了训练CNN，我们利用了一个大型户外全景图数据集。通过将低维物理基础的户外光照模型拟合到这些全景图的天空部分，我们得到了一组紧凑的参数（包括太阳位置、大气条件和相机参数）。我们从全景图中提取有限视场的图像，并利用大量输入图像-输出光照参数对来训练CNN。给定测试图像时，该网络可用于推断光照参数，进而重建户外光照环境贴图。我们证明，该方法能够恢复合理的光照条件，并实现从单张图像中进行照片级真实感的虚拟物体插入。对全景图数据集和捕获的HDR环境贴图进行的广泛评估表明，我们的技术显著优于该问题的先前解决方案。

可见光-红外行人重识别(VI-ReID)旨在检索由可见光(VIS)和红外(IR)摄像头捕获的同一行人图像。现有VI-ReID方法在忽略特征高阶结构信息的同时，由于VIS与IR图像间较大的模态差异，较难学习到合理的共同特征空间。针对上述问题，我们提出了一种基于高阶结构的中间特征学习网络(HOS-Net)。具体而言，我们首先采用短长程特征提取(SLE)模块来有效利用短程和长程特征。然后提出基于白化超图网络的高阶结构学习(HSL)模块，成功建模行人图像各局部特征间的高阶关系，极大缓解了模型坍塌问题并增强了特征表示能力。最后开发了共同特征空间学习(CFL)模块，通过对齐不同模态和范围的特征生成中间特征，进而学习判别性合理的共同特征空间。特别提出模态-范围身份中心对比(MRIC)损失函数，缩小VIS、IR与中间特征间的距离，平滑训练过程。在SYSU-MM01、RegDB和LLCM数据集上的大量实验表明，HOS-Net取得了最先进的性能。代码已开源在https://github.com/Julaucoeng/HOS-Net。

典型文本识别方法依赖于编码器-解码器结构，其中编码器从图像中提取特征，解码器根据这些特征生成识别文本。在本研究中，我们提出了一种更简单高效的文本识别方法——仅解码器Transformer光学字符识别 (DTrOCR)。该方法利用仅解码器Transformer架构，充分发挥了在大规模语料库上预训练的生成式语言模型 (Generative Language Model) 优势。我们验证了在自然语言处理领域表现优异的生成式语言模型，是否同样适用于计算机视觉中的文本识别任务。实验表明，DTrOCR 在英文和中文的印刷体、手写体及场景文本识别任务中，均大幅领先当前最先进方法。

我们研究从无标签视频中学习物体分割。人类无需知道物体是什么就能轻松分割运动物体。基于共同命运 (common fate) 的格式塔定律——即以相同速度运动的物体属于同一整体——启发了基于运动分割的无监督物体发现方法。但共同命运并非物体性的可靠指标：铰接/可变形物体的部件可能不以相同速度运动，而物体的阴影/反射虽始终随之移动却不属于物体本身。

我们提出了Pix3D——一个包含多样化图像-形状对的大规模新数据集。Pix3D中的每个3D形状都关联着一组丰富多样的图像，每张图像都带有精确的3D位姿标注以确保2D-3D对齐的准确性。相比之下，现有数据集存在以下局限：3D模型可能与图像中的物体不匹配；位姿标注可能不精确；或者数据集规模相对较小。

开发最新的图像分类模型通常需要大量的架构工程和调整。在本文中，我们尝试通过使用“神经体系结构搜索”来学习小型数据集上的建筑构造块（可转移到大型数据集）来减少建筑工程量。这种方法类似于学习循环网络中循环单元的结构。在我们的实验中，我们在CIFAR-10数据集上搜索最佳的卷积像元，然后通过将更多的该像元堆叠在一起，将该学习的像元应用于ImageNet数据集。尽管不能直接在ImageNet上学习该单元，但是从学习最多的单元构建的体系结构在ImageNet上的最新精度为82.3％top-1和96.0％top-5，与人类发明的最优架构相比，top-1精度提高了0.8％，而FLOPS却减少了90亿。该单元还可以按比例缩小两个数量级：由最佳单元构成的较小网络还可以实现74％的top-1精度，这比同等大小的最新移动模型高3.1％。