文本到图像生成需要大量训练数据来合成高质量图像。为扩充训练数据，先前方法依赖于裁剪、翻转和混合等数据插值技术，这些方法无法引入新信息且仅带来边际改进。本文提出一种基于线性外推的文本到图像生成数据增强新方法。具体而言，我们仅对文本特征进行线性外推，并通过搜索引擎从互联网检索新图像数据。为确保新文本-图像对的可靠性，我们设计两个离群值检测器来净化检索图像。

我们提出了一种基于CNN（卷积神经网络）的技术，用于从单张低动态范围图像中估算高动态范围的户外光照。为了训练CNN，我们利用了一个大型户外全景图数据集。通过将低维物理基础的户外光照模型拟合到这些全景图的天空部分，我们得到了一组紧凑的参数（包括太阳位置、大气条件和相机参数）。我们从全景图中提取有限视场的图像，并利用大量输入图像-输出光照参数对来训练CNN。给定测试图像时，该网络可用于推断光照参数，进而重建户外光照环境贴图。我们证明，该方法能够恢复合理的光照条件，并实现从单张图像中进行照片级真实感的虚拟物体插入。对全景图数据集和捕获的HDR环境贴图进行的广泛评估表明，我们的技术显著优于该问题的先前解决方案。

在自然场景中检测小型文本实例尤为困难，不规则位置和非理想光照的影响常导致检测错误。我们提出混合架构MixNet，结合CNN与Transformer的优势，能精准检测复杂自然场景中的任意方向、风格和光照条件的小型文本。该网络包含两个核心模块：(1) 作为主干网络的特征混洗网络(FSNet)；(2) 利用场景文本一维流形约束的中心Transformer模块(CTBlock)。我们首先在FSNet中引入创新的特征混洗策略，促进多尺度特征交换，生成优于ResNet和HRNet的高分辨率特征。该主干网络在PAN、DB、FAST等现有文本检测方法基础上实现显著提升。随后设计互补的CTBlock模块，利用类似文本区域中轴线的中心线特征，证明其在密集小文本场景中优于基于轮廓的方法。大量实验表明，融合FSNet与CTBlock的MixNet在多个场景文本检测数据集上达到最先进水平。

细粒度视觉分类 (Fine-Grained Visual Classification, FGVC) 是一项需要识别属于超类别下多个子类别对象的任务。当前最先进的方法通常设计复杂的学习流程来解决该任务。然而，仅凭视觉信息往往不足以准确区分细粒度视觉类别。如今，元信息 (如时空先验、属性和文本描述) 通常会与图像一起出现。这启发我们提出一个问题：是否可以使用一个统一且简单的框架来利用各种元信息辅助细粒度识别？为回答该问题，我们探索了一种用于细粒度视觉分类的统一强大元框架 (MetaFormer)。实践中，MetaFormer 提供了一种简单而有效的方法来解决视觉与各种元信息的联合学习问题。此外，MetaFormer 还为 FGVC 提供了一个无需复杂修饰的强大基线。大量实验证明，MetaFormer 能有效利用各类元信息提升细粒度识别性能。

基于点击的交互式分割旨在通过用户点击的引导从图像中提取感兴趣的对象。近期研究通过利用输出反馈取得了优异的整体性能。然而在现有最先进方法中仍存在两大问题：1) 推理阶段依赖僵化的启发式规则且需要独立优化模型；2) 用户点击次数与模型性能难以平衡。为此，我们提出包含三项创新组件的点击引导掩码交互式图像分割框架：级联前向优化(CFR)、迭代点击损失(ICL)和SUEM图像增强。CFR提供统一推理框架实现由粗到细的分割结果生成，ICL使模型训练能同步提升分割精度并减少用户交互，SUEM增强则为交互式图像分割创建大规模多样化训练集。大量实验证明该方法在五个公开数据集上达到最先进水平。值得注意的是，在Berkeley和DAVIS数据集上，我们的模型分别以33.2%和15.5%的点击量降幅超越了先前最佳方法达到0.95 IoU阈值所需的交互次数。

视觉感知涉及解决一系列广泛的任务，例如目标检测、深度估计等。同一图像上多个任务的预测并非独立，因此应保持"一致性"。我们提出了一种通用且完全基于计算的方法，通过跨任务一致性 (Cross-Task Consistency) 来增强学习效果。该方案基于任意任务图上的推理路径不变性。实验表明，跨任务一致性学习能提高预测精度，并增强对分布外输入的泛化能力。该框架还衍生出一个称为一致性能量 (Consistency Energy) 的无监督指标，通过测量系统内在一致性实现。

文本到图像生成研究在扩散模型和自回归模型的推动下取得了显著进展，这些模型通过大规模图文数据训练能够生成多样化且逼真的图像。尽管当前最先进的模型可以生成常见实体的高质量图像，但在生成罕见实体（如"Chortai（犬种）"或"Picarones（食物）"）时往往表现不佳。为解决这一问题，我们提出了检索增强文本到图像生成器（Re-Imagen），该生成模型利用检索信息生成高保真图像，即使对于罕见或未见过的实体也能保持准确性。给定文本提示时，Re-Imagen会访问外部多模态知识库检索相关（图像，文本）对，并将其作为参考生成图像。通过这种检索机制，模型能够获取所述实体的高层语义和底层视觉细节知识，从而提升生成实体视觉外观的准确性。我们在构建的（图像，文本，检索）三元组数据集上训练Re-Imagen，使模型能够同时基于文本提示和检索信息进行生成。此外，我们开发了新的采样策略，通过交错文本条件和检索条件的无分类器引导，平衡文本与检索的对齐效果。Re-Imagen在COCO和WikiImage数据集上的FID分数显著提升。为进一步评估模型能力，我们提出了实体绘制基准（Entity Draw Bench），该基准评估从高频到低频实体（涵盖犬类、食物、地标、鸟类和角色等多个类别）的图像生成能力。在实体绘制基准上的人工评估表明，Re-Imagen能显著提升生成图像的保真度，尤其在低频实体上表现突出。

摘要—最近的研究探索了从生物特征数据中自动推断个体性别、年龄和种族等信息的可能性。虽然面部模态在这方面得到了广泛研究，但虹膜模态的研究相对较少。本文首先回顾了医学文献，以确立从虹膜中提取性别和种族线索的生物学基础。然后，我们证明了可以使用简单的纹理描述符，如BSIF（二值化统计图像特征）和LBP（局部二值模式），从典型的虹膜识别系统中使用的近红外（NIR）眼部图像中提取性别和种族属性。所提出的方法从单张眼部图像中预测性别和种族的准确率分别为\$86\%\$和\$90\%\$。此外，还进行了以下分析：(a) 眼部区域不同部分在属性预测中的作用；(b) 性别对种族预测的影响，反之亦然；(c) 眼睛颜色对性别和种族预测的影响；(d) 图像模糊对性别和种族预测的影响；(e) 该方法在不同数据集上的泛化能力；(f) 左右眼预测性能的一致性。