神经网络在监督学习中表现出色，这得益于大量高质量的标注数据。然而，在实际场景中获取此类数据成本高昂且费时费力。半监督学习（SSL）通过结合少量标注数据和大量未标注数据，为解决这一问题提供了方案。近期研究如Semi-ViT和Noisy Student采用一致性正则化或伪标签技术取得了显著成果，但仍面临挑战——尤其是依赖固定阈值导致难以准确选择足够高质量的伪标签。FlexMatch和FreeMatch等最新方法引入了灵活或自适应的阈值技术，极大推动了SSL研究，但其逐轮迭代更新阈值的过程被认为耗时、计算密集且可能非必要。

视频异常检测旨在开发能够识别监控视频中异常事件的自动化模型。由于以下原因，该任务的基准设置极具挑战性：i) 训练集规模有限，ii) 仅提供视频级标签的弱监督，iii) 异常事件稀缺导致的固有类别不平衡。本研究表明，将多个骨干网络的聚合表征知识蒸馏到单骨干学生模型中，可实现最先进的性能。具体而言，我们开发了一种双层蒸馏方法，并提出新型基于解耦交叉注意力的特征聚合网络。我们提出的DAKD（基于解耦注意力的聚合知识蒸馏）方法在多个基准数据集上展现出优于现有方法的性能。值得注意的是，在UCF-Crime、Shanghai Tech和XD-Violence数据集上分别实现了1.36%、0.78%和7.02%的显著提升。

本文提出了一种用于特征选择和分类流程的情境感知框架，旨在实现快速准确的音频事件标注与分类。该情境感知设计首先探索特征提取技术，通过寻找合适的组合来选取一组能在最小计算成本下实现显著分类准确率的特征。特征选择过程中还研究了音频节奏(Tempo)表征——这一在环境音频分类研究领域被以往工作忽略的优势特征提取方法。所提出的标注方法综合考虑离群值、内点及难预测数据样本，实现了情境感知的主动学习(Active Learning)，在仅15%数据具备初始标注时仍能达到90%的平均准确率。我们提出的声音分类算法在Urban Sound 8K数据集上取得了98.05%的平均预测准确率。包含源代码和实现结果的Notebook已发布于https://github.com/gitmehrdad/FACE。

我们提出Noisy Student Training，这是一种即使在标注数据充足时也能表现优异的半监督学习方法。该方法在ImageNet上实现了88.4%的top1准确率，比需要35亿张弱标注Instagram图片的当前最佳模型高出2.0%。在鲁棒性测试集上，它将ImageNet-A的top1准确率从61.0%提升至83.7%，将ImageNet-C的平均损坏误差从45.7降至28.3，并将ImageNet-P的平均翻转率从27.8降至12.2。

一种利用少量标注样本和大量未标注数据进行学习的范式是无监督预训练(unsupervised pre-training)结合监督微调(supervised fine-tuning)。尽管这种范式以任务无关的方式使用未标注数据（与计算机视觉中常见的半监督学习方法不同），但我们证明它在ImageNet半监督学习任务中表现出惊人的效果。该方法的关键在于预训练和微调阶段都采用大型（深度和宽度）网络结构。我们发现标注数据越少，这种（任务无关的未标注数据使用）方法从大型网络中获益越多。经过微调后，通过以任务相关的方式二次利用未标注数据，可将大型网络进一步优化并蒸馏为更小的网络，同时保持分类精度几乎无损。提出的半监督学习算法可概括为三个步骤：使用SimCLRv2对大型ResNet模型进行无监督预训练、基于少量标注样本进行监督微调、利用未标注数据通过蒸馏来提炼和迁移任务相关知识。该方法仅使用1%的标注数据（每类≤13张标注图像）就使ResNet-50在ImageNet上达到73.9%的top-1准确率，比之前最优方法的标签效率提高了10倍。当使用10%标注数据时，采用本方法训练的ResNet-50达到77.5%的top-1准确率，优于使用全部标注数据的标准监督训练。