神经体系结构搜索（NAS）通常包括三个主要步骤：训练超级网络，训练和评估采样的深度神经网络（DNN）以及训练发现的DNN。现有的大多数工作都以大大降低其他步骤的速度或牺牲对不可区分搜索指标的支持为代价来加快某些步骤的速度。每步花费时间的不平衡减少限制了总搜索时间的减少，并且无法支持不可区分的搜索指标也限制了发现的DNN的性能。 在本文中，我们为NetAdaptV2提供了三种创新，以更好地平衡每个步骤所花费的时间，同时支持不可区分的搜索指标。首先，我们提出将网络深度和层宽度合并为单个搜索维度的通道级旁路连接，以减少训练和评估采样DNN的时间。其次，提出了有序辍学来在单个前向后向传递中训练多个DNN，以减少训练超级网络的时间。第三，我们提出了多层坐标下降优化器，该优化器在每次优化迭代中考虑多层的相互作用，以提高发现的DNN的性能，同时支持不可区分的搜索指标。通过这些创新，NetAdaptV2将在ImageNet上总搜索时间减少了多达5.8× 和 在NYU Depth V2上为2.4×，同时发现DNN的精确度，延迟/准确性，MAC权衡要比最新的NAS更好。此外，在相同的延迟下，发现的DNN优于NAS发现的MobileNetV3的top-1准确性提高了1.8％。脚注{项目网站：http：//netadapt.mit.edu。}

在室内IoT感官数据上训练深度学习模型通常用于识别人类活动。最近，使用边缘设备作为客户端以支持本地人类活动识别的联合学习系统已经成为结合本地（个人）模型和全局（小组）模型的新范例。与传统的集中式分析和学习模型相比，此方法提供了更好的可伸缩性和通用性，并且还提供了更好的隐私性。但是，联合学习背后的假设依赖于对客户的监督学习。这需要大量带标签的数据，而这些数据很难在不受控制的IoT环境（如远程家庭监控）中收集。 在本文中，我们提出了一种使用半监督联合学习的活动识别系统，其中客户在具有未标记本地数据的自动编码器上进行无监督学习以学习一般表示，而云服务器在具有标签数据的活动分类器上进行监督学习。我们的实验结果表明，使用较长的短期内存自动编码器和Softmax分类器，我们提出的系统的准确性要高于集中式系统和使用数据增强的半监督联合学习的准确性。准确性也可以与监督式联合学习系统的准确性相提并论。同时，我们证明了我们的系统可以减少需要的标签数量和局部模型的大小，并且比有监督的联合学习具有更快的局部活动识别速度。

盲超分辨率（SR）方法旨在从包含未知降级的低分辨率图像产生高质量的高分辨率图像。然而，自然图像含有各种类型和量的模糊：有些可能是由于相机的固有降解特性，但有些可能是有意的，用于美学目的（例如Bokeh效应）。在后者的情况下，SR方法非常困难，以解开模糊以移除，并尽可能离开。在本文中，我们提出了一种基于SR特征的内核型自适应局部调整（Koala）的新型盲人SR框架，称为Koalanet，其共同学习空间变型劣化和恢复核，以适应空间变体模糊特性在真实的图像中。我们的Koalanet优于由随机降解获得的合成LR图像的最近盲目SR方法，我们进一步表明，KOALAnet有效地处理混合失焦和聚焦区域的图像。

尽管经过训练的上下文化语言模型（例如BERT）在各种下游任务上都取得了显着的性能，但是当前的语言表示仍然只专注于特定粒度的语言目标，当同时涉及多个语言单元级别时，这可能不适用。因此，这项工作介绍和探索了通用表示学习，即在统一向量空间中嵌入不同级别的语言单元的方法。我们提出了一种通用表示模型BURT（通过学习有意义的段T来启发BERT的通用表示），以将不同级别的语言单元编码到相同的向量空间中。具体来说，我们根据逐点互信息（PMI）提取和掩盖有意义的细分，以将不同的粒度目标纳入预训练阶段。我们对英语和中文数据集（包括GLUE和CLUE基准）进行了实验，我们的模型在许多下游任务上都超过了其基准和替代方法。我们介绍了根据单词，短语和句子构造类比数据集的方法，并尝试了多种表示模型，以通过独立于任务的评估来检查学习的向量空间的几何特性。最后，我们在两个实际的文本匹配场景中验证了我们统一的预培训策略的有效性。

开发最新的图像分类模型通常需要大量的架构工程和调整。在本文中，我们尝试通过使用“神经体系结构搜索”来学习小型数据集上的建筑构造块（可转移到大型数据集）来减少建筑工程量。这种方法类似于学习循环网络中循环单元的结构。在我们的实验中，我们在CIFAR-10数据集上搜索最佳的卷积像元，然后通过将更多的该像元堆叠在一起，将该学习的像元应用于ImageNet数据集。尽管不能直接在ImageNet上学习该单元，但是从学习最多的单元构建的体系结构在ImageNet上的最新精度为82.3％top-1和96.0％top-5，与人类发明的最优架构相比，top-1精度提高了0.8％，而FLOPS却减少了90亿。该单元还可以按比例缩小两个数量级：由最佳单元构成的较小网络还可以实现74％的top-1精度，这比同等大小的最新移动模型高3.1％。