我们提出了一种名为BERT (Bidirectional Encoder Representations from Transformers) 的新语言表示模型。与近期其他语言表示模型 (Peters et al., 2018a; Radford et al., 2018) 不同，BERT通过在所有层中联合调节左右上下文，从未标记文本中预训练深度双向表示。因此，预训练的BERT模型只需添加一个额外输出层进行微调，即可为问答和语言推理等多种任务创建最先进的模型，而无需对任务特定架构进行重大修改。

GAN-BERT: Generative Adversarial Learning for Robust Text Classification with a Bunch of Labeled Examples GAN-BERT：基于生成对抗学习的鲁棒文本分类方法（仅需少量标注样本） croce@info.uniroma2.it croce@info.uniroma2.it basili@info.uniroma2.it basili@info.uniroma2.it Abstract 摘要 Recent ... 基于Transformer的最新架构(如BERT)在众多自然语言处理任务中展现出卓越性能。然而现有基准测试大多依赖(有时多达数十万)标注样本。实际场景中，获取高质量标注数据往往成本高昂且耗时，而目标任务的未标注数据通常易于收集。半监督生成对抗网络已在图像处理领域展现出解决这一问题的潜力。本文提出GAN-BERT，通过在生成对抗框架中结合未标注数据来扩展类BERT架构的微调方法。实验表明，该方法在多个句子分类任务中仅需极少量标注样本(50-100个)即可保持优异性能。