[论文翻译]结构化预测中嵌入向量的自动拼接

预训练上下文嵌入（contextualized embeddings）是结构化预测任务中强大的词表征方式。近期研究发现，通过拼接不同类型的嵌入可以获得更优的词表征。然而，最优拼接组合的选择通常因任务和候选嵌入集而异，且嵌入类型的不断增加使得该问题更具挑战性。本文提出自动化嵌入拼接（Automated Concatenation of Embeddings，ACE）方法，基于神经架构搜索最新进展的启发式建模，自动寻找适用于结构化预测任务的更优嵌入组合。具体而言，控制器根据当前对各类嵌入在任务中有效性的评估，交替采样嵌入组合，并基于奖励信号更新评估。我们采用强化学习策略优化控制器参数，其奖励信号源自任务模型的准确率——该模型以采样组合作为输入，并在任务数据集上训练。在6个任务21个数据集上的实验表明，我们的方法优于强基线模型，且在所有评估中使用微调嵌入均达到了最先进性能[20]。