[论文翻译]基于上下文嵌入的综述

上下文嵌入 (Contextual Embeddings) ，如 ELMo 和 BERT，超越了 Word2Vec 等全局词表示方法，在广泛的自然语言处理任务中取得了突破性性能。上下文嵌入会根据上下文为每个词分配表示，从而捕捉不同语境下的词语用法，并编码跨语言迁移的知识。本文综述了现有上下文嵌入模型、跨语言多语种预训练、上下文嵌入在下游任务中的应用、模型压缩以及模型分析。