大规模预训练语言模型 (PLM) 已成为自然语言处理 (NLP) 的新范式。具有数千亿参数的 PLM（如 GPT-3 [1]）通过少样本上下文学习在自然语言理解和生成方面展现出强大性能。

结构句法知识已被证明对语义角色标注(SRL)有效，而现有工作大多仅使用单一语法结构，例如句法依存树或成分树。本文探索了异构句法表示在SRL中的融合应用。我们首先提出基于TreeLSTM的融合方法，协同学习成分树的短语边界和依存树的语义关系。进一步引入标签感知(labelaware)的图卷积网络(GCN)方案，同时建模句法边和标签。实验结果表明，通过有效结合异构句法表示，我们的方法在基于跨度和基于依存的SRL任务上均取得提升。同时，我们的系统实现了新的SRL最先进性能，并带来可解释的任务改进。

近期在文本到SQL (Text-to-SQL) 领域最成功的尝试之一是预训练语言模型。由于SQL查询的结构特性，序列到序列 (seq2seq) 模型需要同时解析模式项 (即表和列) 和骨架 (即SQL关键字)。这种耦合目标增加了解析正确SQL查询的难度，尤其是当涉及大量模式项和逻辑运算符时。本文提出了一种基于排序增强的编码和骨架感知解码框架，以解耦模式链接和骨架解析。具体而言，对于seq2seq编码器-解码器模型，其编码器注入的是最相关的模式项而非整个无序集合，从而减轻SQL解析时的模式链接负担；其解码器首先生成骨架，再生成实际SQL查询，从而隐式约束SQL解析过程。我们在Spider及其三个鲁棒性变体 (Spider-DK、Spider-Syn和Spider-Realistic) 上评估了所提框架。实验结果表明，该框架展现出优异的性能和鲁棒性。代码已开源：https://github.com/RUCKBReasoning/RESDSQL。