知识图谱到文本生成 (KG-to-text generation) 领域的最新进展源于旨在提升微调任务性能的辅助预训练任务。这些任务需要大量计算资源，却只能带来有限的改进。本文证明，通过将图感知元素融入现有预训练语言模型，我们能够超越最先进模型，并缩小由额外预训练任务带来的差距。具体而言，我们提出了一种捕获邻域信息的掩码结构，以及一种新型类型编码器——该编码器会根据连接类型对图注意力权重添加偏置。在两个知识图谱到文本基准数据集上的实验表明，我们的模型在参数量更少且无需额外预训练任务的情况下仍具竞争力。通过将该问题构建为框架形式，我们可以互换各种提出的组件，并基于图中发现的拓扑和类型信息开始解释知识图谱到文本生成模型。我们已公开代码[1]。

LANGUAGE MODELS ARE OPEN KNOWLEDGE GRAPHS 语言模型即开放知识图谱 ABSTRACT 摘要 This paper shows how to construct knowledge graphs (KGs) from pre-trained language models (e.g., BERT, GPT-2/3), without human supervision. Popular KGs (e.g, Wikidata, NELL) are built in eit... 本文展示了如何从预训练语言模型（如BERT、GPT-2/3）中无监督地构建知识图谱（KG）。主流知识图谱（如Wikidata、NELL）通常通过监督或半监督方式构建，依赖人工创建知识。而近期深度语言模型通过预训练从大规模语料中自动获取知识，这些存储的知识提升了语言模型在下游NLP任务（如问答、代码生成和文章撰写）中的表现。本文提出一种无监督方法，将语言模型内蕴的知识转化为知识图谱。研究表明，仅需对预训练语言模型（无需微调）执行一次前向传播即可构建知识图谱。通过与人构建的两个知识图谱（Wikidata、TAC KBP）对比，验证了所构建知识图谱的质量。我们的知识图谱还提供了现有图谱中未涵盖的开放事实知识。代码与知识图谱将公开提供。

大语言模型的快速发展为在各个应用领域（包括网络安全）中利用人工智能开辟了新的机会。随着网络威胁的数量和复杂性不断增长，对能够自动检测漏洞、分析恶意软件并响应攻击的智能系统的需求也越来越大。在本调查中，我们对大语言模型在网络安全中的应用（LLM 4 Security）进行了全面的文献回顾。通过全面收集超过 30,000 篇相关论文，并系统分析了来自顶级安全和软件工程会议的 127 篇论文，我们旨在提供一个全面的视角，展示大语言模型如何被用于解决网络安全领域的各种问题。

这激励我们将指令微调模型作为新任务更具计算效率的起始检查点。最后，为了加速指令微调的研究，我们公开发布了 Flan 2022 的数据集、模板和方法集合。

协作过滤通常存在真正推荐方案中的稀疏性和冷启动问题，因此，研究人员和工程师通常使用侧面信息来解决问题并提高推荐系统的性能。在本文中，我们认为知识图形作为侧面信息的来源。我们提出MKR，knowledge图的{M} Ulti-Task特征学习方法增强Remecencation。 MKR是一个深度端到端的框架，利用知识图形嵌入任务来帮助推荐任务。这两个任务由交叉& compress单元相关联，它自动共享潜在特征，并在知识图中的推荐系统和实体中的项目之间学习高阶交互。我们证明交叉＆Compress单元具有足够的多项式近似能力，并且显示MKR是几种推荐系统和多任务学习方法的推广框架。通过对现实世界数据集的广泛实验，我们展示了MKR在最先进的基线上实现了电影，书籍，音乐和新闻推荐的大量收益。即使用户项交互稀疏，MKR也能够保持体面的性能。

Proactive Human-Machine Coversation with Explicit Conversation Goals ACL 2019 一、动机 人机对话是人工智能的一项基本挑战，涉及语言理解、对话控制和语言生成等关键技术，受到了学术界和工业界的广泛关注。但目前的人机对话普遍存在以下问题： 机器大多是被动对话形式，即机器的回复是用于响应用户的输入，无法像人一样进行充分的信息交互 机器的对话漫无目的，缺乏像人一样的自主意识 因此，我们提出了主动对话任务： 给机器设定对话目标 让机器...