《读完ACL 2019录取的30篇知识图谱论文我发现了这5点趋势.docx》由会员分享，可在线阅读，更多相关《读完ACL 2019录取的30篇知识图谱论文我发现了这5点趋势.docx（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、读完ACL2019录取的30篇知识图谱论文，我发现了这5点趋势|MichaelGalkin译者|Freesia编辑|夕颜出品|AI科技大本营ID:rgznai100【导读】近年度来自然语言处理领域中广泛应用的知识图谱KGs正在不断地吸引人们的目光此次ACL2019中的有关于知识图谱的论文也比比皆是因此本文在参加ACL2019后将有关于知识图谱的论文进展了整理并予以扼要介绍广阔技术人员们可以借此解析知识图谱在自然语言处理领域的最新开展情况。大众好啊ACL2019刚刚完毕我整个星期都在美丽的佛罗伦萨参加各种会议、tutorial、workshop在这篇文章中我想回首一下知识是怎样缓缓但坚决地融入到
2、NLP社区中的。ACL2019声势浩大论文提交数为2900篇660篇被录用3000多名注册与会者约400名与会者参加了四个workshop好吧workshop比一些国际CS会议更大。MihailEric撰写了一篇关于ACL总体趋势的文章。大会除了如Bertology、Transformers以及MachineTranslation等热门话题外还出现了如对抗性学习、自然语言生成以及知识图谱KGs等新趋势。我个人很快乐看到了KGs在顶尖级人工智能领域的强劲势头660份被录用的论文中约有30份是关于知识图谱的占了5%的份额ACL一直不都是典型AI人的好去处吗因此我在本周内会列举一些以KGs为代表的人
3、工智能的主要应用领域还有一系列前途无量的论文。由于会议规模浩大假如我错过了什么请告知我以便于我在列表中添加。知识图谱的人机对话系统人机对话系统传统上分为任务型以及聊天型。任务型帮助用户完成某项任务如在餐厅预订桌子或者在车内场景中帮助驾驶员假如你想熟悉典型的基于KG的对话系统请浏览我以前的文章。聊天型主要是小型聊天具备互动娱乐性质。最近深度学习在没有特定的pipeline的端到端对话系统尤其是聊天系统成就斐然你可能有所耳闻。然而越来越明显的是这两种类型的系统都必须装备一些知识任务型系统需要任务领域的知识聊天型需要的更多是常识性知识。对这项技术的预期ACL候任主席周明本人表达得再清楚不过了他在欢送
4、辞中强调了将知识图谱、推理以及上下文结合到对话系统中的重要性。我还要补充一点KGs可以进步agent答案的可解释性。因此假如候任主席就KGs来讨论对话系统那么这一领域就大有所为了是吧这正是我们在FraunhoferIaisDresden以及SmartDataAnalytics研究组所做的工作既推动了产业应用的开展又拓宽了基于KG的对话平台的研究视野请原谅我对这一主题的偏见。知识图谱的春天AI会话的NLPworkshop中讨论了更多细节会上来自华盛顿大学的YejinChoi提出了一种将常识知识整合到对话中的方法技术细节见下文。来自亚马逊的RuhiSarikaya确信Alexa在一定程度上仍然需要
5、在pipeline形式上采用组织化来源如图谱的知识提取方式。来自MSResearch的JianfengGao表示小冰需要使用构造化的知识与用户进展对话小冰仍然保持着最长的conversation-step序列的记录来自FacebookAI的Moonetal.,2019展示了OpenDialKG一个开放式对话系统其并行语料库带有15000注释对话基于1百万triples10万字符实体以及1358个关系的Freebase子集91000turns。这是构建基于KG的对话系统的伟大一步我祈望Facebook的例子可以鼓励到其别人此外还提出了一种新奇的DialKGWalk架构该架构以E2E方式利用知识图
6、谱并采用基于注意的图谱途径解码器。我唯一担忧的就是selectedgraphFreebase自从2021年度就正式下线了长期以来一直无人支持或者许如今是大众转向Wikidata的时候了知识图谱的自然语言生成事实从构造化数据中产生连接的自然语言话语也是一个热门的新兴话题。固然纯神经E2ENLG模型试图解决产出文本无聊的问题但是从构造化数据中生成的NLG在表达自然语言的内在构造方面挑战重重。同样知识图谱也很难用言语描绘。输入一个triple三元组例如生成一箩筐不同的句子但是输入一个连接的三元组例如时哪个产出更合理“柏林是2006年度世界杯主办国德国的首都还是“柏林是2006年度世界杯举办国的首都令
7、人惊讶的是ACL可以提供相当多KGs的话语triples。首先我想提下由IBMResearch组织的讲故事workshop链接s:/sites.google/view/acl-19-nlg/slides该workshop提出了许多挑战的同时也提到了可能解决triples三元组言语问题的方法。Loganetal.的一篇很棒的论文及海报演讲链接s:/aclweb.org/anthology/P19-1598提议将OpenAIGPT等语言模型与知识图谱嵌入结合使用。还介绍了一个新的数据集LinkedWikiText-2训练局部由超过41000个实体以及15000个关系组成且带有Wikidata的注释
8、。图源Loganetal.Moryossef等人s:/arxiv.org/abs/1904.03396提出了Chimera尽管并非源自ACL2019但同样是来自NAACL2019的相关作品一个NLG用于triples的two-fold模型。首先给定一组三元组它们生成文本图谱保存给定三元组的语意合成特性对它们排序最后用复制机制运行一个典型的神经机器翻译NMT系统来生成文本句子。评估基于WebNLGdataset该数据集还使用了Wikidata实体以及谓词IDs。知识图谱的复杂问答作为一项理解任务问答是跟进BERT等大型模型进展的最流行的基准之一。 “知识图谱问答KGQA旨在为用户提供一个界面让他
9、们自己的语言进展提问通过问询KG可以获得简明的答案。我要引用我的同事Chakraborty等人最近发表的一项关于KGQA的全面研究s:/arxiv.org/pdf/1907.09361.pdf。在QA任务中KGs向用户提供可解释的结果实际上是可能是在目的图谱中找到的图谱形式。此外他们还可以进展复杂的推理而浏览理解系统还不能做到这一点。ACL2019带来了许多你想解析的最先进的研究。Saha等人的复杂序列问答CSQA数据集带有WikidataIDs主要为一些针对KGs的最复杂的问题包括聚合“哪一民族的守护神的数量与希尔德加德宾根的同行人数大致一样“核实“伊朗的Shamsi以及Samatice是姊
10、妹镇吗甚至是实体以及关系的指代消解对话。无记忆的简单问题的训练表现很差如今看来需要某种形式语言或者语法来执行逻辑操作以及聚合。本文介绍了一种集合交集、知识图谱嵌入查找等多种操作的语法通过强化学习推导出一个逻辑程序可以在对话环境中答复这些复杂的问题。图源Sahaetal.?Weber等人s:/arxiv.org/pdf/1906.06187.pdf继续致力于NeuralProlog一种结合符号推理以及规那么学习方法的可区别逻辑方法可以直接应用于自然语言文本而无需将其转换为逻辑形式并使用Prolog-style的推理来答复逻辑查询。因此一方面框架是基于模糊逻辑也是我的罪恶小九九以及预先训练的句子嵌
11、入模型。在我看来神经逻辑方法在社会中被低估了当研究开场真正进展可解释性之战时我祈望这个领域能有更多的吸引力因为这篇论文以及上面的论文都提出了一个有关于怎样推断出详细答案的理智而又可讲明的机制。图源Weberetal.对于处理更简单的KGQA数据集Xiong等人s:/aclweb.org/anthology/P19-1417提出一种针对不完好知识图谱的方法需要执行一些链接预测Sydorova等人s:/aclweb.org/anthology/P19-1488在TextKBQA任务中获得了很好的效果有两个知识来源一个图表以及一个文本段落。Yang等人采用了另一种方法用KGs本例中的WordNet以
12、及Nell丰富BERT式浏览理解模型。截至2019年度3月他们的KT-NET在SQuAD1.1以及ReCoRD上超过了纯MRC系统这说明这是一种有祈望的研究方法。基于理解的问答系统仍然处于火爆状态因为他们有好几个口头陈述以及广告会议专门为他们准备所以我非常肯定也会有关于这个领域的详细报告。简言之新的数据集如WikiHop或者HotpotQA是针对整个Wikipedia文章的多个问答你需要将多篇文章中的知识结合起来回答下列问题。CommonSenseQA包含来自搜索引擎日志的真实问题因此系统需要某种常识性推理。为了区分有意义的案例以及完全的胡讲八道你需要进展对抗性训练Zhus:/aclweb.o
13、rg/anthology/P19-1415以及Wus:/aclweb.org/anthology/P19-1616等人也有类似论文他们证明了对抗性训练是有效的。最后为了克制通常较小的训练数据集Alberti等人s:/aclweb.org/anthology/P19-1620为那些可以生成50万个额外问题来训练系统并实现2到3F1增长的问题引入一个解释性数据扩大形式。知识图谱的NER以及关系联结ACL2019的信息提取轨道是最受欢送以及关注的轨道之一KGs在命名实体识别、实体链接、关系提取以及关系联结中显示出了实在的好处。我对神经方法十分感兴趣它允许从文根源构建知识图谱。引入了许多新的数据集带有
14、WikidataID以及方法。图源Bosselutetal.?Bosselut等人的论文s:/aclweb.org/anthology/P19-1470介绍了Comet一种用于常识性转换的架构其中语言模型如GPT-2与seedknowledge图谱如Atomic相结合。用图谱中的seedtuples元组支持COMET可以解析它的构造以及关系。另一方面为生成新的节点以及边并添加到seedtuples中语言模型采用了图示法。更酷的是可以用自然文本元组来表示一个图。在以及Wikidata一样大的smth上尝试这种架构非常有趣。用于关系提取的新数据集以及基线模型鼓舞人心的是它们基于Wikidata实体
15、以及predicates。Yao以及Ye等人s:/arxiv.org/pdf/1906.06127.pdf提出一个庞大的DocRED数据集它由6个实体类型、96个关系、250万个实体没有WikidataIDs、102000个文档中的828000句组成。Trisedya等人s:/aclweb.org/anthology/P19-1023提出一个由255000个文本triples、280000个实体以及158个谓词函数组成的WIKI数据集该数据集的任务是用给定的自然语言句子构建知识图并为该数据集建立基线模型。此外Chen等人s:/aclweb.org/anthology/P19-1278介绍一个由
16、426000triples、112000个实体、188个关系组成的关系相似性数据集。为进一步进展研究信息提取Zhu等人s:/aclweb.org/anthology/P19-1128利用graphattentionnets进展关系链接结果令人印象深入。他们将句子中实体以及关系的组合建模为图形并使用可以识别multi-hop关系的GNNs。SOTA的表现有很大的优势。Soares等人s:/aclweb.org/anthology/P19-1279的作品描绘了一种关系学习的新方法预训练一个像BERT一样的大型模型并通过它的编码器传递句子以获得一个关系的抽象概念然后对一个特定的形式如Wikidata
17、,TACRED或者DBpedia进展微调以获得具有相应ID的实际谓词。这确实有用通常KG-basedIE是为特定的本体定制的所以当你有很多任务时也有很多本体。在这里从任一形式中别离出一个关系并允许提取一个非常通用的关系。这种方法显示出准确性得到了极大的进步十分是在zero-以及few-shots任务中因此你可以在训练数据相当有限的情况下使用它。图源Soaresetal.对于实体联结Logeswaran等人s:/aclweb.org/anthology/P19-1335打算采用类似BERT的预训练浏览理解模型以推广一些未知域的未知实体。因此他们提出了一个domain-adaptive的预训练策略
18、以及一个未知域的zero-shot以及实体联结的新任务。如今数据集由Wikia文章组成但我认为在应用知识图谱框架时不应有过多的问题因为这些图谱包含多种语言标签以及同义词或者良好界定的特定域的本体。Hosseini等人s:/mitpressjournals.org/doi/pdf/10.1162/tacl_a_00250在他们的文章中研究了一个问题即直接从自然语言文本中提取一个关系图并在评估数据集方面获得了一些成果。Shaw等人s:/aclweb.org/anthology/P19-1010解决了类似问题他们应用graphnetsGNNS近日确实十分火获取了带有实体的逻辑形式。Wu等人s:/ac
19、lweb.org/anthology/P19-1616研究了KGs中的关系表示提出了一种基于现有KGembeddings可以推广到unseed关系的RepresentationAdapter模型。还将SimpleQuestion(SQ)数据集调整为SimpleQuestions-Balance(SQB)这样一来train/test拆分中已知谓词以及未知谓词的分布更加平衡。谈到命名实体识别NER我概述一下Lopez等人s:/arxiv.org/pdf/1906.02505.pdf的文章“双曲空间中的细粒度实体类型。他们使用了一系列可能的实体类型转换为具有后续图形网表示的图形提及了他们构建了一个双
20、曲线嵌入空间可以推断提及的上下文并在很大程度上专门化实体类型。例如假如有一句话“阿加莎克里斯蒂在中出版了一系列小讲那么阿加莎克里斯蒂将不仅被定义为一个人类而且还能识别出她作家的身份。实际上在UltraFine数据集上训练的框架可以细化到三个级别在OntoNotes上结果与SOTA相当。图源Lopezetal.KG嵌入GraphRepresentations也许有人会认为NLP会议不是学习graphrepresentation的最正确场所但你瞧有一堆很有见地的论文试图在构造以及语义上对知识图谱进展编码Nathani等人s:/aclweb.org/anthology/P19-1466介绍了一种基于
21、图注意力网络GAT的知识图嵌入方法该方法考虑了注意机制中的节点以及边缘特征。采用了一种multi-head注意的体系构造并着重研究了学习关系表示。对四个数据集除了WN18RR以及FB15K-237采用NELL-995以及亲属关系进展基准测试可以显著进步SOTA的性能。实际上这种方法比在acl当天介绍的下面的方法要好得多。图源Nathanietal.Bansal等人s:/aclweb.org/anthology/P19-1431提出了一种面向邻域的知识图嵌入技术。聚集来自邻域的消息可以更好地表示在评估中显示的multi-hop关系。在关系预测基准中A2N的表现优于ConvE。但是与上面的方法相比
22、HitsN以及MRRA2N的效果稍差。我鼓励比拟一下训练时间以及记忆消耗*高能数学警告*?Xu以及Li的的文章s:/aclweb.org/anthology/P19-1026与前两篇论文相比有点突出因为他们使用二面体群在KG嵌入中建模关系。本文中的数学知识特别高能要挑战自己啊?因此简而言之二面体群允许对谓词的非交换合成建模例如中o表示矩阵乘法。此外该方法可以对谓词之间的对称关系以及逆关系进展建模就像已经在高级OWL本体中一样。固然传统基准测试的性能与conva相当因为它们主要由Abeliancompositions组成但构建了一个大量使用非Abeliancompositions的族数据集。也就
23、是讲这篇论文确实值得一看但要准备好数学知识储藏。*高能数学警告完毕*Kutuzov等人s:/aclweb.org/anthology/P19-1325描绘一个构建图形嵌入的框架在该框架中它们不是基于向量的间隔函数而是优化基于图形的度量如最短途径并插入定制的节点相似性函数如leacockchodorow。在进步推理速度的同时该方法不能充分利用节点特征以及边缘特征而这些特征被认为是将来的研究方向。亲爱的们我们一起期待吧Stadelmeier以及Pados:/aclweb.org/anthology/W19-4816提出了一个上下文途径模型CPM旨在在传统的KG嵌入方法根底上提供一个可解释层。建议使
24、用两个优化分数途径的校正分数triple以及途径之间的相关性分数即正确信号的强度。Wang等人s:/arxiv.org/pdf/1810.07180.pdf在他们的文章“关于评估KnowledgeBaseCompletion的嵌入模型中讲明了KG嵌入评估中的一个反复出现的问题它们的预测在逻辑上是一致的吗例如在图中我们可能有“RogercantbefriendswithDavid.罗杰不能以及大卫交朋友实例级或者“HumanscantbemadeofWood.人类不可能由木头制成。类级之类的规那么这意味着KG嵌入应该考虑并减少出现此类语句的可能性。他们发现如今大多数的KG嵌入模型都可以将非零概率
25、值赋给相当不实际的triples三元组。总结显然越来越多的人对在各种NLP领域中广泛应用的知识图感兴趣。KGs上的新数据集以及任务出现的频率也越来越高太棒了看看这个工程:/acl2019.org/EN/program.xhtml已经可以完全把闲聊记录下来了。插图选自对应的论文其他照片由本人拍摄。我们下次会议见原文链接s:/medium/mgalkin/knowledge-graphs-in-natural-language-processing-acl-2019-7a14eb20fce8 (*本文为AI科技大本营编译文章转载请联络微信1092722531)福利时刻入群介入每周抽奖扫码添加小助手回复大会参加福利群介入抽奖送礼大会5折优惠票倒计时1天团购还享立减优惠倒计时1天此外伯克利大学名师精华课程移师北京。?动手学深度学习?、亚马逊首席科学家李沐线下亲授深度学习实训营免费GPU资源现场还将限量赠送价值85元的配套书籍一本先到先得。原价1099元限时专享CSDN独家福利价199元识别海报二维码即刻购票推荐浏览2019AIProCon日程出炉你点的每个“在看我都认真当成了喜欢