《机器推理系列文章概览：七大NLP任务最新方法与进展.docx》由会员分享，可在线阅读，更多相关《机器推理系列文章概览：七大NLP任务最新方法与进展.docx（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、机器推理系列文章概览：七大NLP任务最新方法与进展|段楠唐都钰周明来源|微软研究院AI头条ID:MSRAsia导读自然语言处理的开展进化带来了新的热潮与研究问题研究者们在许多不同的任务中推动机器推理MachineReasoning才能的提升。基于一系列领先的科研成果微软亚洲研究院自然语言计算组将陆续推出一组文章介绍机器推理在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答、多轮语义分析以及问答等任务上的最新方法以及进展。从规那么方法、统计方法到目前的深度学习方法自然语言处理NLP研究一直处于不断开展以及进化的状态之中并在过去五年度获得了令人瞩目的成果。对于一个拥有充分标注语
2、料的NLP任务例如机器翻译以及自动问答现有的深度学习方法可以很好地对输入以及输出之间的关系进展建模并在分布一样或者类似的测试数据上获得令人满意的效果。然而一旦测试数据所涉及的知识以及领域超出训练数据的范畴之外大多数模型的效果都会一落千丈。这一现象其实不难理解人类在从小到大的成长经过中已经通过各式各样的学习经过掌握了大量的通用知识例如数学知识、物理知识、世界知识、常识知识等。这些知识可以帮助人类在学习新技能或者遇到新问题时进展推理并举一反三。然而绝大多数NLP模型都不具备这样的知识模型因此就不能很好地理解以及解决新的问题。大规模知识图谱例如Satori以及WikiData的出现使得构建基于知识的
3、NLP模型成为可能语义分析SemanticParsing以及知识图谱问答Knowledge-basedQA研究也藉此成为最热门的两个NLP课题。然而由于现有知识图谱对人类知识的覆盖度仍然非常有限基于知识图谱的NLP模型只能精准理解以及处理很少一局部自然语言问题以及任务而对剩余局部无能为力。最近两年度预训练模型例如GPT、BERT以及XLNet的出现极大地进步了几乎所有自然语言处理任务的最优程度。通过在海量文本上进展基于语言模型的预训练和在下游任务上对模型参数进展微调预训练模型可以很好地将从训练数据中学习到的“通用知识迁移以及传递到下游任务中。关于这种“通用领域预训练特定任务微调的新范式整个NL
4、P社区也展开了热烈的讨论预训练模型是否真的学到了“知识它是否可以替代已有的符号化知识图谱它是否具备推理才能带着对上述假设干问题的好奇微软亚洲研究院自然语言计算组的研究员开展了一系列关于机器推理的研究。作为引言本文将对什么是机器推理给出解释并扼要讲明已有NLP方法与机器推理的关系。接下来我们会陆续推出一系列文章介绍机器推理在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答、多轮语义分析以及问答等任务上的最新方法以及进展。机器推理MachineReasoning是指基于已有知识对未见问题进展理解以及推断并得出问题对应答案的经过1。根据该定义机器推理涉及4个主要问题1怎样对输入进
5、展理解以及表示2怎样定义知识3怎样抽取以及表示与输入相关的知识4基于对输入及其相关知识的理解怎样推断出输入对应的输出下列图给出机器推理的整体框架。图1机器推理整体框架对于输入的理解以及表示NLP领域已经积累了大量的研究包括词袋Bag-of-Word模型、句法分析SyntacticParsing模型、词嵌入WordEmbedding模型以及句子嵌入SentenceEmbedding模型等。对于知识的定义不仅开放/特定领域的知识图谱以及常识图谱属于“知识的范畴目前被广泛研究以及使用的预训练模型同样可以看做是知识。这是因为预训练模型的本质就是将每个单词在海量文本中的上下文存储在模型当中。Facebo
6、ok的工作2也从实验角度证明了现有预训练模型对知识图谱以及常识知识的覆盖。对于知识的提取以及表示基于知识图谱的模型通常基于实体链接的结果从知识图谱中找到与输入相关的知识并采用知识嵌入KnowledgeEmbedding的方式对其进展编码以及建模。相比之下基于预训练模型的知识提取那么对应了使用预训练模型对输入文本进展编码的经过。对于基于输入及其相关知识进展推断不同的任务通常采用不同的推断算法。例如在语义分析任务中推断经过对应了生成语义表示的算法。在基于预训练模型的微调方法中推断经过对应了已有预训练模型之上的任务相关层。上述描绘只是对机器推理的一个粗浅解释。在接下来的一系列文章中我们将分别介绍上述
7、机器推理框架在假设干最新推理任务上的详细实现方法以及实验效果包括机器推理系列之一基于推理的常识问答图2我们提出的推理方法XLNetGraphReasoning在以色列特拉维夫大学常识问答任务CommonsenseQA上获得了目前state-of-the-art的结果3。s:/tau-nlp.org/csqa-leaderboard机器推理系列之二基于推理的事实检测图3我们提出的推理方法DREAM在Amazon剑桥研究院事实检测任务FEVER上获得了目前state-of-the-art的结果4。s:/competitions.codalab.org/competitions/18814#resu
8、lts机器推理系列之三基于推理的跨语言自然语言推理图4我们提出的跨语言预训练模型Unicoder在纽约大学跨语言自然语言推理任务XNLI上获得了目前state-of-the-art的结果5。s:/arxiv.org/pdf/1909.00964.pdf机器推理系列之四基于推理的视觉常识推理图5我们提出的跨模态预训练模型Unicoder-VL在华盛顿大学视觉常识推理任务VCR上获得了目前state-of-the-art的结果6。s:/visualcommonsense/leaderboard/机器推理系列之五基于推理的视觉问答图6我们提出的推理方法DREAMUnicoder-VL在斯坦福大学视觉
9、推理以及问答任务GQA上获得了目前state-of-the-art的结果7。s:/evalai.cloudcv.org/web/challenges/challenge-page/225/leaderboard/733机器推理系列之六基于推理的文档级问答图7我们提出的基于BERT的文档建模方法BERT-DM在谷歌文档级问答任务NQ上获得了目前state-of-the-art的结果8。s:/ai.google/research/NaturalQuestions机器推理系列之七基于推理的多轮语义分析以及问答图8我们提出的多轮语义分析以及问答方法Seq2Action在IBM研究院多轮复杂问答任务CS
10、QA上获得了目前state-of-the-art的结果910。参考文献1MingZhou,NanDuan,ShujieLiu,Heung-YeungShum.ProgressinNeuralNLP:Modeling,LearningandReasoning.ToappearinEngineering,2019.2FabioPetroni,TimRocktaschel,PatrickLewis,AntonBakhtin,YuxiangWu,AlexanderH.Miller,SebastianRiedel.LanguageModelsasKnowledgeBases?.EMNLP,2019.3S
11、hangwenLv,DayaGuo,JingjingXu,DuyuTang,NanDuan,MingGong,LinjunShou,DaxinJiang,GuihongCao,SonglinHu.Graph-basedReasoningoverHeterogeneousExternalKnowledgeforCommonsenseQuestionAnswering.ToappearinarXiv,2019.4WanjunZhong,JingjingXu,DuyuTang,ZenanXu,NanDuan,MingZhou,JiahaiWang,JianYin.ReasoningOverSeman
12、tic-LevelGraphforFactChecking.ToappearinarXiv,2019.5HaoyangHuang,YaoboLiang,NanDuan,MingGong,LinjunShou,DaxinJiang,MingZhou.Unicoder:AUniversalLanguageEncoderbyPre-trainingwithMultipleCross-lingualTasks.EMNLP,2019.6GenLi,NanDuan,YuejianFang,MingGong,DaxinJiang,MingZhou.Unicoder-VL:AUniversalEncoderf
13、orVisionandLanguagebyCross-modalPre-training.arXiv,2019.7ChenfeiWu,NanDuan,GenLi,YanzhaoZhou,DuyuTang,XiaojieWang,DaxinJiang,MingZhou.DREAM:DynamicREAsoningMachineforVisualQuestionAnswering.ToappearinarXiv,2019.8BoZheng,HaoyangWen,YaoboLiang,NanDuan,WanxiangChe,DaxinJiang,TingLiu,MingZhou.DocumentMo
14、delingwithGraphAttentionNetworksforMulti-grainedMachineReadingComprehension.ToappearinarXiv,2019.9DayaGuo,DuyuTang,NanDuan,JianYin,MingZhou.Dialog-to-Action:ConversationalQuestionAnsweringoveraLarge-ScaleKnowledgeBase.NeurIPS,2018.10DayaGuo,DuyuTang,NanDuan,MingZhou,JianYin.CouplingRetrievalandMeta-LearningforContext-DependentSemanticParsing.ACL,2019. (*本文为AI科技大本营转载文章转载请联络)精彩推荐倒计时由易观携手CSDN结合主办的第三届易观算法大赛还剩5天冠军团队将获得3万元本次比赛主要预测访问平台的相关事件的PV,UV流量包括Web端挪动端等大赛将会提供相应事件的流量数据和对应时间段内的所有事件明细表以及用户属性表等数据进展模型训练并用训练好的模型预测规定日期范围内的事件流量。推荐浏览知乎算法团队负责人孙付伟