《一文看懂自然语言处理.docx》由会员分享，可在线阅读，更多相关《一文看懂自然语言处理.docx（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、一文看懂自然语言处理网络上有海量的文本信息想要处理这些非构造化的数据就需要利用NLP技术。本文将介绍NLP的根本概念2大任务4个典型应用以及6个理论步骤。NLP为什么重要“语言理解是人工智能领域皇冠上的明珠比尔盖茨在人工智能出现之前机器智能处理构造化的数据例如Excel里的数据。但是网络中大局部的数据都是非构造化的例如文章、图片、音频、视频在非构造数据中文本的数量是最多的他固然没有图片以及视频占用的空间大但是他的信息量是最大的。为了可以分析以及利用这些文本信息我们就需要利用NLP技术让机器理解这些文本信息并加以利用。什么是自然语言处理NLP每种动物都有自己的语言机器也是自然语言处理NLP就是在
2、机器语言以及人类语言之间沟通的桥梁以实现人机沟通的目的。人类通过语言来沟通狗通过汪汪叫来沟通。机器也有自己的沟通方式那就是数字信息。不同的语言之间是无法沟通的比方讲人类就无法听懂狗叫甚至不同语言的人类之间都无法直接沟通需要翻译才能沟通。而计算机更是如此为了让计算机之间相互沟通人们让所有计算机都遵守一些规那么计算机的这些规那么就是计算机之间的语言。既然不同人类语言之间可以有翻译那么人类以及机器之间是否可以通过“翻译的方式来直接沟通呢NLP就是人类以及机器之间沟通的桥梁为什么是“自然语言处理自然语言就是大众平时在生活中常用的表达方式大众平时讲的讲人话就是这个意思。自然语言我背有点驼(非自然语言我的
3、背部呈弯曲状)自然语言宝宝的经纪人睡了宝宝的宝宝微博上这种段子一大把NLP的2大核心任务NLP有2个核心的任务自然语言理解NLU|NLI自然语言生成NLG自然语言理解NLU|NLI自然语言理解就是祈望机器像人一样具备正常人的语言理解才能由于自然语言在理解上有很多难点(下面详细讲明)所以NLU是至今还远不如人类的表现。自然语言理解的5个难点语言的多样性语言的歧义性语言的鲁棒性语言的知识依赖语言的上下文想要深化解析NLU可以看看这篇文章?一文看懂自然语言理解-NLU根本概念实际应用3种实现方式?自然语言生成NLGNLG是为了跨越人类以及机器之间的沟通鸿沟将非语言格式的数据转换成人类可以理解的语言格
4、式如文章、报告等。NLG的6个步骤内容确定ContentDetermination文本构造TextStructuring句子聚合SentenceAggregation语法化Lexicalisation参考表达式生成ReferringExpressionGeneration|REG语言实现LinguisticRealisation想要深化解析NLG可以看看这篇文章?NLP的5个难点语言是没有规律的或讲规律是错综复杂的。语言是可以自由组合的可以组合复杂的语言表达。语言是一个开放集合我们可以任意的创造创造一些新的表达方式。语言需要联络到理论知识有一定的知识依赖。语言的使用要基于环境以及上下文。NLP
5、的4个典型应用情感分析互联网上有大量的文本信息这些信息想要表达的内容是五花八门的但是他们抒发的情感是一致的正面/积极的负面/消极的。通过情感分析可以快速解析用户的舆情情况。聊天机器人过去只有Siri、小冰这些机器人大众使用的动力并不强只是当做一个娱乐的方式。但是最近几年度智能音箱的快速开展让大众感受到了聊天机器人的价值。而且将来随着智能家居智能汽车的开展聊天机器人会有更大的使用价值。语音识别语音识别已经成为了全民级的引用微信里可以语音转文字汽车中使用导航可以直接讲目的地老年度人使用输入法可以以直接语音而不用学习拼音机器翻译目前的机器翻译准确率已经很高了大众使用Google翻译完全可以看懂文章的
6、大意。传统的人肉翻译将来很可能会失业。NLP的2种途径、3个核心步骤NLP可以使用传统的机器学习方法来处理可以以使用深度学习的方法来处理。2种不同的途径也对应着不同的处理步骤。详情如下方式1传统机器学习的NLP流程语料预处理中文语料预处理4个步骤下文详解英文语料预处理的6个步骤下文详解特征工程特征提取特征选择选择分类器方式2深度学习的NLP流程语料预处理中文语料预处理4个步骤下文详解英文语料预处理的6个步骤下文详解设计模型模型训练英文NLP语料预处理的6个步骤分词Tokenization词干提取Stemming词形复原Lemmatization词性标注PartsofSpeech命名实体识别NE
7、R分块Chunking中文NLP语料预处理的4个步骤中文分词ChineseWordSegmentation词性标注PartsofSpeech命名实体识别NER去除停用词自然语言处理NLP就是在机器语言以及人类语言之间沟通的桥梁以实现人机沟通的目的。NLP的2个核心任务自然语言理解NLU自然语言生成NLGNLP的5个难点语言是没有规律的或讲规律是错综复杂的。语言是可以自由组合的可以组合复杂的语言表达。语言是一个开放集合我们可以任意的创造创造一些新的表达方式。语言需要联络到理论知识有一定的知识依赖。语言的使用要基于环境以及上下文。NLP的4个典型应用情感分析聊天机器人语音识别机器翻译NLP的6个实现步骤分词-tokenization次干提取-stemming词形复原-lemmatization词性标注-postags命名实体识别-ner分块-chunking往期精彩文章回首总结我整理了一份关于pytorch、python根底图像处理opencv自然语言处理、机器学习、数学根底等资源库想学习人工智能或转行到高薪资行业的大学生都非常实用无任何套路免费提供,加我Q群【856833272】可以以领取的内部资源人工智能题库大厂面试题学习大纲自学课程大纲还有200G人工智能资料大礼包免费送哦扫码加V免费领取资料.