《深度学习在自然语言处理的应用教程文件.ppt》由会员分享，可在线阅读，更多相关《深度学习在自然语言处理的应用教程文件.ppt（55页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、深度学习在自然语言处理的应用深度学习（表示学习）2深度学习（表示学习）3Layer-Wise Pre-Training4Denoising Autoencoder5自然语言交互的时代6大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考7One-Hot 表示One Hot表示在传统NLP中很常用Similarity(dog,cat)=08Word Embedding词向量：单词
2、的分布向量表示（Distributional Representation）词向量表征了单词使用上下文中的句法语义特征One-Hot的字面匹配到DR的语义匹配Similarity(dog,cat)Similarity(dog,the)Similarity(“the dog smiles.”,“one cat cries.”）9无监督训练获得单词的WE-word2vec单词：苹果10无监督训练获得单词的WE-word2vec单词：长颈鹿11无监督训练获得单词的WE-word2vec单字：张12无监督训练获得单词的WE-word2vec单字：雯13无监督训练获得单词的WE-word2vec单字：葱
3、14Word2vecCBOW：15word2vecSkip-Gram:16word2vecCBOW+Hierarchical Softmax17word2vecCBOW+Negative Sampling最大化：st：正例负例18不同粒度语言单元的表示-字符/单字字符上下文向量 英文：捕获构词法中文：捕获字搭配 英文拓展：字符N-Gram 中文拓展：单字N-Gram？19不同粒度语言单元的表示-短语/句子/文档方法一：单词词向量取和（Summrization）很多情况都做此种简化处理过于简单,但是仔细思考有一定道理方法二：单词词向量加权求和Huangs Work权重：类似于IDF方法三：RNN
4、20不同粒度语言单元的表示-短语/句子/文档方法四：Matrix-Vector NN21不同粒度语言单元的表示-短语/句子/文档方法五：卷积神经网络22大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考23RAE(Recursive AutoEncoders)推导短语及句子级别的Word Embedding表示24Neural Tensor Networks表达多个实体之间的
5、关系/两个单词之间某种操作25Neural Tensor Networks26卷积网络（Convolutional Deep Neural Network）全局特征选择与融合/不定长转换为定长表示27大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考28语言模型29语言模型Bilinear-LM30语言模型RNNLM31深度学习用于中文分词-思路132深度学习用于中文分词-思
6、路233深度学习用于中文分词两者思路基本相同基于字的Word Embedding+三层神经网络+BEMS标记序列分类思路2引入全局的Viterbi解码（分类后处理）效果：和主流分词算法效果接近CRF/Maxent+二元特征类似思路同样可以套用到POS/NER/Parser等场景这是利用Word Embedding解决NLP问题最直观的NLP应用思路考虑探索下非标准三层神经网络结构的复杂模型34深度学习用于知识挖掘两大类问题现有知识库的新知识推理CYC,WordNet,FreeNet目前的文献做法大思路基本一致已知实体用Word Embedding表示实体关系用Tensor Network建模后
7、向传播+SGD训练从自由文本中挖掘结构化知识35现有知识库的新知识推理36现有知识库的新知识推理最小化目标函数：正例：负例：37从自由文本中挖掘结构化知识整体结构词法级特征38从自由文本中挖掘结构化知识句子级特征抽取：卷积网络39机器翻译（通用模型）最常见的通用模型：Encoder-Decoder ModelEncoderDecoder语义向量40机器翻译（Encoder-Decoder具体例子）ACL2014 Best Paper：Fast and Robust Neural Network Joint Models Joint Models for Statistical Machine
8、Translation网络结构语言模型翻译模型41机器翻译-很多地方可以引入DL单词对齐短语对齐短语重排序语言模型翻译模型联合模型翻译结果重排序单词对齐42情感计算核心的两个问题句子级的Word Embedding表示前面讲过这个问题如何将情感倾向编码到各级Word Embedding中半监督或者监督学习：通过训练过程将情感倾向编码到WE结构中43Paraphrase(整体框架)S1：The judge also refused to postpone the trial date of Sept.29.S2：Obus also denied a defense motion to postp
9、one the September trial date.Paraphrase的问题：Semantic(S1)=Semantic(S2)?44Paraphrase（RAE）Darling!Im here!Darling!Im here!45Paraphrase（Dynamic Pooling）应用拓展：很明显这个方法可以照搬不动放到应用拓展：很明显这个方法可以照搬不动放到QA问题匹配中问题匹配中（一篇灌水论文就此诞生了！）（一篇灌水论文就此诞生了！）欧式距离：越小越好46DL for IR一种直观的方法47DL for IR一种没那么直观的方法48大纲深度学习简介基础问题：语言表示问题Word
10、 Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考49探讨与思考与传统方法比较DL的优势所在抛掉特征选择步骤简洁地融入语义级特征很多应用可以直接绕过NLP的中间场景比如POS，句法，减少错误累加语言长程依赖容易建模：词向量+卷积网络可以解决语言模型的数据稀疏问题：15-Gram很多场景如果优化速度非常快，方便应用的工程化实用化50探讨与思考目前研究模式中最基础和重要的问题短语、句子、段落、文档级别的有效Word Embe
11、dding表示文档级别表示很多应用直接受益:分类，IR等问题：文档级别采用低维表示，是否丢失细节信息？只能作为辅助手段？句子级别的低维表示很有意义，最关键。如何更能体现“深度”的思想目前还说不上很Deep：WE为主是否有除了“Word Embedding”外更Deep的模式？目前看DL在NLP哪些方面好哪些一般？涉及语义处理的应用：表现好不涉及太多语义的应用：State-of-the-art说明什么？Word Embedding已经把传统ML方法使用特征融合进去了语义级别特征效果体现明显51探讨与思考与CRF的比较及区别与联系CRF:线性 VS DL:非线性CRF:高维离散特征 VS:DL:低维连续特征结论：非线性模型对于低维连续特征有效，对高维离散特征无效DL在推荐系统方面应用方法的思考不成熟的初步思路我个人看好DL在NLP方面的作用与传统方法比有明显优点发展初期：机会多、挑战大NLP方向博士生的黄金时代非常容易想到很多New Idea一把新的锤子，很多钉子可以去敲52广告时间53Thanks!54此此课课件下件下载载可自行可自行编辑编辑修改，修改，仅仅供参考！供参考！感感谢谢您的支持，我您的支持，我们们努力做得更好！努力做得更好！谢谢谢谢