《信息组织中的自然语言.ppt》由会员分享，可在线阅读，更多相关《信息组织中的自然语言.ppt（25页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息组织中的自然语言现在学习的是第1页，共25页一、自然语言的演化与发展 检索语言 广义而言，检索语言包括受控语言和自然语言语言两类语言系统。 狭义而言，检索语言包括规范的受控语言。现在学习的是第2页，共25页检索语言的演化与发展检索语言的演化与发展 前信息检索阶段的自然语言前信息检索阶段的自然语言原生态的自然语言是前信息检索阶段的原始的“检索语言” 。 规范的受控语言规范的受控语言 如分类表、标题表、单元词表、叙词表、分类主题一体化词表 。 受控语言向自然语言受控语言向自然语言“回归回归” 自然语言的应用是以计算机为前提的; 在对词汇控制的科学性上、规范化程度上以及方法上等方面的进步，使自然
2、语言成为现代信息检索，尤其是网络信息检索的主流保障语言。现在学习的是第3页，共25页检索系统中检索语言的应用变化检索系统中检索语言的应用变化 基于印刷型文献的手工检索 以受控语言（分类法、主题法）为主。 基于数据库的计算机检索 受控语言和自然语言结合。 基于网络的信息检索 以自然语言为主。现在学习的是第4页，共25页二、自然语言的优缺点二、自然语言的优缺点优点优点(VS受控语言受控语言)缺点缺点(VS受控语言受控语言)结论现在学习的是第5页，共25页 优点优点可以降低标引难度及成本，从而提高标引速度采用用户熟悉的自然语言，符合用户检索习惯，减少了概念转换中产生的失真现象，专指度强由于自然语言标
3、引检索多采用自动处理方式，省略了编制词表和词汇的智力负担自然语言标引检索入口词多，有利于提高检全率操作简单方便，灵活，比较适合没有专业知识的广大网络用户使用等现在学习的是第6页，共25页缺点缺点 由于自然语言对标引用词不加严格控制，必然会形成非关键性词语的大量出现，影响检准率的提高由于不能反映概念词间的一一对应关系，也不能反映概念关系的隐含性，无法排除同义词、近义词、多义词等词间的模糊现象，势必也会直接影响到检全率的提高现在学习的是第7页，共25页结结 论论 自然语言和受控语言都有各自独特的优点和缺点，不能简单彼此替代，而应当相互补充、交融 针对上述自然语言及其检索中存在的这些问题 一方面要依
4、靠计算机技术和自然语言处理技术的突破发展； 另一方面受控语言的基本原理对词汇的控制，是永远不会被省略的，变化的只是词汇控制的方式、方法和手段。现在学习的是第8页，共25页三、自然语言与自然语言处理三、自然语言与自然语言处理 （一）自然语言处理（一）自然语言处理 （二）自然语言在信息组织和检索中的应用（二）自然语言在信息组织和检索中的应用现在学习的是第9页，共25页（一）自然语言处理（一）自然语言处理 自然语言处理是自然语言得以应用所要解决的首要的核心问题 自然语言处理是人工智能领域的一个重要分支，它主要研究计算机对输入的自然语言文本的分析、理解和生成，旨在建立人与计算机之间友好的交流通道，实现
5、更高层次的信息交互 自然语言处理（Natural Language Processing,简称NLP）是实现自然语言理解的核心基础，是语言信息处理的一个重要分支 自然语言处理追求的目标是计算机是如何来理解一个句子和领会一个文档所要表述的意思现在学习的是第10页，共25页continued由于自然语言十分复杂，人是如何理解语言的，也还是个谜，因此给“理解”下一个定义极其困难 从信息处理的角度看，语言既然是信息的载体，如果计算机实现了机器翻译、自动文摘以及人机会话等语言信息处理功能，则认为计算机具备了理解自然语言的能力。 自然语言处理的核心技术主要是解决自然语言的歧义问题 关键问题：如何建立大规模
6、知识库。 现在学习的是第11页，共25页语言学上对语言的层次划分语言学上对语言的层次划分 第一层次语音和文字，即基本语言信号的构成。 第二层次词法和句法(合称“语法”)，即语言基本运用单位的构成和组合的形式规律。 第三层次语义,即语言所要表达的概念结构。 第四层次语用,即语言与语言使用环境的相互作用。现在学习的是第12页，共25页自然语言处理研究内容的基础部分自然语言处理研究内容的基础部分 语法分析(Syntactic Understanding) 语义分析(Semantic Understanding) 语用分析(Pragmatic Understanding)例如：“汤姆给了玛丽一本大书。
7、”现在学习的是第13页，共25页语法层分析语法层分析 根据语言的语法，单词可以组成不同的词组，词根据语言的语法，单词可以组成不同的词组，词组可以包含不同的角色。组可以包含不同的角色。单词单词角色角色汤姆汤姆人名人名给给动词动词玛丽玛丽人名人名一一冠词冠词大的大的形容词形容词书书名词名词现在学习的是第14页，共25页等级表示语法结构现在学习的是第15页，共25页语义层分析语义层分析语义结构（句子各个部分之间的联系） 现在学习的是第16页，共25页知识装饰下的丰富的语法结构 现在学习的是第17页，共25页扩展的语义结构现在学习的是第18页，共25页计算机产生的语义结构 现在学习的是第19页，共25
8、页语境层分析语境层分析 例1：“Could you turn the light on?”n“语境语义”“Press the light switch.”“句子的语义” “Are you capable of achieving to increase the amount of light?”（句子脱离语言环境，本身的所表示的语义）现在学习的是第20页，共25页 例2：“It is dark in here.”n语境语义“Light is weak here.”n句子语义“Press the light switch. ”现在学习的是第21页，共25页 语义和语境含义之间的匹配 现在学习的是
9、第22页，共25页（二）自然语言在信息组织和检索中的应用（二）自然语言在信息组织和检索中的应用 自然语言检索，从技术上讲，就是将自然语言处理技术应用于信息检索系统的信息的组织、标引和输出 具体地，汉语自动分词和自动标引、单汉字标引、自动文摘、全文检索等都是自然语言在信息组织和检索中的具体应用汉语的机械分词法、单汉字标引(未介入自然语言理解的成分)。基于理解的自动标引技术、自动文摘技术(应用了自然语言理解技术 )。现在学习的是第23页，共25页小结小结 自然语言的演化 自然语言与受控语言的优缺点 自然语言理解 自然语言在信息组织和检索中的具体应用有哪些现在学习的是第24页，共25页结束现在学习的是第25页，共25页