《信息科学原理知识点第4版.docx》由会员分享，可在线阅读，更多相关《信息科学原理知识点第4版.docx（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、信息科学原理：第一部分：1、信息过程：The Content: Information Processes这个模型指出，人类认识世界和改造世界这个动态的永无停歇的信息活动包括以下一些基本过程：（1）外部世界各种对象不断产生信息的过程（信息源），（2）信息获取（由本体论信息转换为认识论信息）的过程，（3）信息传递（信息在空间和时间上的转移）的过程，（4）信息认知（包括信息的预处理和由信息生成知识）的过程，（5）信息再生（由信息和知识生成智能策略）的过程，（6）信息施效（把策略信息作用于对象和解决问题）的过程，（7）信息组织（系统优化）的过程。2、信息转换: The Content: Inform
2、ation Conversion总结起来，信息、知识、智能之间的关系可以这样来表述：信息是基本资源；知识是对信息进行加工所得到的抽象化产物；策略（狭义智能）是由客体信息和主体目标演绎出来的智慧化身，（广义）智能是把信息资源加工成知识，进而把知识激活成解决问题的策略，并在策略信息引导下具体解决问题的能力。即：信息经加工提炼而成知识，知识被目的激活而成智能。第二部分：1、全信息与香浓信息（Comprehensive Info、Shannon Info）（1）、什么是全信息？ 我们把这样同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息称为“全信息”，而把仅仅计及其中的形
3、式因素的信息部分称为“语法信息”，把计及其中的含义因素的信息部分称为“语义信息”，把计及其中效用因素的信息部分称为“语用信息”。换言之，认识论层次的信息乃是同时计及语法信息、语义信息和语用信息的全信息。（2）、什么是香浓信息？ Shannon 信息论面向通信工程，决定了它在理论上具有强烈的通信特色。Shannon 在“通信数学理论”一文中明确指出：通信系统的基本问题是：在( 统计 ) 噪声背景下 ，在信息接收端近似地或精确地复制发送端发出的信号波形；信号波形的语义与通信工程无关，因而可以被忽略。统计通信理论 + 语法信息理论 = 统计型语法信息传递理论 香农信息实际上是一种统计型语法信息传递理
4、论。只考虑语法信息，不考虑语义信息和语用信息。（3）、香浓信息与全信息的关系 Shannon 信息是一种“统计型的语法信息”，是“全信息”的一种特殊情形。2、认知的基本功能： 信息认知原理本身所关心的主要问题是，要探索各种有效的机制，以便对信息进 行“去粗取精，去伪存真，由表及里，由此及彼”的加工，从大量的原始的信息现象中抽象出具有普遍意义的科学本质，成为可供人们使用的知识。同时，如上所说，在此基础上还要探索各种有效的机制，把知识激活成为解决具体问题的智能策略，发挥信息和知识的效用。 认知有知识生成和知识激活两个主题：人们通过科学实验来发现新的知识（知识生成）；并运用所获得的知识来解决面临的各
5、种复杂问题（知识激活）。3、本体论信息与认识论信息：本体论层次的信息（Ontological Information）定义：某事物的本体论层次信息，就是该事物运动的状态和状态变化方式的自我表述/自我显示。认识论层次信息（Epistemological Information）定义是：主体关于某事物的认识论层次信息，是指主体所感知或表述的关于该事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。4、信息转换的原理：（信息-知识-智能）（information-knowledge-intelligence）总结起来，信息、知识、智能之间的关系可以这样来表述：信息是基本资源；知识是对
6、信息进行加工所得到的抽象化产物；策略（狭义智能）是由客体信息和主体目标演绎出来的智慧化身，（广义）智能是把信息资源加工成知识，进而把知识激活成解决问题的策略，并在策略信息引导下具体解决问题的能力。即：信息经加工提炼而成知识，知识被目的激活而成智能。5、语法信息（Syntactic Information）、语用信息（pragmatic information）、语义信息（semantic information）：我们把这样同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认 识论层次信息称为“全信息”，而把仅仅计及其中的形式因素的信息部分称为“语法信息”，把计及其中的含义因素的
7、信息部分称为“ 语义信息”，把计及其中效用因素的信息部分称为“语用信息”。换言之，认识论层次的信息乃是同时计及语法信息、语义信息和语用信息的全信息。6、形态性知识（Formal Knowledge）、内容性知识（Content Knowledge）、效用性知识（Value Knowledge）： 一切知识，它们所表达的“运动状态和状态变化的规律”必然具有一定的外部形态，与此相应的知识称为“形态性知识”；同时，知识所表达的运动状态和状态变化的规律也必然具有一定的逻辑内同，与此相应的知识可以称为“内容性知识”，最后，知识所表达的运动状态和状态变化的规律必然对认识主体呈现某种效用，几次相对应的知识可
8、以称为“效用性知识”。形态性知识、内容行知识、效用性知识三者的综合，构成了知识的完整概念。7、知识生态（knowledge ecology）与进化：（ppt07(2)第6页开始）知识生态系统表现为两个基本方面，即知识的内部生态系统和知识的外部生态系统。1、 内部生态系统： 图：知识的内部生态系统先天获得的本能知识是一切知识生成的共同基础。 经验知识是整个生态链的第一环，是一类“欠成熟”的知识；欠成熟的经验知识经过科学提炼确证，便成为规范知识，成为一类“成熟的”知识；经验知识和规范知识中的一部分经过普及则沉淀成为常识，这是一类“过成熟的”知识。总之，知识是一个生动的生长过程：在认识论信息的激励下
9、，在本能知识的支持下，后天学习积累的知识不断由“欠成熟”到“成熟”再到“过成熟”，这就是生生不息的知识生长过程。 2、外部生态系统： 图4.3.4 知识的外生态系统一方面，知识是由信息（直接来看是认识论信息，更彻底地看是本体论信息）通过一定的“归纳型学习算法”而生长出来的，与此同时，知识又在目的（更具体地说是目标）的引导下通过一定的“演绎型学习算法”而生长出智能策略（即核心智能或狭义智能）。这就是“知识的外部生态过程”。8、智能（intelligence）的生成过程： 从问题环境中经获取信息并传递后，相应的客体信息到达了处理环节，在这里，客体信息被加工提炼成为相应的客体知识；然后，客体知识与主
10、体的目标信息相结合，产生解决相应问题的智能策略信息，经过传递环节，智能策略信息达到施效环节，或者把智能策略信息转变成为相应的智能策略行为，在智能策略行为的干预下，问题得到解决。 第三部分：1. 知识（knowledge）与信息（information）的联系与区别：知识的定义：知识是认识论范畴的概念，它所表达的是事物的运动的状态和状态变化的规律。信息的定义：本体论信息和认识论信息。联系：知识和信息都关注事物的运动状态，知识是信息的产物。区别：信息描绘事物具体的“状态变化方式”，而知识是抽象的“状态变化规律”。知识，是信息加工的规律性产物。知识是一类高级的、抽象的而且具有普遍适用性的信息，不是普
11、通的、粗糙的、具体的信息。知识必然是一类信息 , 是第二类认识论信息。但是，反过来，信息虽然可以被加工成为知识，但信息却不一定就是知识。2. 信息科学(Information Science)、信息理论(Information theory)、与通信理论(communication theory)的差别。信息科学是以信息作为主要研究对象、以信息过程的运动规律作为主要研究内容、以信息科学方法论作为主要研究方法、以扩展人的信息功能(全部信息功能形成的有机整体就是智力功能) 作为主要研究目标的一门科学。信息科学与shannon信息论的研究面向和目标不同，也就是两者的学科定位不同。由于两者的研究面向和
12、目标不同，就导致两者在研究对象、研究内容和研究方法上都产生了重大的区别。信息论面向通信系统，因此就只需要研究统计语法信息，完全不需要关心其他形式的语法信息，更不需要关心语义信息和语用信息，而且只需要迁就信息传递过程的有关规律；而信息科学面向智能应用，就必须研究全信息，研究信息全过程的规律。因此说，信息理论（信息传递）是信息科学（全过程）的一个部分。通信理论，其实是更加具体的一些内容。如香农提出的通信理论，主要就是探讨如何有效，可靠，安全的将信息从一点传输到另一点，而并不关心信息的内容。3、信息-知识-智能(information-knowledge-intelligence)转换的原理的必要性
13、：总结起来，信息、知识、智能之间的关系可以这样来表述：信息是基本资源；知识是对信息进行加工所得到的抽象化产物；策略（狭义智能）是由客体信息和主体目标演绎出来的智慧化身，（广义）智能是把信息资源加工成知识，进而把知识激活成解决问题的策略，并在策略信息引导下具体解决问题的能力。即：信息经加工提炼而成知识，知识被目的激活而成智能。信息、知识、智能的关系，整好符合人类自身认识世界和优化世界活动过程中由信息生成知识、由知识激活智能的过程：因此，信息-知识-智能转换与统一理论具有重要意义。4、机器学习(machine learning)与信息科学(Information Science)的关系： 不言而喻
14、，机器学习是人工系统获取信息的高级形式。理想的机器学习能力应当能够使人工系统根据自身的目的和环境条件自动地从环境中获取那些有利于达到它的目的的信息。为此，机器必须不仅仅能够感知环境(事物)的运动状态及其变化方式的形式因素，更重要的是，它必须能够理解环境运动状态及其变化方式的含义，能够判断这些状态和状态变化方式对于实现它的目的而言的效用。不仅如此，机器还必须能够懂得它自己的目的是什么 , 明白它自己现在所处的状态以及这个状态与目的状态之间的差别 , 明白应当怎样改变自身的状态或改变环境的状态才能缩小这种差别。这就是说 , 具有这种学习能力的机器系统必定是某种基于全信息利用的系统。显而易见 , 系
15、统利用全信息的能力越强 , 它的学习能力(即获取有用信息的能力) 也越强。即机器学习应当以信息科学为基础，同时又是信息科学的一种表现形式。5、香农信息(Shannon info)论对于通信工程和信息科学的意义：对于通信工程：1、 香农信息论使得通信系统就把注意力集中于简历信息的形式化理论，即语法信息理论，简化了通信工程的研究。2、 同时，香农信息论注意到了通信问题的随机性质，这使得通信理论转向应用统计的非决定论观点，给通信理论的研究带来了新鲜的思想和风格。对于信息科学： 1、香农信息论是一种统计型的语法信息理论，在具体的通信过程中忽略了全信息的语义、语用因素，在特定的问题背景下是可行的。香农信
16、息论是全信息理论的一个子集，是信息科学的一个子集，对于信息科学的通信领域的语法信息的研究作出了巨大的贡献。6、信息获取(information acquistion)的必要性和充分性原理：必要性：世间万物，都在运动；运动的事物，总有自己运动的状态；随着时间的推移，事物运动的状态会依照某种方式放生变化或转移。“事物运动的状态及其变化的方式”就是事物的本体论信息。这就是说，世界无时无刻不在产生本体论信息。人们要想认识世界，首先就必须能够获得事物的本体论信息，并把本体论信息转化为第一类认识论信息，即需要进行信息获取。充分性：信息是事物运动的状态及其变化方式而不是事物本身，因此，信息可以脱离它的源事物
17、而负载于它事物。这是信息可以被感知、被转移、被获取的根据。作为事物运动状态和状态变化方式的本体论信息可以通过与其他事物的相互作用而被后者所感知，条件是后者对前者的运动状态及其变化方式敏感。信息感知的实质是本体论信息向第一类认识论信息的语法信息的转换，它的本质是事物运动状态及其变化方式的载体转换。7、 计算机信息处理和人与动物认知的差异：目前计算机信息处理与人类学习的最大区别在于：人类学习基于全信息，但计算机处理系统原则上还不能真正利用全信息，只能利用语法信息，现有的计算机系统不能理解语义信息和利用语用信息，使用的是“统计凑试”的技术途径。8、如何使用机器学习等智能方法实现信息转换 感知系统感受
18、到环境有关事物运动状态及其变化方式，就产生相应的响应输入给学习与决策系统。学习与决策系统根据目的需求从这些输入中选择出适当的信息，并对这些信息进行加工，形成相应的策略，得到语法信息。然后，可以通过配建一个全信息的知识库。知识库中存有大量的语法信息和语义信息之间的对应关系，就像一部打词典，它把各种各样的笔划结构（字，相当于语法信息）与相应的含义（字义，相当于语义信息）互相对应起来。同时，由于存在一个语法信息会对应多种语义信息的情况，需要一个有很强的“理解子系统”来判定哪种解释更合理、更有用。判定的方式是计算它们的语义信息量和语用信息量，从而把语法信息转化为全信息，即完成了信息的转化。9、知识的生
19、成的本质机制是什么？）能否提出与此不同的知识生成的机制（包括形态性知识生成、内容性知识生成、效用性知识生成、推理和决策性知识生成）和算法。知识的生成有两个基本途径: 一个是从实践中逐步积累 , 把所观察到的现象的共性核心升华成为概念 , 把所积累经验的精华上升成为理论;另一个途径是由已有的知识通过推断产生新的知识。前者是由信息到知识、由具体到抽象的过程，在逻辑上称为归纳；后者是从知识到知识、由抽象到抽象的过程，在逻辑上称为演绎。形态性概念知识生成机制是一类形式对比归纳过程。效用性知识的生成机制：效用性知识可以通过对信息的加工提炼直接得到 , 在一些情况下也可以通过经验推理或理论演绎间接得到。内
20、容性知识生成机制：内容性知识的生成要以形态性知识和效用性知识为前提条件，内容性知识的最简单生成机制是: 直接在形态性知识与内容性知识之间建立一个具有“与逻辑”含义的映射关系:演绎型知识生成就是利用已有的知识来生成新的知识，主要通过推理与决策。10、如何获取语义信息？外部激励刺激人的感觉器官（机器的感知部件），可以得到语法信息。根据已有的经验以及知识储备对其进行大量的测试可以得到语用信息。对获取到的语义和语法信息进行抽象的逻辑演绎（语法信息和语义信息的“逻辑与”）可以获得语义信息。即语义信息不可以直接获得，需要首先获得语法和语用信息，并在此基础上加工得到。下面以机器为例说明如何获得语义信息：机器
21、首先通过感知部件获得语法信息。然后机器查阅知识库（存有大量的语法信息与语义信息之间的对应关系）将语法信息转化为语义信息。对于“一个语法信息可能对应多个语义信息”的情况则需要有一个很强的“理解子系统”来判定哪种解释更合理、更有用。第四部分1、 信息量（amount of information）2、 熵（Entropy）The entropy of a random variable X with distribution p, denoted by H(X) or sometimes H(p), is a measure of its uncertainty. In particular, f
22、or a discrete variable with K states, it is defined by 3、 KL散度(KL divergence)4、 信息增益5、信源编码1、汉明码d+p+12pd表示传输数据位数目，p表示校验位数目。两部分合称汉明码字，通过将数据位与一个生成矩阵相乘，可以生成汉明码字。 2、AMI码0用0表示，1交替地用1和+1、-1表示3、哈夫曼编码霍夫曼（Huffman）编码属于码词长度可变的编码类，是霍夫曼在1952年提出的一种编码方法，即从下到上的编码方法。同其他码词长度可变的编码一样，可区别的不同码词的生成是基于不同符号出现的不同概率。生成霍夫曼编码算法基于一种称为“编码树”（coding tree）的技术。算法步骤如下：（1）初始化，根据符号概率的大小按由大到小顺序对符号进行排序。（2）把概率最小的两个符号组成一个新符号（节点），即新符号的概率等于这两个符号概率之和。（3）重复第2步，直到形成一个符号为止（树），其概率最后等于1。（4）从编码树的根开始回溯到原始的符号，并将每一下分枝赋值为1，上分枝赋值为0。4、曼彻斯特编码5、CMI码CMI（Coded Mark Inversion）码是传号反转码的简称，与双相码类似，它也是一种双极性二电平码。其编码规则是“1”码交替用“11”和“00”两位码表示；“0”码固定地用“01”表示。