信息与热力学熵毕业论文.doc

《信息与热力学熵毕业论文.doc》由会员分享，可在线阅读，更多相关《信息与热力学熵毕业论文.doc（37页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、本科毕业论文（设计）信息与热力学熵学 院：理学院专 业：物理学班 级：物理081学 号：080701110289学生姓名： 指导教师： 2012年 5 月 30 日贵州大学本科毕业论文（设计）诚信责任书本人郑重声明：本人所呈交的毕业论文（设计），是在导师的指导下独立进行研究所完成。毕业论文（设计）中凡引用他人已经发表或未发表的成果、数据、观点等，均已明确注明出处。特此声明。论文（设计）作者签名： 日 期： 第 III 页 贵 贵州大学本科毕业论文（设计） 目录摘要IIAbstractIII前言1第一章 热力学熵31.1 热力学第二定律31.2 克劳修斯熵41.3 玻尔兹曼熵51.4 克劳修斯熵

2、与玻尔兹曼熵的关系51.4.1 由克劳修斯熵引入玻尔兹曼熵51.4.2 从玻尔兹曼熵到克劳修斯熵71.5 热力学熵在热力学系统中的作用81.6 麦克斯韦妖101.6.1 麦克斯韦妖101.6.2 信息与负熵11第二章 信息的概念和信息度量132.1 信息的概念132.2 信息量与信息熵142.3 信息熵的性质152.3.1 对称性152.3.2 确定性152.3.3 非负性162.3.4 可加性162.3.5 展开性162.4 简单信源的信息熵162.4.1 简单离散信源的信息熵162.4.2 简单连续信源的信息熵17第三章 信息熵与热力学熵之间的关系193.1 由玻尔兹曼熵引入信息熵193.

3、2 由信息熵推导玻尔兹曼熵204.3 由信息熵推导出克劳修斯熵20第四章 信息熵的应用224.1 信息熵对经典计算机的限制224.2 社会财富信息熵24结论29参考文献31致谢32信息与热力学熵摘要信息是被传递或交流的一组语言、文字、符号或图像蕴含的内容。在人类社会里，信息与物质、能量一样，有其重要的地位，是人类赖以生存发展的基本要素。物理学中熵的概念，是现代物理前沿的重要概念之一。熵概念，最初是克劳修斯(1865年)把它作为描写系统的热力学态函数而引入的，并把热力学第二定律表述为熵增原理。1877年，玻耳兹曼等价地引入了统计意义的熵；1943年，薛定谔在题为“生命是什么”的演讲中引入了“负熵

4、”的概念，提出“有机体就是赖负熵为生”的观点;1948年，香农参照熵的玻耳兹曼表示式引入了信息熵;20世纪50年代，布里渊等人在解说麦克斯韦妖诘难时，提出了负熵原理:信息即负熵。本文从热力学熵（克劳修斯熵和玻尔兹曼熵）出发，就熵及信息熵理论作一个简要的介绍，重点介绍如何从物理熵引出信息熵并重点分析克劳修斯熵、玻尔兹曼熵和信息熵之间的相互关系，探讨克劳修斯熵、玻尔兹曼熵和信息熵的物理意义，及其在物理学系统中的作用。关键词 信息，热力学熵，信息熵，麦克斯韦妖Information and EntropyAbstractThe information is to be delivered or ex

5、change of a group of language, text, symbol or image that contains the contents.In human society, information like material and the energy, has its important position.It is the human survival and development of basic elements.The concept of entropy in physics, is one of the most important concepts i

6、n modern physics.The concept of entropy, was originally introduced by Clausius (1865) as a description of the thermodynamic function of state system. And the Second law of Thermodynamics was expressed by the Entropy Increase Principle.In 1877, Boltzmann equivalently introduced the entropy of statist

7、ical significance of.In 1943, Schrodinger introduced the concept of negentropy and put forward the viewpoint of organism depends on negentropy in a speech entitled what is life.In 1948, Shannon referenced the formula of Boltzmann entropy introduced Information entropy. In 1950s, in order to solve th

8、e Maxwell demon interrogate, Brillouin et had put forward the Negentropy Principle: Information is the negentropy.This article ,begin with the thermodynamic entropy (Clausius entropy and Boltzmann entropy),makes a brief introduction to entropy and information entropy theory.And from this article we

9、emphatically introduced how to give out the concept of information entropy from entropy and emphatically analycis relationship of the Clausius entropy, Boltzmann entropy and Information entropy and discussed the physical meaning of Clausius entropy, Boltzmann entropy and Information entropy and thei

10、r important role in the physics system.Key words: information, entropy, Information entropy, Maxwell demon第 32 页 贵 贵州大学本科毕业论文（设计） 前言在热力学与统计物理这门课程中，我们学习到了热力学熵，即物理熵，包括克劳修斯熵和玻尔兹曼熵。热力学熵是物理学中的重要概念更是热力学系统中用来描述热力学系统状态不可缺少的态函数。从克劳修斯熵和玻尔兹曼熵我们分别可以从热力学和统计物理出发把握系统的自然演化的方向，在绝热系统中，系统一定会向熵增加的方向演化。通过热力学第二定律以及克劳修斯熵我

11、们可以得到这个结论，通过等几率原理和玻尔兹曼关系我们也可以得到这个结论。熵在热力学系统中起到了导演的作用，然而熵的概念与作用却远远不止如此。香农为解决信息论中信息量的问题，首次将熵的概念与信息论结合起来，得到了信息熵的概念。通过玻尔兹曼熵的表达式1可以类比得到信息熵的表达式2其中所表示的意思在后面的章节会一一介绍。信息与熵之间的关系的发现是以麦克斯韦妖诘难为开始的，麦克斯韦提出一个由挡板隔开的绝热容器，如果在挡板上开一个小孔，肯定最后系统会朝熵增大的方向进行演化；可是如果在小孔处设置一个开关，开关由一个小妖精控制，这个妖精的能力足够大能够分辨出系统中每个分子的运动速度。当遇到速度大的分子时，它

12、就放行，遇到速度小的分子时，就不放行。这样，最后系统就会出现两边温度不等，出现熵减小，这与热力学第二定律是相违背的。为了解决麦克斯韦妖诘难，吉布斯等人提出了负熵原理：信息即负熵。由此引入了信息与熵之间的关系，也奠定了信息熵出现的基础。根据香农信息论，信息是消除不确定性的量，信息的获得可以让我们确定某个事件的发生，所以我们需要了解的系统的信息量的多少与这个系统的不确定性有之间关系，而熵概念正好是系统不确定性的度量。所以认为系统的信息量即系统信息熵的增量的负值，这便是完整的负熵原理的表述。信息熵的出现为定量描述信息量成为可能，对信息论的发展起到了重要的作用。由于热力学系统也可以看成是一个信息系统，

13、所以热力学熵可以可看成是一种特殊的信息熵。我们可以发现，完全可以由热力学熵推广到信息熵概念，而热力学熵完全可以通过信息熵的概念加上热力学与统计物理的基本假设和条件推导得到。并不是仅仅热力学系统可以看成是一个信息系统，在自然科学和社会科学中，有数不尽的系统都可以看成是一个信息系统，所以信息熵可以应用与自然科学和社会科学的各个领域之中，这也是信息熵概念之所以非常重要的原因。要想很好地认识信息熵，就必须从它的起源，它与热力学熵之间的关系，以及的它的一些重要的应用开始，而本文所做的正好便是这些。第一章 热力学熵1.1 热力学第二定律在热力学第一定律被发现之后，克劳修斯（1850年）和开尔文（1851年

14、）分别审查了卡诺的工作，从而分别发现了热力学第二定律。他们提出的热力学第二定律的表述分别如下1：克氏表述：不可能把热量从低温物体传到高温物体而不引起其他变换。开氏表述：不可能从单一热源吸热使之完全变成有用的功而不引起其他变化。 对于热力学第二定律克劳修斯和开尔文有着不同的表述，然而这两种表述是完全等价的。根据卡诺定理，工作于两个一定温度之间的任何一个热机的效率不能大于工作于这两个温度之间的可逆热机的效率。因此热机的工作效率： （1.1）其中等号适用于可逆热机。对于不可逆热机，上式应取不等号。因为（1.1）式中的都是正的，所以有 （1.2）注意式（1.2）中的是从热源中吸收的热量，是向热源放出的

15、热量。我们把也定义为从热源吸收的热量，就可以把式（1.2）写成： （1.3）上式被称为克劳修斯等式和克劳修斯不等式。可以将克劳修斯等式和不等式推广到有n个热源的情形，假设一个系统在循环过程中与温度为的n个热源接触，从这n个热源分别吸收的热源，可以得到： （1.4）其中等式表示可逆过程，不等式表示不可逆过程。对于一个更普遍的循环过程，应把式（1.4）中的求和号改为积分号，有： （1.5）是系统从温度为的热源吸收的热量。同样，式（1.5)中的等式使用于可逆过程，不等号适用于不可逆过程。这便是热力学第二定律的数学表达式。1.2 克劳修斯熵根据上节式（1.5），对于可逆循环过程，有： （1.6）式（1

16、.6）表示循环过程中任意两个态A到B的可逆过程的积分与积分路径无关。克劳修斯根据这个性质引进态函数熵，定义为： （1.7）其中A和B是系统的两个平衡态，积分沿由A态到B态的任意可逆过程进行。对（1.7）式取微分，得到： （1.8）式（1.8）给出了在无穷小的可逆过程中，系统的熵变dS与其温度T及其在过程中吸收的热量的关系。这就从微分角度得到了熵的定义。根据热力学第一定律，对于简单系统，有。根据热力学第二定律，在可逆系统中有，所以有： （1.9）或 （1.10）对于克劳修斯等式和不等式，我们可以得到： （1.11）绝热系统在过程中，系统与外界没有热量的交换，即，由（1.11）式得： （1.12）

17、式（1.12）指出，绝热系统的熵永不减少。这就是熵增加原理，由此我们得到了热力学第二定律的熵表述1。1.3 玻尔兹曼熵1896年玻尔兹曼(Boltzmann)建立了熵S和系统宏观态所对应的可能的微观态数目(即热力学概率)的联系: .1900年普朗克(Planck)引进了比例系数k称为玻尔兹曼常量，写出了玻尔兹曼普朗克公式: （1.13）（1.13）式称为玻尔兹曼关系，所定义的熵称为玻尔兹曼熵，或统计熵。玻尔兹曼关系表明了熵S是同热力学概率相联系的，玻尔兹曼关系给熵函数以明确的统计意义。从式（1.13）可以发现熵是混乱度的量度，某个宏观状态对应的微观状态数越多，它的混乱度就越大，熵也越大。玻尔兹

18、曼熵揭示了宏观态与微观态之间的联系，指出了热力学第二定律的统计本质:熵增加原理所表示的孤立系统中热力学过程的方向性，正相应于系统从热力学概率小的状态向热力学概率大的状态过渡，平衡态热力学概率最大，对应于S取极大值的状态;熵自发地减小的过程不是绝对不可能的，不过概率非常小而已。1.4 克劳修斯熵与玻尔兹曼熵的关系1.4.1 由克劳修斯熵引入玻尔兹曼熵由统计物理有玻尔兹曼分布为 （1.14）引入粒子配分函数： （1.15）系统的粒子总数： （1.16）内能是系统中粒子无规则运动总能量的统计平均值，所以有内能的统计表达式： （1.17）系统在过程中，通过做功和热量传递两种方式与外界交换能量。在无穷小

19、过程中，内能的变化与外界对系统所作的功及系统从外界吸收的热量之间的关系为： （1.18）如果过程是准静态的，可以表示为广义力做功的形式，其中dy是外参量的该变量，Y是y相应的外界对系统的广义作用力，其中： （1.19）在无穷小的准静态过程中，熵的微分表达式为： 通过理想气体模型，我们可以得到，此即为玻尔兹曼常数。积分得到 （1.20）将式（1.16）取对数，得到将上式代入式（1.20），有 （1.21）由玻尔兹曼分布可得代入式（1.21）可得 （1.22）而分布所对应的微观状态数可以表示为1上式代入式（1.22），便可以得到 （1.23）式（1.23）即为玻尔兹曼关系1。1.4.2 从玻尔兹曼

20、熵到克劳修斯熵上节我们完成了有克劳修斯熵到玻尔兹曼熵的推导，现在我们来通过玻尔兹曼熵推导出克劳修斯熵2，3。假设孤立系统以y为唯一外参量，那么孤立系统的熵都可以由式（1.23）表示，对式（1.23）微分，得到 （1.24）对S的全微分又可以写成： （1.25）可以令 式（1.24）便可写为 （1.26）比较式（1.25）和是（1.26）有 （1.27）讨论的意义，需要考虑有同种组元、单粒子系统并由两个子系统构成的孤立系统。由熵增加原理可以证明：相平衡条件、热平衡条件和力学平衡（热平衡条件下）条件分别为 考虑到热平衡定律只与温度有关，可以取 即 （1.28）又因为力学平衡只与外参量有关，可以取

21、即 （1.29）将式（1.28）、（1.29）代入是（1.26）得到 （1.30）式（1.30）便是克劳修斯熵的表达式。1.5 热力学熵在热力学系统中的作用由克劳修斯不等式1：及热力学第一定律1： 对于简单的理想气体有1：在绝热热力学系统中,可以得到系统的内能、焓、自由能、吉布斯函数的微分不等表达式为: （1.31） （1.32） （1.33） （1.34）由（1.31）式可知在等熵等容系统中，内能增量小于等于0，及系统朝内能减小的方向进行演化，稳定平衡态系统的内能最小；由（1.32）式可知在等熵等压系统中，系统的焓H的增量小于等于0，系统朝焓减小的方向进行演化，稳定平衡时系统的焓最小；由（1

22、.33）式可知在等温等容系统中，系统的自由能永不增加，系统朝自由能减小的方向进行演化，稳定平衡时系统的自由能最小；由式（1.34）可知在等温等压系统中，系统的吉布斯函数永不增加，平衡时系统的吉布斯函数最小，系统朝吉布斯函数减小的方向进行演化。同理，我们可以得到：在的情形下，系统朝温度减小的方向进行演化；在等等系统中，系统的平衡时最小；在不变的系统中，平衡态的最小；在系统中，系统向减小的方向进行演化。从上面的分析我们可以看到，在一定的条件下，系统都是朝一个特定的方向进行演化，最后达到一个平衡态。而这个方向所遵循的法则就是熵增加原理或是有熵增加原理直接推导出来的其他法则，最后达到的平衡态就是熵最大

23、状态或是有熵最大推导出的其他量最大或最小的状态。玻尔兹曼公式（1.13） 揭示了熵的统计意义，从玻尔兹曼公式中我们可以发现宏观热力学系统所对应的系统微观状态数越多，熵也就越大，这表明熵是系统混乱程度的度量。由等几率原理我们可以知道微观状态数越多的宏观系统所出现的概率越大，系统应该由概率小的宏观状态向概率大的宏观状态演化。这就从统计物理上解释了为什么会有熵增加原理和热力学第二定律。从上述的分析我们可以发现，热力学熵在热力学系统中扮演着导演的角色，任何系统的演化都必须遵循熵增加原理或者遵循根据熵增加原理演变得来的法则。1.6 麦克斯韦妖1.6.1 麦克斯韦妖根据热力学第二定律，孤立系统达到热平衡状

24、态时，系统的熵为极大值，而且不会自发地减小。但麦克斯韦在热的理论这本书中指出它的局限性:热力学所确定的最可靠的事实之一是一个封闭且绝热系统，温度和压力处处保持均匀相等。如果不做功的话，就不可能会产生温度与压力的不均匀性，这便是热力学第二定律。如果我们只与大量的物质打交道，而且没法辨识和处理组成它的每个分子，这肯定是正确的。但是如果我们假设有一个生灵，它的器官能敏锐到足以追踪系统中每个运动的分子。虽然这个生灵的本领仍然和我们一样有限，但它能够做出我们所做不到的事情。虽然任取大量分子求得的平均速度是均一的，但我们己经发现处于等温状态装满气体的容器之中，分子的速度并不相同。现在我们假设容器分为A、B

25、两部分（如图1.1），在界壁上留一个小孔，而由一个能够追踪到单个分子的生灵控制这一小孔的开关，只令快速的分子从A进入B，而慢速的分子从B进入A。这样它不需要做功便可以使B的温度升高，使A的温度降低（如图1.2），使得系统的总熵减小，这与热力学第二定律是矛盾的4。热力学第二定律无疑是正确的，但是麦克斯韦妖诘难对热力学第二定律提出了挑战，单凭热力学第二定律是无法解决这个问题的。图 1.1 麦克斯韦妖图 1.2 系统熵减少为解决麦克斯韦妖诘难，许多科学家作出了不同的解说，其中以吉布斯解说影响最大。在麦克斯韦妖操作过程中，首先它要能看得见运动的分子，并且能够判断其运动的速度。布里渊认为这不可能依赖腔体

26、内的黑体辐射，因为按照基尔霍夫的辐射定律，腔体内的辐射是均匀的，要看到分子，必须要有另外的光照到分子上，光将被分子所散射，而被散射的光子为麦克斯韦妖的眼睛所吸收。这一过程涉及到了热量从高温热源向低温热源转移的不可逆过程，导致系统的熵增加。信息的取得过程会导致系统熵的增大，而操作闸门减少系统的熵，就数量而言，后者无法超过前者。所以这两个过程的总熵还是增加的。布里渊认为有关熵减过程，是由于信息对麦克斯韦妖的作用引起的，所以信息应视为系统熵的负项，即信息即负熵。正是这个负熵的作用，才使系统的熵减小，但如果包括所有的过程，总熵依然是增加的，这充分说明了它并不违背热力学第二定律。1.6.2 信息与负熵从

27、上小结我们知道，为了解决麦克斯韦妖诘难，在20世纪50年代，布里渊等提出了新的负熵原理：信息即负熵。麦克斯韦妖没有通过做功和热传递的形式改变了孤立系统的熵，系统的熵减小了。麦克斯韦妖只是通过信息对系统进行了干预，使得系统的熵减小，也就是说信息相当于一个与熵变化相反的物理量，也就是“负熵”。众所周知，绝热系统的熵增加原理通常被表示为，其实完整的熵增加原理应该表述为5 （1.35）式（1.35）左端的积分为产生熵的过程量产生熵，其中为在单位体积单位时间内熵的产生，即熵的产生律。对时间和体积的积分则表示为系统中熵的增加。对于开放的系统，我们可以把熵变的公式写为5： （1.36）式（1.36）中为系统

28、熵的产生，为开放系统的熵流，其中为熵流密度。当时，熵从外部流入系统，系统的总熵增；当时，熵从系统流出到外部，熵流被称为负熵流，系统的总熵增；当时，没有熵流，熵变公式（1.36）回到式（1.35）。麦克斯韦妖正是通过信息的方式，向系统注入负熵流，使得系统的熵减小。第二章 信息的概念和信息度量2.1 信息的概念信息是现代通信理论的基本概念，因为人们对信息这个概念的理解和认识的角度不一样，所以人们对信息的定义也就不同。信息所涉及的范围十分广泛，它不仅包括所有的知识，还包括通过我们所能感觉到的一切。例如：新的科学成果、报纸上的新闻、市场上的各种行情、天气预报甚至是一幅画、一张照片等都是信息的范畴。比如

29、，从图（2.1）中我们可以看到一个美女，这便是我们得到的信息，当然我们还可以得到更多具体的信息，比如说蒙娜丽莎没有眉毛等。可以说信息深入到我们社会、生活中的每一件事情当中，成为我们社会和生活中不可或缺的一部分，我们是生活在信息的汪洋大海之中。图 2.1 蒙娜丽莎很明显信息是要以相互联系为前提的，没有联系就无所谓信息，联系的一端发出信息，而另一端接受信息。发出信息的一端被称为信息源，任何事物都可以作为信息源，事物的特征和状态是潜在的信息，信息的储存不过是延迟了的传输。这就表示信息只是一种相对的概念，信息必须依附与一定的载体而不能够单独存在。正如维纳所说的那样：“信息就是信息，不是物质，也不是能量

30、。不承认这一点的唯物论今天就不能存在下去。”信息是独立于物质和能量之外的另一个物理量，它是物质和能量在时空分布的一种体现，是系统状态组织化程度的一种标志，信息是不能够离开物质和能量而独立存在的。2.2 信息量与信息熵从上节的介绍我们可以发现,信息有这不同的表现形式，而且不同的信息传递着不同的内容。两条相同性质的信息，虽然传递的内容和形式都是一样的，但是它们所携带的信息量可能是不同的，那么我们如何来度量信息的信息量呢？从物理学的角度来看，通过接收到信息我们可以确定一件事情，在接收到信息之前对于这件事的发生我们是不确定的，所以信息是消除系统不确定性的，而通信的直接目的也就是接收端消除信源可能发生的

31、那种不确定性。在通信中，我们能够消除多少系统的不确定性，便是能够获得多少信息量。与此正好相反，一个系统的熵正好能够定量地描述这个系统的不确定性。从负熵原理中，我们可以知道，信息的获取使得系统的熵的减少。所以获取的信息的量表示为系统的熵的减少，即系统熵增的负值其中表示获取的信息量，表示信息系统熵的增加。这样，信息量的计算就变成了信息系统的信息熵的变化的计算。为了定量描述信息的信息量，1948年香农(Shannon)发表了通信的数学理论，使用概率方法，奠定了现代信息论的基础.并参照玻尔兹曼熵的表达式引入了信源的信息熵的概念: （2.1）它代表了信源输出后每个消息所提供的平均信息量，或信源输出前的平

32、均不确定度.其中，为信息源第个信息基元出现的概率.在 1957年，詹尼斯(Jaynes)将信息熵引入统计力学，并且提出了最大信息熵原理.其中詹尼斯把信息熵定义为： （2.2）定义只比仙农熵的原定义式差一比例系数，式（2.2）中表示系统的第个微观状态出现的概率2。定义（2.1）是定义（2.2）的特殊情况，还有更多的信息熵的定义，但其实都是定义式（2.2）的特殊情况，当（2.2）式中的k取不同的值时，H取不同的单位6：当时，二者相等，H单位称“比特”；当时，H单位称为“纳特”；当时，H的单位称为“哈特莱”。式（2.2）表示的是离散信源的信息熵，通过推广，将求和变为积分，我们可以得到连续信源的信息熵

33、7： （2.3）其中为连续信源发生的概率密度。因为信息熵就是对信源不确定性的描述，而信息是系统有序度的量度，所以，我们用信息熵或来计算系统的信息量。2.3 信息熵的性质2.3.1 对称性 信息熵的对称性可表述为:设某一概率系统中n个事件的概率分布为，当对事件位置的顺序进行任意变化后，得到新的概率分布为，那么下式关系成立8： （2.4）信息熵的对称性表示概率系统中事件的顺序虽不同，但概率系统的信息熵是不变的，即信息熵与事件的排列顺序无关。2.3.2 确定性信息熵的确定性可以表述为：信息系统中，如果任一事件发生的概率为1，那么其他的事件发生的概率就为0.那么这便是一个确定的系统，对于这样的系统我们

34、有以下关系成立8，9： （2.5）信息熵的确定性表示如果信源中只要有一个事件是必然事件，那么，信源中每个事件对熵的贡献都为0，总熵也就为0.2.3.3 非负性信息熵的非负性表示下式成立8上式取等号的条件是p是一个确定性的分布。2.3.4 可加性信息熵的可加性可以表述为：如果概率事件可以分解为概率为的两个事件之和，则有82.3.5 展开性信息熵的展开性可以表述为：假设某个系统的概率分布为，那么系统的信息熵有展开性9：由这个性质我们可以经一步展开为：在此基础之上，我们还可以得到信息熵更多的性质。2.4 简单信源的信息熵2.4.1 简单离散信源的信息熵简单离散信源的信息熵可以直接通过信息熵公式（2.

35、2）求得，下面举一个简单的例子。假设有一个简单的离散信源其概率分布为那么这个信源的信息熵可以计算为：取则单位为比特。2.4.2 简单连续信源的信息熵简单连续信源的信息熵可以通过连续信源信息熵公式（2.3）而求得。假设一个简单的模型，连续信源分布可以表示为一次函数其中，将上式归一化得到分布密度函数求得，那么信源分布密度函数表示为 （2.6）其图像如图（2.2）所示图 2.2 函数将式（2.6）代入到（2.3）式中，便可以得到这个信息源的信息熵取，得到信息熵为 第三章 信息熵与热力学熵之间的关系在这一章里，我们将讨论信息熵与热力学熵之间的关系：如何通过热力学熵引入信息熵，并通过信息熵推导出玻尔兹曼

36、熵和克劳修斯熵。3.1 由玻尔兹曼熵引入信息熵我们从式（1.13）知道系统的玻尔兹曼熵同系统的微观状态数之间的关系为：其中为系统在该宏观状态下的微观状态数，假设每个微观状态出现的概率是相等的（即等几率原理），则个微观状态中任何一个状态出现的概率为： （3.1）将式（3.1）代入式（1.13）得到玻尔兹曼关系为 （3.2）将（3.2）式进一步化简由于每个状态出现的概率是相等的所以有 （3.3）式（3.3）便是具有信息熵形式的公式10。但是，注意这并不是信息熵，因为这里用到了一个各个微观状态等几率出现的假设。将上式推广到一般的非等几率情况，便可以得到一般离散信源的信息熵 （3.4）将离散信源推广到

37、连续信源情况，只要将求和变成积分： （3.5）其中为连续信源发生的概率密度。3.2 由信息熵推导玻尔兹曼熵由上节我们可以发现玻尔兹曼熵只是信息熵的一种特殊情形，由于统计力学中系统的微观状态数虽然是非常大，但仍然是有限的，所以可以将统计系统看成是离散信源情形。那么，系统的信息熵应选用离散信源的信息熵，即式（3.4）。系统的微观状态应满足等几率原理，即系统的各个微观状态出现的概率应是相等的。假设系统有个微观状态，则与几率之间的关系为 将上式代入式（3.4）得 （3.6）式（3.6）即为玻尔兹曼熵。从这个推导我们可以发现，玻尔兹曼熵其实就是等几率情况下的特殊的信息熵。4.3 由信息熵推导出克劳修斯熵

38、对信息熵表达式（3.4），再加上能量守恒和几率归一的约束条件： （3.7） （3.8）由拉格朗日条件极值及最大信息熵原理，可得正则分布函数2 （3.9）其中为正则配分函数 （3.10）将式（3.9）和式（3.10）代入式（3.4）那么有 （3.11）由正则系综的内能和压强可以表示为 （3.12）将对式（3.12）微分并将（3.11）式代入得到 （3.13）由热力学第一定律有即 （3.14）将式（3.14）和代入公式（3.13）得到 （3.15）式（3.15）便是克劳修斯熵的表达式。通过第一章第1.4节和本章的分析，我们可以发现信息熵的概念和含义比玻尔兹曼熵和克劳修斯熵要广，信息熵是热力学熵（克

39、劳修斯熵和玻尔兹曼熵）的推广。对于热力学过程中，系统的信息熵就表现为热力学熵。而玻尔兹曼熵的概念也比克劳修斯熵的概念要广，我们通过玻尔兹曼熵可以推导出克劳修斯熵，而玻尔兹曼熵只能够通过克劳修斯熵的推广而得到。这三种熵之间的关系可以表示为第四章 信息熵的应用在自然科学和社会科学的各个领域中,存在着大量的不同层次、不同类别的随机事件的集合,每一种随机事件的集合都具有相应的不确定性或无序度11。在这里,无序度系指客观事件或系统组成要素之间无规则的联系和转化的程度,而所有这些不确定性或无序度都可以用信息熵这个统一的概念来描述，而所有的熵都可以通过信息熵来统一描述。所以，信息熵在自然科学和社会科学的各个

40、领域都有着广泛的应用。4.1 信息熵对经典计算机的限制1965年，英特尔创始人之一戈登摩尔经过长期的观察发现摩尔定理：每个芯片大体上包含其前任何两倍的容量，每个芯片的产生都是在前一个芯片产生后的18至24个月内产生。如果按这个趋势继续的话，计算能力相对时间周期将呈指数式上升，那么在26年的时间里，芯片的晶体管数量增加了3200多倍。下面我们将从信息熵的角度来说明这个是不可能的。首先，我们从单分子热机开始介绍Landauer原理，即擦除一个比特的信息要消耗能量12。在宏观层面上破坏热力学第二定律是不可能的，因为要区分大量分子的个体速度是非常困难的。 这个佯谬的提出只是表明热力学第二定律的原则上只

41、能描述大量粒子组成的宏观物体，是一个统计性的原理，不能简单地应用到有限粒子系统。图 4.1 单分子热机首先我们要计算单分子热机在不同的状态下的信息量，如图（4.1）单个粒子，在整个容器中自由存在，还是只能在右边，有着不同的信息熵。通过信息熵公式（2.2）可以分别计算图（a）和图（b）的信息熵。将粒子所在的空间分成左右两部分，在图（a）中，单个粒子出现在左右两个空间内的概率相等，各为1/2，那么信息熵为 （4.1）在图（b）中，单个粒子出现在右边，即粒子出现在左边的概率为0，出现在右边的概率为1，信息熵为 （4.2）我们认为图（a）中，没有信息量，那么通过信息量与信息熵之间的关系，我们可以发现图（b）中信息量为。由第二章2.2节与信息量的关系，我们取，单位为比特，那么图（b）的信息量为（比特）。现在我们来讨论信息量与能量之间的关系，如图（4.1），由（a）到（b）是通过麦克斯韦妖信息干预的方式得到，即得到一个信息；（b）状态与（c）状态的信息量是一样的，从（c）状态到（d）状态是单分子热机做功的过程，（d）状态与（a）状态的信息熵是一样的，这就表示，通过单分子做功，又回到原来的状态，单