《[原创]用冯向军知觉模型实现HARTLEY信息biv.docx》由会员分享，可在线阅读，更多相关《[原创]用冯向军知觉模型实现HARTLEY信息biv.docx（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、原创用冯向军知觉模型实现HARTLEY信息、香侬信息、复杂度信息、本质信息、KULLBACK相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一(待续)冯向军2006/01/29 于 美国(甲)信息最终要被信息接受者所反映。这就是为什么冯向军要在WEBER-FECHNER的基础上建立起更一般的知觉模型deltaS = a(deltaOS/ OS) + b(deltaOS) (1)这其中a、b为待定常数。OS为某种客观的刺激；deltaS 为因客观刺激的变化而引发的感官变化；a(deltaOS/ OS) 是因客观刺激的相对变化而引发的感官变化；deltaOS是因客观刺激的绝对变化(或相对于
2、某种不变的客观标准的变化)而引发的感官变化；通过这些日子的讨论，我已逐步展示确实可以用上述模型来实现HARTLEY信息、香侬信息、复杂度信息、本质信息、KULLBACK相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一。(乙)(一)我们从WEBER-FECHNER对数律推导出广义的相对信息的一种一般形式，从冯向军的知觉模型得到了更一般的形式.现在再把视野稍微扩展一点。把U视为刻划与信息有关的不确定性，复杂性，可区分性.的某种参数.我们诚恳地认为，几乎所有比较流行的信息测度模式均可归于如下方程、定律、模型(A)RI = log2 (U/Ub) (1-1)(广义相对信息的一种一般形式)(B
3、)REs = p1* log2(U1/Ub) + p2* log2(U2/Ub) +.+ pn* log2(Un/Ub) (2-1)(具有单独可变门槛Ub的广义相对熵。)REm = p1* log2(U1/Ub1) + p2* log2(U2/Ub2) +.+ pn* log2(Un/Ubn) (3-1)(具有多种可变门槛的广义相对熵。)(C)WEBER-FECHNER对数律delta S = a(deltaU/U) (4-1)(D)冯向军的知觉模型delta S = a(deltaU/U) + b(deltaU) (5-1)这其中 U为描述与信息密切相关的不确定性，复杂性，可区分性.的某种参
4、数，Ub, Ub1,Ub2,.Ubn为这种参数的可控达门槛。p1, p2, .pn是一概率分布，p1 + p2 +.+pn =1(二)现举例说明。当 U 为 1/p, 而p为符号的概率， Ub = 1/max(p) =1，按(1-1)我们就有RI = log2 (1/p) (1-2)这RI就是汉明先生给出的信息的工程定义。当 U 为 张学文玻尔兹曼状态数W，而Ub = min(W) =1， 按(1-1)我们就有RI = log2 (W) (2-2)这RI就是张学文广义集合的一种很好的复杂度。当 U = 1/N， 而N为N种可能性， Ub = 1/min(N) = 1，按(1-1)我们就有RI
5、= log2 (N) (3-2)这RI就是HARTLEY信息。当 Ui = 1/pi, pi 为符号i的概率， i = 1，2， ., nUb = 1/max(p) = 1, 按 (2-1)式就有REs = -p1log2 (p1) -p2log2(p2) -.-pnlog2(pn) (4-2)这REs就是SHANNON信息熵。当 Ui = pi, pi 为符号i的概率， i = 1，2， ., nUb = 1/n, 按 (2-1)式就有REs = log2 (n) - p1log2 (p1) -p2log2(p2) -.-pnlog2(pn) (5-2)这REs就是于宏义先生的风险熵，我称之
6、为聚集熵。(表面两者矛盾，实际上在不同条件下两者在某种程度上相通。)当 Ubi = 1/pi, 而Ui =1/qi，qi是另一概率分布，i = 1，2，.,n，按 (3-1)式就有REm = p1log(p1/q1) +p2log(p2/q2) +.+ pklog(pk/qk) (6-2)这REm就是Kullback-Leibler 相对熵。当 U = 混淆概率 Q(Aj/xi), Ub= Q(Aj), 按(1-1)就有鱼罩子广义互信息RI = I(xi, Aj) = log2(Q(Aj/xi) /Q(Aj) (7-2)当 U = 观控隶属域f(I)，Ub = 任意指定的门槛隶属域fb，按 (
7、1-1)就有观控互信息GKI(xi,I) = log2( f(I/xi)/fb ) (8-2)当pi = p(xi/zk), Ui =Qk(xi/zk), Ubi =Q(xi), 按 (3-1)就有鱼罩子广义Kullback公式REm = p(x1/zk)log2 (Q(x1/zk)/Q(x1) +p(x2/zk)log2 (Q(x2/zk)/Q(x2) +.+p(xn/zk)log2 (Q(xn/zk)/Q(xn) (9-2)互信息不过是对广义相对信息RI求2次数学期望而已。于宏义先生的观控隶属度和我的观控隶属域新公式都能从WEBER-FCHNER感觉模型和冯向军的知觉模型推出. 我的本质信
8、息也可以从冯向军的知觉模型推导出来。.附录 信息熵的基本数学性质 信息熵的基本数学性质的简单数学证明 定理1.2.1 当 正数 p -0, p*log(p) - 0 证明： 将p*log(p)写成 log(p)/(1/p), 当p-0用 罗必塔法则求导，即有 log(p)/(1/p) -( 1/p)/(-1/p2) -p-0. 证毕。 定理1.2.2 对于两个事件组成的分布，若其中一个事件(符号)的概率为p, 那么信息熵 H = -pLOG(p) -(1-p)LOG(1-p), H取最大值1比特，当且仅当 p = 0.5。 当p-0或1，H取最小值0。其中LOG表以2为底的对数。 证明： 对于
9、两个事件组成的分布，当其中一事件的概率为p, 则另一事件的概率为1-p. 于 是按信息熵H的定义 H = -p*LOG (p)-(1-p)*LOG (1-p) 考虑到不等式 loge (x) 0均成立，且等号只在x = 1成立，有 H -1=H - LOG(2) = p*LOG(1/p) + (1-p)*LOG(1/(1-p) +(p +1-p)LOG(1/2) =p*LOG(1/(2p) + (1-p)*LOG(1/(2(1-p) =lOG(e) p*( 1/(2p) -1) +(1-p)*(1/(2(1-p) -1) =LOG(e) 1/2 -p + 1/2 -(1-p) = lOG(e)
10、1- p-1+p =0 所以 H 0, 按定理1.2.1, H=0; 当 p-1,按定理1.2.1, H=0. 证毕 定理1.2.3 对于任何 x 0, 恒有 loge (x) 0, 定义函数 f = loge(x) -x +1 则有 df /dx = 1/x -1 令 df /dx = 0 则有极值点 x = 1 但是，当 x = 1时 二阶导数 d2 f / d2 x = -1/x2 0 所以 x = 1 是极大值点。 有 f = loge(x) -x +1 = loge(1) -1 + 1 = 0 或 loge(x) = x - 1 且 等号仅在 x = 1 时成立。 证毕 定理 1.2
11、.4 对于 满足 x1+x2+.+xq =1; y1+y2+.+yq= 1 的两组概率分布 xi, i=1,2,.,q 以及 yi, i = 1,2,.,q 恒有 x1*LOG(y1/x1) + x2*LOG(y2/x2) +.+xq*LOG(yq/xq) =0 且等号只在 yi = xi ( i = 1, 2, .,q)时成立。 证明： 根据定理1.2.3有 x1*LOG(y1/x1) + x2*LOG(y2/x2) +.+xq*LOG(yq/xq) =0 且等号只在 pi = qi ( i = 1, 2, .,k)时成立。 证明： 根据定理1.2.3有 p1*LOG(p1/q1) + p2
12、*LOG(p2/q2) +.+pk*LOG(pk/qk) =-p1*LOG(q1/p1) + p2*LOG(q2/p2) +.+pk*LOG(qk/pk) =- LOG(e) (q1+q2+.+qk) - ( p1+p2+.+pk) = -LOG(e) 1 - 1 = 0 且 等号仅在 pi = qi 时成立， i = 1, 2, ., k. 证毕。 定理1.2.6 对于q个符号的以比特为单位的信息熵H，恒有 H = LOG(q) 其中等号只能在q个符号具有等概率分布才成立。此时 p1 = p2 = .= 1/q, 其中pi为第i个符号的信息，i = 1, 2, .q。 证明 H -LOG(q
13、) = -p1LOG(p1) -p2LOG(p2) -.-pqLOG(pq) - (p1 + p2 + .+pq)LOG(q) =p1LOG(1/(p1*q) +p2LOG(1/(p2*q) +.+pqLOG(1/(pq* q) = lOG(e)p1( 1/(p1*q) -1) + p2(1/(p2*q) -1) +.+pq(1/(pq*q) -1) =lOG(e)(1 -p1-p2 -.-pq) = (1-1) = 0 等号当且仅当 p1 = p2 = .= pq = 1/q 时成立。 证毕。 定理1.2.7 信息熵H给出了唯一可译码的平均码长(L)的下限，或 H = L。这里等号只有在二元
14、情况才成立。 证明：要证明上述定理，就要证明很有意思的Kraft不等式： 一个具有q个符号si(i = 1, 2, .q)，码字长为 L1 = L2 = . = Lq的即时码存在的必要和充分的条件是 1/rL1 + 1/rL2 + .+ 1/rLq =1. 对于最大码长为1的即时码，可以用最大长度为1的即时树来描述。我们有1条或两条 长度为1的支路。所以 对于1个符号的情况有： 1/2 =1 而对于2个符号的情况有： 1/2 +1/2 =1。 所以对于最大码长为1的即时码Kraft不等式成立。 假定Kraft不等式不等式对所有长度小于n的树皆成立。 那么当树的最大长度为n时，第一个节点引出一对
15、长度不超过n-1的子树，对于子树 我们有不等式 K1 = 1 K2 = 1 但是当子树接入主树时所有长度Li均增加1。 所以在不等式中就增添了系数1/2。 于是有 1/2(K1+K2) = 1。 Kraft不等式证毕。经典信息论的一种关于信息的理解和信息的工程定义式 我一直认同并采用汉明码发明人汉明(R. W. Hamming) 对信息的工程定义式。 汉明先生说： 假定我们有一个含有q个符号 s1, s2,.,sq的信源字母表，每个符号的概率各为 p(s1) = p1, p(s2) = p2, ., p(sq) = pq. 当我们接受其中一个符号时，我们得到多少信息呢？ 例如，若p1=1(当然
16、此时所有其它的pi = 0), 那么收到它就毫不“意外”。 所以没有信息，因为我们知道消息必定是什么。反之，若这些概率差异很大，那么 在小概率事件发生时我们会感到比较意外，因而我们获得的信息比大概率事件发生时获得的信息要多。 所以信息与事件发生的概率有点象反比例关系。 我们还直观地感到：“意外”是可加的-由两个独立符号得到的信息是分别从各个符号所得信息和。由于复合事件的概率是两个独立事件概率的乘积，所以很自然地把信息量定义为 I(si) = log2(1/pi) 这样就得到如下的结果： I(s1) + I(s2) = log2(1/(p1p2) =I(s1, s2) 此式清楚地表明如果概率取积
17、那么信息量就取和。所以这一定义和我们头脑中关于信息应该是什么的概念大致吻合。 这是根据符号的概率来建立的一个工程定义,而不是根据这个符号对人的实际意义来建立的定义。对信息论一知半解的人在这一点上认识往往非常模糊。他们根本不明确这是一个纯技术定义。这一定义仅抓住了信息一词在通常的概念中所包含的丰富内容的一小部分。 熵Hr就是这个信息的技术定义下的平均信息。 Hr = p1logr(1/p1) +p2logr(1/p2) + .+ pqlogr(1/pq) 其中r为对数的底。 尽管我对信息的本质有自己的看法，但真正做信息的科学计算时，从来就是用汉明这一套。 参考文献 1 R.W. 汉明，编码和信息
18、理论，朱雪龙译，科学出版社。1984 2 http:/www.systemscience.org/non/Forum2/HTML/003303.html3 张学文. 组成论M合肥：中国科技大学出版社，2003年12月第1版，第1次印刷.4 冯向军, 1比特本质信息论 - 一种定性-定量兼顾融合各家的原创信息论 (特邀论文), 世界华人一般性科学论坛EB ( ISBN 0-9755039-2-8 )，第1卷第3期，2005年9月。5 C. E. Shannon, “A mathematical theory of communication,”Bell System Technical Jour
19、nal, vol. 27, pp. 379-423 and 623-656, July and October, 1948.6 鲁晨光. 广义信息论M 合肥：中国科技大学出版社，1983年10月第1版，第1次印刷.7 Yu Hong Yi; Leon (Xiangjun) Feng; Yu Ran. Pansystems GuanKong technology and information quantization. Kybernetes: The International Journal of Systems & Cybernetics. Year: 2003 Volume: 32 Pa
20、ge: 905 911.8 于宏义, 信息量化测度, 世界华人一般性科学论坛EB(ISBN 0-9755039-0-)，第2卷第1期，2006年1月。附录命题： “广义Kullback信息”0，i =1,2,.,n 假设Q1+Q2+.+Qn = 1, 就恒有P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) =P1log(P1/U1) + P2log(P2/U2)+.+ Pnlog(Pn/Un) (1)这是因为1P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) -( P1log(P1/U1) + P2log(P2/U
21、2)+.+ Pnlog(Pn/Un) )= P1log(Q1/P1) +P2log(Q2/P2) +.+Pnlog(Q2/Pn)= k *( P1n(Q1/P1) +P2ln(Q2/P2) +.+Pnln(Q2/Pn) )=k*( Q1+Q2+.+Qn - P1-P2.-Pn) =k* (Q1+Q2+.+Qn -1) 0, i =1,2,.,n假设Q1/U1+Q2/U2+.+Qn/Un = 1, 就恒有P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) =P1log(P1) + P2log(P2) +.+Pnlog(Pn) (1)这是因为1P1log(Q1
22、/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) -( P1log(P1) + P2log(P2) +.+ Pnlog(Pn) )= P1log(Q1/U1)/P1) +P2log(Q2/U2)/P2) +.+Pnlog(Qn/Un)/Pn)= k *( P1n(Q1/U1)/P1) +P2ln(Q2/U2)/P2) +.+Pnln(Q2/Un)Pn) )=k*( Q1/U1+Q2/U2.+Qn/Un - P1-P2.-Pn) =k* (Q1/U1+Q2/U2+.+Qn/Un -1) 0i =1,2,.,n假设Q1(V1/U1)+Q2(V2/U2)+.+Qn(Vn/Un
23、) = 1, 就恒有P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) =P1log(P1/V1) + P2log(P2/V2)+.+ Pnlog(Pn/Vn) (1)这是因为1P1log(Q1/U1) + P2log(Q2/U2) +.+ Pnlog(Qn/Un) -( P1log(P1/V1) + P2log(P2/V2)+.+ Pnlog(Pn/Vn) )= P1log(Q1V1/U1)/P1) +P2log(Q2V2/U2)/P2) +.+Pnlog(QnVn/Un)/Pn)= k *( P1n(Q1V1/U1)/P1) +P2ln(Q2V2/U2
24、)/P2) +.+Pnln(Q2VN/Un)Pn) )=k*( Q1V1/U1+Q2V2/U2.+QnVn/Un - P1-P2.-Pn) =k* (Q1V1/U1+Q2V2/U2+.+QnVn/Un -1) =0 以上三种证明实际上给出了不失一般性的三种具有“由事实来检验预测”功能的广义相对信息。作为第二种证明的一个特例，我可以直接用观控隶属度F(I)的权重W(I)来十分方便地构造具有“用事实来检验预测”的广义相对熵。全然不需要什么BAYES公式，也不需要什么背离物理意义的“对称性”数学处理。 以事实为基准，让相对信息永远不大于事实所对应的信息。至于事实信息为正为负，那可视具体情况随心所欲地
25、改变(不等式两边同加一个常量)。 我现在随便引入一个具体的观控相对信息熵： GKE = P1log (W1/P12) + P2log (W2/P22) +.+Pnlog(Wn/Pn2) (GK -1) Wi为观控权重，i = 1，2，.,n. 不难证明 GKE = -P1log(P1) - P2log(P2)-.-Pnlog(Pn) (GK-2) 右边的事实信息为非负。作 者: Leon 于 2/11/2006 1:02:08 PM回复 回复 返回 按泛系观控的术语，Wi是软概率或主观概率，Pi是硬概率或客观概率。那么我冯向军的GKE公式就是描述主观概率相对客观概率偏差了多少的广义相对熵。详见我们的被SCI收录的论文2。参考文献1 经典信息理论与工程专题讨论隆重开幕2 Yu Hong Yi; Leon (Xiangjun) Feng; Yu Ran. Pansystems GuanKong technology and information quantization. Kybernetes: The International Journal of Systems & Cybernetics. Year: 2003 Volume: 32 Page: 905 911.