《[原创]用冯向军知觉模型实现HARTLEY信息336.docx》由会员分享，可在线阅读，更多相关《[原创]用冯向军知觉模型实现HARTLEY信息336.docx（21页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、原创用冯向军知觉模型实现HARTLEY信息、香侬信息、复杂度信息、本质信息、KULLBACK相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一(待续)冯向军2006/011/29 于于 美国(甲)信息最终要被信信息接受者所所反映。这就就是为什么冯冯向军要在WWEBER-FECHNNER的基础础上建立起更一般的的知觉模型deltaS = a(ddeltaOOS/ OSS) + bb(delttaOS) (1)这其中a、b为待定常常数。OS为某种客观观的刺激；deltaS 为因客观刺刺激的变化而而引发的感官官变化；a(deltaaOS/ OOS) 是因因客观刺激的的相对变化而而引发的感官官
2、变化；deltaOSS是因客观刺刺激的绝对变变化(或相对于某某种不变的客客观标准的变变化)而引发的感感官变化；通过这些日子的的讨论，我已已逐步展示确确实可以用上上述模型来实实现HARTTLEY信息息、香侬信息息、复杂度信信息、本质信信息、KULLLBACKK相对信息、鱼鱼罩子广义信信息、观控隶隶属度、观控控隶属域的超超大统一。(乙)(一)我们从WEBEER-FECCHNER对对数律推导出出广义的相对对信息的一种种一般形式，从从冯向军的知知觉模型得到了更更一般的形式式.现在再把视野稍稍微扩展一点点。把U视为刻划与与信息有关的的不确定性，复复杂性，可区区分性.的的某种参数.我们诚恳地认为为，几乎所
3、有有比较流行的的信息测度模模式均可归于于如下方程、定定律、模型(A)RI = loog2 (UU/Ub) (1-1)(广义相对信息息的一种一般般形式)(B)REs = pp1* loog2(U11/Ub) + p2* log22(U2/UUb) +.+ ppn* loog2(Unn/Ub) (2-1)(具有单独可变变门槛Ub的广义相相对熵。)REm = pp1* loog2(U11/Ub1) + p22* logg2(U2/Ub2) +.+ pn* log2(Un/Ubbn) (33-1)(具有多种可变变门槛的广义义相对熵。)(C)WEBER-FFECHNEER对数律delta SS = a(
4、deltaaU/U) (4-1)(D)冯向军的知觉模模型delta SS = a(deltaaU/U) + b(ddeltaUU) (5-1)这其中 U为描描述与信息密密切相关的不确定性，复复杂性，可区区分性.的的某种参数，Ub, UUb1,Ubb2,.Ubn为这这种参数的可可控达门槛。p1, p2, .ppn是一概率率分布，p1 + p22 +.+pn =1(二)现举例说明。当 U 为 11/p, 而而p为符号的概概率， Ubb = 1/max(pp) =1，按按(1-1)我们就有RI = loog2 (11/p) (1-2)这RI就是汉明明先生给出的的信息的工程程定义。当 U 为 张张学文
5、玻尔兹兹曼状态数WW，而Ub = min(W) =11， 按(1-1)我们就有RI = loog2 (WW) (2-2)这RI就是张学学文广义集合合的一种很好好的复杂度。当 U = 11/N， 而N为N种可能性， Ub = 1/minn(N) = 1，按(1-11)我们就有RI = loog2 (NN) (3-2)这RI就是HAARTLEYY信息。当 Ui = 1/pi, pi 为为符号i的概率， ii = 1，2， ., nUb = 1/max(pp) = 11, 按 (2-11)式就有REs = -p1logg2 (p11) -p22log2(p2) -.-ppnlog22(pn) (4-
6、2)这REs就是SSHANNOON信息熵。当 Ui = pi, ppi 为符号号i的概率， ii = 1，2， ., nUb = 1/n, 按 (2-11)式就有REs = llog2 (n) - p1llog2 (p1) -p2logg2(p2) -.-pnloog2(pnn) (55-2)这REs就是于于宏义先生的的风险熵，我我称之为聚集集熵。(表面两者矛矛盾，实际上上在不同条件件下两者在某某种程度上相相通。)当 Ubi = 1/pii, 而Ui =11/qi，qi是另一概概率分布，ii = 1，2，.,nn，按 (3-1)式就有REm = pp1log(p1/q11) +p22log(p
7、p2/q2) +.+ pkllog(pkk/qk) (6-2)这REm就是KKullbaack-Leeiblerr 相对熵。当 U = 混混淆概率 QQ(Aj/xxi), UUb= Q(Aj), 按(1-1)就有鱼罩子子广义互信息息RI = I(xi, AAj) = log2(Q(Aj/xi) /Q(Aj) (7-2)当 U = 观观控隶属域ff(I)，Ub = 任意指定的的门槛隶属域域fb，按 (1-1)就有观观控互信息GKI(xi,I) = log2( f(I/xi)/ffb ) (8-2)当pi = pp(xi/zzk), UUi =Qkk(xi/zzk), UUbi =QQ(xi),
8、按 (3-11)就有鱼罩罩子广义Kuullbacck公式REm = pp(x1/zzk)logg2 (Q(x1/zkk)/Q(xx1) +p(x2/zk)loog2 (QQ(x2/zzk)/Q(x2) +.+p(xn/zkk)log22 (Q(xxn/zk)/Q(xnn) (99-2)互信息不过是对对广义相对信信息RI求2次数学期望望而已。于宏义先生的观观控隶属度和和我的观控隶隶属域新公式式都能从WEEBER-FFCHNERR感觉模型和和冯向军的知觉模型型推出. 我的本质质信息也可以以从冯向军的的知觉模型推推导出来。.http:/www.qqiji.ccn/forrum/fttopic3327
9、2-00-asc-60.httml附录 信息熵的的基本数学性性质 http:/信息熵的基本数数学性质的简简单数学证明明 定理1.2.1 当 正数 p -0, p*loog(p) - 0 证证明： 将p*logg(p)写成成 log(p)/(11/p), 当p-0用 罗必塔法则则求导，即有有 log(pp)/(1/p) -( 11/p)/(-1/p2) -p-0. 证毕。 定理1.2.2 对于两两个事件组成成的分布，若若其中一个事事件(符号)的概率为p, 那么信息息熵 H = -pLOOG(p) -(1-pp)LOG(1-p), H取最大大值1比特，当且且仅当 p = 0.55。 当p-0或1，
10、H取最小值0。其中LOGG表以2为底的对数数。 证明： 对于两个事事件组成的分分布，当其中中一事件的概概率为p, 则另一事件件的概率为11-p. 于于 是按信息熵熵H的定义 H = -p*LOGG (p)-(1-p)*LOG (1-p) 考虑到不不等式 looge (xx) 0均成立，且且等号只在xx = 1成成立，有 H -1=H - LLOG(2) = p*LOG(11/p) + (1-pp)*LOGG(1/(11-p) +(p +1-p)LLOG(1/2) =pp*LOG(1/(2pp) + (1-p)*LOG(1/(2(1-p) =llOG(e) p*( 1/(22p) -11) +(
11、11-p)*(1/(2(1-p) -1) =LOGG(e) 1/2 -p + 11/2 -(1-p) = lOOG(e)1- p-1+p =0 所以以 H 0, 按按定理1.22.1, HH=0; 当当 p-1,按定定理1.2.1, H=0. 证毕 定理1.2.3 对于任任何 x 0, 恒恒有 logge (x) 0, 定义函数数 f = lloge(xx) -x +1 则有有 df /ddx = 11/x -11 令 df /ddx = 00 则有极值值点 x = 11 但是，当当 x = 1时 二阶导数 d2 ff / d2 x = -1/xx2 0 所以 x = 1 是极极大值点。 有
12、f = lloge(xx) -x +1 = logee(1) -1 + 11 = 0 或 loge(xx) = x - 11 且 等号仅在 xx = 1 时成立。 证毕 定理 1.22.4 对于于 满足 x1+x22+.+xq =11; y1+y2+.+yq= 1 的两两组概率分布布 xi, ii=1,2,.,qq 以及 yi, ii = 1,2,.,q 恒有有 x1*LOOG(y1/x1) + x2*LLOG(y22/x2) +.+xq*LOOG(yq/xq) =0 且等等号只在 yi = xi ( i = 11, 2, .,qq)时成立。 证明： 根据定理1.2.3有 x1*LOGG(y1
13、/xx1) + x2*LOOG(y2/x2) +.+xxq*LOGG(yq/xxq) =0 且等等号只在 pi = qi ( i = 11, 2, .,kk)时成立。 证明： 根据定理1.2.3有 p1*LOOG(p1/q1) + p2*LLOG(p22/q2) +.+pk*LOOG(pk/qk) =-p1*LOG(qq1/p1) + p22*LOG(q2/p22) +.+pk*LOG(qqk/pk) =- LOGG(e) (q1+qq2+.+qk) - ( pp1+p2+.+ppk) = -LOOG(e) 1 - 1 = 0 且 等号仅在 pi = qi 时成成立， i = 1, 2, .,
14、 k. 证毕。 定理1.2.6 对于q个符号的以以比特为单位位的信息熵HH，恒有 H = LOG(qq) 其中等等号只能在qq个符号具有有等概率分布布才成立。此此时 p1 = p2 = .= 1/q, 其中pi为第i个符号的信信息，i = 1, 22, .q。 证明 H -LLOG(q) = -pp1LOG(p1) -p2LOGG(p2) -.-pqLOGG(pq) - (p11 + p22 + .+pq)LOG(qq) =p11LOG(11/(p1*q) +p2LOGG(1/(pp2*q) +.+pqLOOG(1/(pq* qq) = lOG(e)p11( 1/(p1*q) -1) + p2
15、(1/(p22*q) -1) +.+pqq(1/(ppq*q) -1) =lOG(e)(1 -p1-pp2 -.-pq) = (11-1) = 0 等号号当且仅当 p1 = p2 = .= pq = 1/q 时时成立。 证毕。 定理1.2.7 信息熵熵H给出了唯一一可译码的平平均码长(LL)的下限，或或 H = L。这里等等号只有在二二元情况才成成立。 证明：要证证明上述定理理，就要证明明很有意思的的Kraftt不等式： 一个具有q个符号si(i = 11, 2, .q)，码字长为为 L1 = L2 = . = LLq的即时码码存在的必要要和充分的条条件是 1/rLL1 + 11/rL22 +
16、 .+ 1/rLq =1. 对于最大码码长为1的即时码，可可以用最大长长度为1的即时树来来描述。我们们有1条或两条 长度为1的支路。所所以 对于1个符号的情情况有： 1/2 =1 而对对于2个符号的情情况有： 1/2 +1/2 =1。 所以对于最最大码长为11的即时码Krraft不等等式成立。 假定Krafft不等式不不等式对所有有长度小于nn的树皆成立立。 那么当树的的最大长度为为n时，第一个个节点引出一一对长度不超超过n-1的子树树，对于子树树 我们有不等等式 K1 = 1 K22 = 11 但是当子子树接入主树树时所有长度度Li均增加1。 所以在不等等式中就增添添了系数1/2。 于是有
17、1/2(KK1+K2) = 11。 Kraftt不等式证毕毕。经典信息论的一一种关于信息息的理解和信信息的工程定定义式 我一直认同同并采用汉明明码发明人汉汉明(R. W. Haammingg) 对信息息的工程定义义式。 汉明先生说说： 假定我们有有一个含有qq个符号 s11, s2,.,ssq的信源字字母表，每个个符号的概率率各为 p(s1) = p11, p(ss2) = p2, ., pp(sq) = pq. 当我们接接受其中一个个符号时，我我们得到多少少信息呢？ 例如，若p11=1(当然此时时所有其它的的pi = 0), 那那么收到它就就毫不“意外”。 所以没有信信息，因为我我们知道消息
18、息必定是什么么。反之，若若这些概率差差异很大，那那么 在小概率事事件发生时我我们会感到比比较意外，因因而我们获得得的信息比大大概率事件发发生时获得的的信息要多。 所以信息与事件发生的概率有点象反比例关系。 我们还直观地感到：“意外”是可加的-由两个独立符号得到的信息是分别从各个符号所得信息和。由于复合事件的概率是两个独立事件概率的乘积，所以很自然地把信息量定义为 I(si) = log2(1/pi) 这样就得到如下的结果： I(s1) + I(s2) = log2(1/(p1p2) =I(s1, s2) 此式清楚地表明如果概率取积那么信息量就取和。所以这一定义和我们头脑中关于信息应该是什么的概
19、念大致吻合。 这是根据符号的概率来建立的一个工程定义,而不是根据这个符号对人的实际意义来建立的定义。对信息论一知半解的人在这一点上认识往往非常模糊。他们根本不明确这是一个纯技术定义。这一定义仅抓住了信息一词在通常的概念中所包含的丰富内容的一小部分。 熵Hr就是这个信息的技术定义下的平均信息。 Hr = p1logr(1/p1) +p2logr(1/p2) + .+ pqlogr(1/pq) 其中r为对数的底。 尽管我对信息的本质有自己的看法，但真正做信息的科学计算时，从来就是用汉明这一套。 参考文献 1 R.W. 汉明，编码码和信息理论论，朱雪龙译译，科学出版版社。19884 2 httpp:
20、/wwww.sysstemscciencee.org/non/FForum22/HTMLL/0033303.httml3 张学文文. 组成论M合肥：中国国科技大学出出版社，20003年12月第1版，第1次印刷.4 冯向军军, 1比特本本质信息论 - 一种定定性-定量兼顾融融合各家的原原创信息论 (特邀论文文), 世界华华人一般性科科学论坛EEB ( ISBN 0-97555039-2-8 )，第1卷第3期，20055年9月。5 C. E. Shhannonn, “A matthemattical theorry of commuunicattion,”Bell Systeem Tecchnic
21、aal Jouurnal, vol. 27, pp. 3379-4223 andd 623-656, July and OOctobeer, 19948.6 鲁晨光光. 广义信息息论M 合肥肥：中国科技技大学出版社社，19833年10月第1版，第1次印刷.7 Yu Hong Yi; LLeon (Xianggjun) Feng; Yu RRan. Panssystemms GuaanKongg techhnologgy andd infoormatiion quuantizzationn. Kybeernetees: Thhe Intternattionall Jourrnal oof Sys
22、stems & Cybbernettics. Year: 20033 Voluume: 332 Pagge: 9005 9911.8 于宏义义, 信息量化化测度, 世界华人人一般性科学学论坛EBB(ISBBN 0-997550339-0-)，第2卷第1期，20066年1月。附录命题： “广义义Kullbback信息息”0，i =1,2,.,nn 假设QQ1+Q2+.+QQn = 1, 就恒恒有P1loog(Q1/U1) + P2loog(Q2/U2) +.+ Pnlogg(Qn/UUn) =P1logg(P1/UU1) + P2logg(P2/UU2)+.+ Pnnlog(PPn/Un) (1
23、)这这是因为11P1loog(Q1/U1) + P2loog(Q2/U2) +.+ Pnlogg(Qn/UUn) -( P1llog(P11/U1) + P2llog(P22/U2)+.+ Pnlogg(Pn/UUn) )= P1loog(Q1/P1) +P2logg(Q2/PP2) +.+Pnnlog(QQ2/Pn)= k *( P1nn(Q1/PP1) +PP2ln(QQ2/P2) +.+Pnlnn(Q2/PPn) )=k*( Q1+Q22+.+Qn - P1-P22.-PPn) =kk* (Q11+Q2+.+Qnn -1) 0, i =1,2,.,n假设QQ1/U1+Q2/U22+.+Q
24、n/Unn = 11, 就恒有有P1logg(Q1/UU1) + P2logg(Q2/UU2) +.+ PPnlog(Qn/Unn) =PP1log(P1) + P2loog(P2) +.+Pnloog(Pn) (1)这这是因为11P1loog(Q1/U1) + P2loog(Q2/U2) +.+ Pnlogg(Qn/UUn) -( P1llog(P11) + PP2log(P2) +.+ Pnlogg(Pn) )= P11log(Q1/U11)/P1) +P2llog(QQ2/U2)/P2) +.+Pnlogg(Qn/Un)/PPn)= kk *( PP1n(QQ1/U1)/P1) +P2l
25、nn(Q2/U2)/PP2) +.+Pnnln(QQ2/Un)Pn) )=k*( Q1/UU1+Q2/U2.+Qn/UUn - PP1-P2.-Pnn) =k* (Q1/U1+Q22/U2+.+Qnn/Un -1) 0ii =1,22,.,n假设Q11(V1/UU1)+Q22(V2/UU2)+.+Qn(Vn/Unn) = 1, 就恒恒有P1loog(Q1/U1) + P2loog(Q2/U2) +.+ Pnlogg(Qn/UUn) =P1logg(P1/VV1) + P2logg(P2/VV2)+.+ Pnnlog(PPn/Vn) (1)这这是因为11P1loog(Q1/U1) + P2loo
26、g(Q2/U2) +.+ Pnlogg(Qn/UUn) -( P1llog(P11/V1) + P2llog(P22/V2)+.+ Pnlogg(Pn/VVn) )= P1loog(Q11V1/U11)/P1) +P2llog(QQ2V2/UU2)/P22) +.+Pnllog(QQnVn/UUn)/Pnn)= k *( P11n(Q11V1/U11)/P1) +P2lln(Q22V2/U22)/P2) +.+Pnlnn(Q2VVN/Un)Pn) )=k*( Q1V11/U1+QQ2V2/UU2.+QnVn/Un - P1-P22.-PPn) =kk* (Q11V1/U11+Q2V22/U2+
27、.+QnnVn/Unn -1) =0 以以上三种证明明实际上给出出了不失一般般性的三种具具有“由事实实来检验预测测”功能的广广义相对信息息。作为第二二种证明的一一个特例，我我可以直接用用观控隶属度度F(I)的权权重W(I)来十分方便便地构造具有有“用事实来检检验预测”的广义相对对熵。全然不不需要什么BBAYES公公式，也不需需要什么背离离物理意义的的“对称性”数学处理。 以事实为基基准，让相对对信息永远不不大于事实所所对应的信息息。至于事实实信息为正为为负，那可视视具体情况随随心所欲地改改变(不等式两边边同加一个常常量)。 我现在随便便引入一个具具体的观控相相对信息熵： GKE = P1loo
28、g (W11/P122) + PP2log (W2/PP22) +.+Pnlogg(Wn/PPn2) (GK -1) Wii为观控权重重，i = 1，2，.,nn. 不难证证明 GKE = -P11log(PP1) - P2logg(P2)-.-PPnlog(Pn) (GK-2) 右边的事事实信息为非非负。作 者: Leeon 于 2/111/20066 1:022:08 PPM回复 回复 返回 按泛系观控的术术语，Wii是软概率率或主观概率率，Pi是硬概率或或客观概率。那么我冯向军的的GKE公式就就是描述主观观概率相对客客观概率偏差差了多少的广广义相对熵。详见我们的被SSCI收录的的论文2。参考文献1 经典信息息理论与工程程专题讨论隆隆重开幕2 Yu Hong Yi; LLeon (Xianggjun) Feng; Yu RRan. Panssystemms GuaanKongg techhnologgy andd infoormatiion quuantizzationn. Kybeernetees: Thhe Intternattionall Jourrnal oof Sysstems & Cybbernettics. Year: 20033 Voluume: 332 Pagge: 9005 9911.