《逻辑推理人工智能.pptx》由会员分享,可在线阅读,更多相关《逻辑推理人工智能.pptx(93页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、会计学1逻辑推理人工智能逻辑推理人工智能第一页,编辑于星期二:十点 一分。不确定性不确定性n n不确定环境下的行动n n概率公理n n使用全概率分布进行推理n n独立性n n贝叶斯法则及其应用第1页/共93页第二页,编辑于星期二:十点 一分。不确定性(不确定性(Uncertainty)n n定义行动定义行动 AAt t=航班起飞前航班起飞前 t t 分钟启程前往机场;分钟启程前往机场;n n问:问:AAt t 能不能及时使能不能及时使agentagent赶上飞机?赶上飞机?n nAA180180 是一个可靠的行动,如果所选路线上没有交通事故、没有交是一个可靠的行动,如果所选路线上没有交通事故、
2、没有交通管制、汽车没有出故障、没有沙尘暴,等等,等等。通管制、汽车没有出故障、没有沙尘暴,等等,等等。n n(AA14401440 或许是个一定不会耽误飞机的计划,不过要在机场过夜或许是个一定不会耽误飞机的计划,不过要在机场过夜)n n逻辑方法使得逻辑方法使得AgentAgent在得到关于环境的足够多事实时,使得行动计划在得到关于环境的足够多事实时,使得行动计划得到保证。得到保证。n n但是,没有任何但是,没有任何agentagent能够获得关于其环境的全部事实。能够获得关于其环境的全部事实。第2页/共93页第三页,编辑于星期二:十点 一分。FOL与不确定性与不确定性n nFOLFOL能够处理
3、不确定性吗?能够处理不确定性吗?n n医学专家系统:医学专家系统:n n p p Symptom(p,Toothache)Symptom(p,Toothache)Disease(p,Cavity)?Disease(p,Cavity)?n n引起牙痛的原因:牙洞?引起牙痛的原因:牙洞?穷举穷举n n牙洞与牙痛有必然联系吗?牙洞与牙痛有必然联系吗?n n失败的原因:失败的原因:n n懒惰懒惰(laziness):failure to enumerate exceptions,qualifications,etc.(laziness):failure to enumerate exceptions,
4、qualifications,etc.n n无知无知(ignorance):lack of relevant facts,initial conditions,etc.(ignorance):lack of relevant facts,initial conditions,etc.第3页/共93页第四页,编辑于星期二:十点 一分。不确定环境下的决策不确定环境下的决策n n基本思想:n n精确度和有效性的折中n n理性决策的含义n n既依赖于各种目标的相对重要性,也依赖于这些目标将被实现的可能性(程度)。n n假设假设A A180180理性决策,这意味着在给理性决策,这意味着在给定所处的环境信
5、息下,它是所有定所处的环境信息下,它是所有可执行的规划中智能体的性能度可执行的规划中智能体的性能度量量期望期望达到最大的那个。达到最大的那个。n n性能度量:及时赶上飞机、等待性能度量:及时赶上飞机、等待时间不长,时间不长,第4页/共93页第五页,编辑于星期二:十点 一分。不确定环境下的决策不确定环境下的决策n n例如:给出行动及其成功的概率如下例如:给出行动及其成功的概率如下:n n P(AP(A2525 gets me there on time|gets me there on time|)=0.04=0.04 P(AP(A9090 gets me there on time|gets
6、me there on time|)=0.70=0.70 P(AP(A120 120 gets me there on time|gets me there on time|)=0.95=0.95 P(AP(A14401440 gets me there on time|gets me there on time|)=0.9999=0.9999 n n该选哪一个行动该选哪一个行动?n n例如,取决于成功的几率以及等待时间的折中。例如,取决于成功的几率以及等待时间的折中。n n必须考虑效用理论(必须考虑效用理论(Utility theoryUtility theory)n n决策论概率论效用论决
7、策论概率论效用论n nDecision theory=probability theory+utility theoryDecision theory=probability theory+utility theory第5页/共93页第六页,编辑于星期二:十点 一分。不确定性不确定性n n不确定环境下的行动n n概率公理n n使用全概率分布进行推理n n独立性n n贝叶斯法则及其应用第6页/共93页第七页,编辑于星期二:十点 一分。概率理论(概率理论(Probability theory)n nAgentAgent的知识提供的最多是关于语句的信度(的知识提供的最多是关于语句的信度(degree
8、 of beliefdegree of belief)。)。n n概率论可以处理我们的惰性和无知。概率论可以处理我们的惰性和无知。n n概率是宇宙的真实方面:它是物体的行为表现为特定方式的倾概率是宇宙的真实方面:它是物体的行为表现为特定方式的倾向,而不仅仅是对观察者信心的描述。向,而不仅仅是对观察者信心的描述。n n概率与证据:概率与证据:n n在评估语句的概率时,必须指出有关证据。在评估语句的概率时,必须指出有关证据。n nAgentAgent获得新的信息后,其概率评估应该更新。获得新的信息后,其概率评估应该更新。n n先验概率、后验概率先验概率、后验概率第7页/共93页第八页,编辑于星期二
9、:十点 一分。先验概率先验概率n n与命题与命题a a相关的无条件概率,在没有任何其它信息存在相关的无条件概率,在没有任何其它信息存在的情况下,关于命题的信度,记为:的情况下,关于命题的信度,记为:P P(a a)。)。n n例如,用例如,用P P(weatherweather)表示天气的概率:)表示天气的概率:n nP P(weather weather sunnysunny)0.70.7n nP P(weather weather rainrain)0.20.2n nP P(weather weather cloudycloudy)0.080.08n nP P(weather weathe
10、r snowsnow)0.020.02n n先验概率分布:先验概率分布:n nP P(weather weather)n n联合概率分布,全联合概率分布联合概率分布,全联合概率分布n n概率密度函数概率密度函数第8页/共93页第九页,编辑于星期二:十点 一分。后验(条件)概率后验(条件)概率n n得到与命题a相关的变量的证据,先验概率失效,需要以后验概率替代,记为:P(a|b)n n例如:n nP(cavity|toothache)0.7n n乘法规则:n nP(a b)P(b|a)P(a)第9页/共93页第十页,编辑于星期二:十点 一分。概率公理(概率公理(Axioms of probabi
11、lity)n n对任意命题 A,B:n n0 P(A)1n nP(true)=1,P(false)=0n nP(A B)=P(A)+P(B)-P(A B)Kolmogorov公理第10页/共93页第十一页,编辑于星期二:十点 一分。不确定性不确定性n n不确定环境下的行动n n概率公理n n使用全概率分布进行推理n n独立性n n贝叶斯法则及其应用第11页/共93页第十二页,编辑于星期二:十点 一分。联合概率分布联合概率分布联合概率分布联合概率分布n n联合概率分布(联合概率分布(joint joint probabilityprobability distribution distribut
12、ion):n n表中表中catchcatch是指由于牙医的钢探针不洁而导致的牙龈感染是指由于牙医的钢探针不洁而导致的牙龈感染n n对任何命题对任何命题 ,其概率是所有原子证据事件概率的和:其概率是所有原子证据事件概率的和:n nP(P()=)=:P(P()第12页/共93页第十三页,编辑于星期二:十点 一分。联合概率分布(枚举)联合概率分布(枚举)n nStart with the joint probability distribution:Start with the joint probability distribution:n nFor any proposition For any
13、 proposition ,sum the atomic events where it is true:P(,sum the atomic events where it is true:P()=)=:P(P()n nP(P(toothachetoothache)=0.108+0.012+0.016+0.064=0.2)=0.108+0.012+0.016+0.064=0.2第13页/共93页第十四页,编辑于星期二:十点 一分。n nStart with the joint probability distribution,Start with the joint probability d
14、istribution,n nCan also compute conditional probabilities:Can also compute conditional probabilities:P(P(cavitycavity|toothachetoothache)=P(=P(cavitycavity toothachetoothache)P(P(toothachetoothache)=0.016+0.064 0.016+0.064 0.108+0.012+0.016+0.064 0.108+0.012+0.016+0.064=0.4=0.4联合概率分布(枚举)联合概率分布(枚举)第1
15、4页/共93页第十五页,编辑于星期二:十点 一分。归一化(归一化(归一化(归一化(NormalizationNormalization)n n(Denominator)(Denominator)-1-1 normalization constantnormalization constant n nP P(Cavity|toothacheCavity|toothache)=)=P P(Cavity,toothacheCavity,toothache)=P P(Cavity,toothache,catchCavity,toothache,catch)+)+P P(Cavity,toothache
16、Cavity,toothache,catchcatch)=+=n nGeneral idea:compute distribution on General idea:compute distribution on query variablequery variable by by fixing fixing evidence variablesevidence variables and summing over and summing over hidden hidden variablesvariables.第15页/共93页第十六页,编辑于星期二:十点 一分。不确定性不确定性n n不
17、确定环境下的行动n n概率公理n n使用全概率分布进行推理n n独立性n n贝叶斯法则及其应用第16页/共93页第十七页,编辑于星期二:十点 一分。独立性(独立性(Independence)n nAA 与与 B B 独立,当且仅当独立,当且仅当P P(A|BA|B)=)=P P(AA)or)or P P(B|AB|A)=)=P P(B B)or)or P P(A,B)=(A,B)=P P(AA)P P(B B)例如:例如:例如:例如:P P(Toothache,Catch,Cavity,WeatherToothache,Catch,Cavity,Weather)=P P(Toothache,C
18、atch,CavityToothache,Catch,Cavity)P P(WeatherWeather)n n32 entries reduced to 12(weather has 4 possible values);for 32 entries reduced to 12(weather has 4 possible values);for n n independent biased independent biased coins,coins,O(2O(2n n)O(n)O(n)n n绝对独立很好但很少见,例如牙科中可能涉及几百相互关联的变量,绝对独立很好但很少见,例如牙科中可能涉
19、及几百相互关联的变量,这时候如何处理?这时候如何处理?第17页/共93页第十八页,编辑于星期二:十点 一分。条件独立(条件独立(条件独立(条件独立(Conditional independenceConditional independence)n n已知有一个牙洞,钻具感染与牙疼的概率相互独立:已知有一个牙洞,钻具感染与牙疼的概率相互独立:n n钻具感染与牙痛在给定牙洞的情况下是条件独立的钻具感染与牙痛在给定牙洞的情况下是条件独立的n nconditionally independentconditionally independent P P(Toothache,Catch|CavityT
20、oothache,Catch|Cavity)=P P(Toothache|CavityToothache|Cavity)P P(Catch|CavityCatch|Cavity)第18页/共93页第十九页,编辑于星期二:十点 一分。条件独立条件独立n n推导联合分布,将全联合分布分解成很多更小的分布推导联合分布,将全联合分布分解成很多更小的分布:P P(Toothache,Catch,CavityToothache,Catch,Cavity)=P P(Toothache,Catch|CavityToothache,Catch|Cavity)P P(CavityCavity)乘法法则乘法法则=P
21、 P(Toothache|CavityToothache|Cavity)P P(Catch|CavityCatch|Cavity)P P(Cavity)(Cavity)条件独立条件独立I.e.,2+2+1=5 independent numbersI.e.,2+2+1=5 independent numbersn n条件分布将联合分布的表示空间由指数级降到线性。条件分布将联合分布的表示空间由指数级降到线性。n n条件概率是处理不确定信息的基础和最鲁棒的形式。条件概率是处理不确定信息的基础和最鲁棒的形式。第19页/共93页第二十页,编辑于星期二:十点 一分。不确定性不确定性n n不确定环境下的行
22、动n n概率公理n n使用全概率分布进行推理n n独立性n n贝叶斯法则及其应用第20页/共93页第二十一页,编辑于星期二:十点 一分。贝叶斯法则(贝叶斯法则(Bayes Rule)n n由乘法法则由乘法法则 P(aP(a b)=P(a|b)P(b)=P(b|a)P(a)b)=P(a|b)P(b)=P(b|a)P(a)Bayes rule:Bayes rule:P(a|b)=P(b|a)P(a)/P(b)P(a|b)=P(b|a)P(a)/P(b)n n一般形式:一般形式:P P(Y|X)=(Y|X)=P P(X|Y)(X|Y)P P(Y)/(Y)/P P(X)=(X)=P P(X|Y)(X|
23、Y)P P(Y)(Y)n n例子:用于从病因(例子:用于从病因(causalcausal)中找到诊断()中找到诊断(diagnosticdiagnostic)结论)结论 :n nP(Cause|Effect)=P(Effect|Cause)P(Cause)/P(Effect)P(Cause|Effect)=P(Effect|Cause)P(Cause)/P(Effect)n nE.g.,let E.g.,let MM be meningitis,be meningitis,S S be stiff neck:be stiff neck:P(m|s)=P(s|m)P(m)/P(s)=0.8 P(
24、m|s)=P(s|m)P(m)/P(s)=0.8 0.0001/0.1=0.00080.0001/0.1=0.0008第21页/共93页第二十二页,编辑于星期二:十点 一分。贝叶斯法则与条件独立贝叶斯法则与条件独立P P(Cavity|toothache Cavity|toothache catchcatch)=P P(toothache toothache catch|Cavity catch|Cavity)P P(CavityCavity)=P P(toothache|Cavitytoothache|Cavity)P P(catch|Cavitycatch|Cavity)P P(Cavit
25、yCavity)n nThis is an example of a This is an example of a nana ve Bayesve Bayes (朴素贝叶斯)(朴素贝叶斯)model:model:P P(Cause,Effect(Cause,Effect1 1,Effect,Effectn n)=)=P P(Cause)(Cause)i iP P(Effect(Effecti i|Cause)|Cause)n nTotal number of parameters is Total number of parameters is linearlinear in in n n第
26、22页/共93页第二十三页,编辑于星期二:十点 一分。贝叶斯网络贝叶斯网络 1 贝叶斯网络概述2 贝叶斯网络的语义3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理第23页/共93页第二十四页,编辑于星期二:十点 一分。概率公式概率公式条件概率公式乘法公式全概率公式第24页/共93页第二十五页,编辑于星期二:十点 一分。边缘化与条件化边缘化与条件化边缘化与条件化边缘化与条件化n n联合概率分布联合概率分布n n边缘化边缘化(求和消元)(求和消元)n nP(P(toothachetoothache)=0.108+0.012+)=0.108+0.012+0.016+0.064=0.20.016+0
27、.064=0.2n n条件化条件化:第25页/共93页第二十六页,编辑于星期二:十点 一分。贝叶斯法则贝叶斯法则n n由乘法法则由乘法法则 P(aP(a b)=P(a|b)P(b)=P(b|a)P(a)b)=P(a|b)P(b)=P(b|a)P(a)Bayes rule:Bayes rule:P(a|b)=P(b|a)P(a)/P(b)P(a|b)=P(b|a)P(a)/P(b)n n一般形式:一般形式:n n更通用版本(条件化):更通用版本(条件化):第26页/共93页第二十七页,编辑于星期二:十点 一分。贝叶斯网络的由来n n随机方法?n n每个状态值取决于前面有限个状态,如Markov链
28、。n n在现实生活中,很多事物相互的关系并不能用一条链来串起来;它们之间的关系可能是交叉的、错综复杂的。n n如疾病的起因,故障的原因等。第27页/共93页第二十八页,编辑于星期二:十点 一分。贝叶斯网络的由来n n全联合概率计算复杂性十分巨大;n n变量之间的独立性和条件独立性能大大减少为了定义全联合概率分布所需的概率数目。n n需要一种自然、有效的方式来根据不确定性知识推理贝叶斯网络;第28页/共93页第二十九页,编辑于星期二:十点 一分。贝叶斯网络的定义n n贝贝叶叶斯斯网网络络(Bayesian(Bayesian network)network)是是一一个个有有向向图图,其其中中每每个
29、节点都标注了定量概率信息:个节点都标注了定量概率信息:n n 一一个个随随机机变变量量集集合合组组成成网网络络节节点点,变变量量可可以以是是离离散散的的或者连续的;或者连续的;n n 一一个个连连接接节节点点对对的的有有向向边边或或者者箭箭头头的的集集合合,如如果果存存在在从从节节点点X X指向节点指向节点Y Y的的有向边有向边,则称,则称X X是是Y Y的一个父节点;的一个父节点;n n 每个节点都存在一个条件概率分布每个节点都存在一个条件概率分布P(Xi|Parent(Xi)P(Xi|Parent(Xi),量,量化父节点对该节点的影响;化父节点对该节点的影响;n n 图中不存在有向环图中不
30、存在有向环(是有向无环图是有向无环图DAG)DAG)。第29页/共93页第三十页,编辑于星期二:十点 一分。简单例子简单例子n n表示前例中条件独立的拓扑网络表示前例中条件独立的拓扑网络:n nWeatherWeather is independent of the other variables is independent of the other variablesn nToothacheToothache and and CatchCatch are conditionally independent given are conditionally independent given
31、CavityCavity第30页/共93页第三十一页,编辑于星期二:十点 一分。贝叶斯网络的表示贝叶斯网络的表示贝叶斯网络的表示贝叶斯网络的表示 防盗网BurglaryEarthquakeMaryCallsJohnCallsAlarm0.950.940.290.001 t t t f f t f fP(A)B E0.900.05 t fP(J)A0.700.01 t fP(M)A0.001P(B)0.002P(E)第31页/共93页第三十二页,编辑于星期二:十点 一分。条件概率表n n每每个个节节点点旁旁的的条条件件概概率率表表(简简称称CPTCPTCPTCPT)中中的的值值对对应应一一个个条
32、条件件事件的概率事件的概率n n如如P(A)=0.94=P(A|BurglaryP(A)=0.94=P(A|Burglary EarthquakeEarthquake);n n条件事件是父节点取值的一个可能组合;条件事件是父节点取值的一个可能组合;n n每每行行的的概概率率之之和和应应为为1(1(表表中中只只给给出出了了为为真真的的情情况况,为为假假的的概概率率应为应为1-p)1-p);n n一一个个具具有有k k个个布布尔尔父父节节点点的的布布尔尔变变量量的的条条件件概概率率表表中中有有2 2k k个个独独立的可指定的概率立的可指定的概率(注意概率值是独立的注意概率值是独立的);n n没有父
33、节点的节点的概率只有没有父节点的节点的概率只有1 1行,为先验概率。行,为先验概率。0.700.01 t fP(M)A第32页/共93页第三十三页,编辑于星期二:十点 一分。贝叶斯网络的概率解释贝叶斯网络的概率解释n n任何完整的概率模型必须具有表示(直接或间接)该领域变量任何完整的概率模型必须具有表示(直接或间接)该领域变量联合分布的能力,完全的枚举需要指数级的规模(相对于领域联合分布的能力,完全的枚举需要指数级的规模(相对于领域变量个数);变量个数);n n贝叶斯网络提供了这种联合概率分布的贝叶斯网络提供了这种联合概率分布的紧凑紧凑表示:分解联表示:分解联合分布为几个局部分布的乘积:合分布
34、为几个局部分布的乘积:第33页/共93页第三十四页,编辑于星期二:十点 一分。贝叶斯网络的概率解释贝叶斯网络的概率解释n n从公式可以看出,需要的参数个数随网络中节点个数呈从公式可以看出,需要的参数个数随网络中节点个数呈线线性性增长,而联合分布的计算呈指数增长。增长,而联合分布的计算呈指数增长。n n网络中变量间网络中变量间独立性独立性的指定是实现的指定是实现紧凑紧凑表示的关键。表示的关键。n n独立性在通过人类专家构造贝叶斯网中特别有效。独立性在通过人类专家构造贝叶斯网中特别有效。第34页/共93页第三十五页,编辑于星期二:十点 一分。贝叶斯网络贝叶斯网络 1 贝叶斯网络概述2 贝叶斯网络的
35、语义3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理第35页/共93页第三十六页,编辑于星期二:十点 一分。贝叶斯网络的语义n n贝贝叶叶斯斯网网络络给给出出了了关关于于相相关关事事件件的的完完整整描述,通过计算全联合概率分布求取描述,通过计算全联合概率分布求取n n联联合合分分布布中中的的某某项项是是对对每每个个变变量量赋赋予予一一个个特特定定值值情情况况下下的合取概率的合取概率n n就是条件概率表中适当元素的乘积就是条件概率表中适当元素的乘积n n例子例子 P(jP(jmma a b b e e)=P(j|a)P(m|a)P(a|=P(j|a)P(m|a)P(a|b b e e)P()P
36、(b b)P()P(e e)=0.90*0.70*0.001*0.999*0.998=0.00062=0.90*0.70*0.001*0.999*0.998=0.00062 第36页/共93页第三十七页,编辑于星期二:十点 一分。一种贝叶斯网络构建方法一种贝叶斯网络构建方法一种贝叶斯网络构建方法一种贝叶斯网络构建方法n n乘法规则乘法规则:n nP(xP(x1 1,x,x2 2,x xn n)=P(x)=P(xn n|x|xn-1 n-1,x,x1,1,)P(x)P(xn-1 n-1,x,x1,1,)n n链式法则链式法则(chain rule)(chain rule):n nP(XP(Xi
37、i|X|Xi-1i-1,X,X1 1)=P(X)=P(Xi i|Parent(X|Parent(Xi i)n nParent(XParent(Xi i)X Xi-1i-1,X,X1 1 n n初始的合取概率化为更小的条件概率和更小的合取式初始的合取概率化为更小的条件概率和更小的合取式 n n这些条件概率的合取式实际上就是父节点到子节点的概率乘积。这些条件概率的合取式实际上就是父节点到子节点的概率乘积。n n父子节点的关系使得贝叶斯网络具有父子节点的关系使得贝叶斯网络具有局部结构化局部结构化的特性,即每个节点的特性,即每个节点只和数量有限的其它部分产生直接的相互作用只和数量有限的其它部分产生直接
38、的相互作用第37页/共93页第三十八页,编辑于星期二:十点 一分。贝叶斯网络的构造贝叶斯网络的构造贝叶斯网络的构造贝叶斯网络的构造 防盗网BurglaryEarthquakeMaryCallsJohnCallsAlarmP(m|j,a,b,e)=P(m|a)第38页/共93页第三十九页,编辑于星期二:十点 一分。紧致性与节点顺序n n贝叶斯网络的贝叶斯网络的局部结构化局部结构化(locally structedlocally structed)n n每个随机变量可以至多受到k个其它随机变量的影响(k=常数);n n设网络中有n个节点(随机变量),指定每个条件概率表所需信息量至多为2k个数据,则
39、整个网络可以用n2k个数据完全描述/而全联合概率分布需要2n个数据.n n比较:n=30,k=5.n n构构造造贝贝叶叶斯斯网网络络的的次次序序:添添加加节节点点首首先先从从“根根本本原原因因”开开始始,然然后后加加入入受受其其直直接接影影响响的的变变量量,直直到到叶叶节节点点(不不影影响响任任何何其其它节点它节点)。第39页/共93页第四十页,编辑于星期二:十点 一分。n nSuppose we choose the ordering Suppose we choose the ordering M,J,A,B,EM,J,A,B,EP P(J|M)=(J|M)=P P(J)?(J)?Exam
40、ple第40页/共93页第四十一页,编辑于星期二:十点 一分。n nSuppose we choose the ordering Suppose we choose the ordering M,J,A,B,EM,J,A,B,EP P(J|M)=(J|M)=P P(J)?(J)?NoNoP P(A|J,M)=(A|J,M)=P P(A|J)(A|J)?P P(A|J,M)=(A|J,M)=P P(A)(A)?Example第41页/共93页第四十二页,编辑于星期二:十点 一分。n nSuppose we choose the ordering Suppose we choose the ord
41、ering M,J,A,B,EM,J,A,B,EP P(J|M)=(J|M)=P P(J)?(J)?NoNoP P(A|J,M)=(A|J,M)=P P(A|J)(A|J)?P P(A|J,M)=(A|J,M)=P P(A)(A)?NoNoP P(B|A,J,M)=(B|A,J,M)=P P(B|A)(B|A)?P P(B|A,J,M)=(B|A,J,M)=P P(B)(B)?Example第42页/共93页第四十三页,编辑于星期二:十点 一分。n nSuppose we choose the ordering M,J,A,B,ESuppose we choose the ordering M
42、,J,A,B,EP P(B|A,J,M)=(B|A,J,M)=P P(B|A)(B|A)?Yes Yes(JohnCalls and MaryCalls increase the chance of alarm.)(JohnCalls and MaryCalls increase the chance of alarm.)P P(B|A,J,M)=(B|A,J,M)=P P(B)(B)?NoNoP P(E|B,A,J,M)=(E|B,A,J,M)=P P(E|B)(E|B)?P P(E|B,A,J,M)=(E|B,A,J,M)=P P(E|A,B)(E|A,B)?Example第43页/共93
43、页第四十四页,编辑于星期二:十点 一分。n nSuppose we choose the ordering M,J,A,B,ESuppose we choose the ordering M,J,A,B,EP P(J|M)=(J|M)=P P(J)?(J)?NoNo P P(A|J,M)=(A|J,M)=P P(A|J)(A|J)?P P(A|J,M)=(A|J,M)=P P(A)(A)?NoNoP P(B|A,J,M)=(B|A,J,M)=P P(B|A)(B|A)?YesYesP P(B|A,J,M)=(B|A,J,M)=P P(B)(B)?NoNoP P(E|B,A,J,M)=(E|B,
44、A,J,M)=P P(E|B)(E|B)?NoNoP P(E|B,A,J,M)=(E|B,A,J,M)=P P(E|B,A)(E|B,A)?Yes Yes(P P(E|B,A)(E|B,A)P P(E|A)(E|A)P P(E|B,A,J,M)=(E|B,A,J,M)=P P(E|A)(E|A)?NoNoExample第44页/共93页第四十五页,编辑于星期二:十点 一分。Example contd.n nNetwork is less compact:1+2+4+2+4=13 numbers neededNetwork is less compact:1+2+4+2+4=13 numbers
45、 neededn nDeciding conditional independence is hard in noncausal directionsDeciding conditional independence is hard in noncausal directionsn n(Causal models and conditional independence seem hardwired for humans!)(Causal models and conditional independence seem hardwired for humans!)第45页/共93页第四十六页,
46、编辑于星期二:十点 一分。条件独立关系n n贝叶斯网络中节点相互独立贝叶斯网络中节点相互独立(下面两个定义等价下面两个定义等价):(1)给定父节点,一个节点与它的非后代节点是条件独立的;(2)给定一个节点的父节点、子节 点 以 及 子 节 点 的 父 节 点(Markov blanket),这个节点对于其它节点都是条件独立的。n n图示,例子 第46页/共93页第四十七页,编辑于星期二:十点 一分。条件独立关系图示条件独立关系图示 U1UmXZ1jZnjY1YnU1UmXZ1jZnjY1Yn给定父节点,一个节点与它的非后代节点是条件独立的JohnCall给定一个节点的父节点、子节点以及子节点的
47、父节点,这个节点对于其它节点都是条件独立的。Burglary第47页/共93页第四十八页,编辑于星期二:十点 一分。条件分布的有效表达:条件分布的有效表达:noisy-ORnoisy-ORn n贝贝叶叶斯斯网网络络中中尽尽管管父父节节点点个个数数k k很很小小,但但是是要要完完成成条条件概率表仍需要件概率表仍需要O(2O(2k k)数据;数据;n n如如果果找找到到了了变变量量依依赖赖的的某某种种关关系系,则则可可以以用用O(k)O(k)个个参参数数完完成成条条件件概概率率表表噪噪声声或或(noisy-OR)(noisy-OR)关关系系用用于于刻刻画画不不确确定关系定关系(逻辑或的推广逻辑或的
48、推广);n n噪噪声声或或关关系系考考虑虑到到每每个个父父节节点点引引起起子子节节点点为为真真的的能能力力的的不不确确定定性性:父父节节点点条条件件为为真真但但子子节节点点的的结结果果未未必必为真。为真。第48页/共93页第四十九页,编辑于星期二:十点 一分。噪声或关系(1)n n例子:例子:n n发烧发烧(fever)(fever)为真,当且仅当以下三者之一为真:感冒为真,当且仅当以下三者之一为真:感冒(cold)/(cold)/流感流感(flu)/(flu)/疟疾疟疾(malaria)(malaria)n n但是可能病人得了以上疾病却没有发烧症状但是可能病人得了以上疾病却没有发烧症状n n
49、这就是父节点为真其子节点未必真的不确定性这就是父节点为真其子节点未必真的不确定性即即父子关系父子关系被抑制被抑制n n此时可以认为:此时可以认为:feverfever为假当且仅当所有为真的为假当且仅当所有为真的父节点被父节点被抑制,其概率为每个父节点被抑制的概率的乘积抑制,其概率为每个父节点被抑制的概率的乘积n n两条假设两条假设n n所有原因已经列出所有原因已经列出n n每个父节点的抑制独立于其他父节点的抑制每个父节点的抑制独立于其他父节点的抑制 第49页/共93页第五十页,编辑于星期二:十点 一分。噪声或关系(2)n n假设每个单独抑制的概率如下假设每个单独抑制的概率如下n n P(fev
50、er|cold,flu,malaria)=0.6P(fever|cold,flu,malaria)=0.2P(fever|cold,flu,malaria)=0.1n n目的:目的:n n为建立一个完整的条件概率表,大大减少所需参数,如:为建立一个完整的条件概率表,大大减少所需参数,如:n nP(fever|cold,flu,malaria)=0.2*0.1=0.02 P(fever|cold,flu,malaria)=0.6*0.2*0.1=0.012 P(fever|cold,flu,malaria)=1-0.012=0.988第50页/共93页第五十一页,编辑于星期二:十点 一分。噪声或