《贝叶斯统计与决策讲座.pptx》由会员分享，可在线阅读，更多相关《贝叶斯统计与决策讲座.pptx（89页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、STATISTICS PROBABILITYPROBABILITY&STATISTICSPROBABILITYSTATISTICS STATISTICS PROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYPROBABILITY&STATISTICS-4-2024PROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYPROBABILITYSTATISTICS STATISTICS 贝叶斯统计与决
2、策吴志雄吴志雄 统计学中有二个主要学派：频率学派和统计学中有二个主要学派：频率学派和贝叶斯学派。贝叶斯学派的起点是贝叶斯的两贝叶斯学派。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设，贝叶斯定项工作：贝叶斯定理和贝叶斯假设，贝叶斯定理（或贝叶斯公式）在通常的概率论教科书中理（或贝叶斯公式）在通常的概率论教科书中都有叙述，而贝叶斯假设几乎都不提及。在统都有叙述，而贝叶斯假设几乎都不提及。在统计推断的基本理论和方法方面，贝叶斯学派与计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在着重大差异。频率学派之间存在着重大差异。引言引言讲座内容讲座内容1 1 贝叶斯统计概述贝叶斯统计概述
3、2 2 先验分布的确定先验分布的确定3 3 贝叶斯统计推断贝叶斯统计推断4 4 贝叶斯决策贝叶斯决策1 1 贝叶斯统计概述贝叶斯统计概述 1.1 1.1 全概率公式与贝叶斯公式全概率公式与贝叶斯公式引例引例有三个箱子，分别编号为有三个箱子，分别编号为1,2,3。1号箱装有号箱装有1个红球个红球4个白球，个白球，2号箱装有号箱装有2红红3白球，白球，3号箱装号箱装有有3红球红球.某人从三箱中任取一箱，从中任意摸某人从三箱中任取一箱，从中任意摸出一球，（出一球，（1）求取得红球的概率。（）求取得红球的概率。（2）已知）已知取出的是红球，求此球来自取出的是红球，求此球来自1号箱的概率。号箱的概率。(
4、1)解：记解：记 Bi=球取自球取自i 号箱号箱,i=1,2,3;A=取得红球取得红球B1A,B2A,B3A 两两互斥两两互斥将将此此例例中中所所用用的的方方法法推推广广到到一一般般的的情情形形，就就得得到在概率计算中常用的到在概率计算中常用的全概率公式。依题意，依题意，P(A|B1)=1/5,P(A|B2)=2/5,P(A|B3)=3/3(2)解：解：引例引例有三个箱子，分别编号为有三个箱子，分别编号为1,2,3。1号箱装有号箱装有1个红球个红球4个白球，个白球，2号箱装有号箱装有2红红3白球，白球，3号箱装号箱装有有3红球红球.某人从三箱中任取一箱，从中任意摸出某人从三箱中任取一箱，从中任
5、意摸出一球，（一球，（1）求取得红球的概率。（）求取得红球的概率。（2）已知取出）已知取出的是红球，求此球来自的是红球，求此球来自1号箱的概率。号箱的概率。Bayes公式这类问题，是这类问题，是“已知结果求原因已知结果求原因”是已知是已知某结果发生条件下，求各原因发生可能性大小。某结果发生条件下，求各原因发生可能性大小。设设B1,B2,Bn是是两两两两互互斥斥的的事事件件，且且P(Bi)0，i=1,2,n,另另有有一一事事件件A，它它总总是是与与B1,B2,Bn 之之一同时发生，则一同时发生，则称称P(Bi)为为先验概率先验概率，它是由以往的经，它是由以往的经验得到的，它是事件验得到的，它是事
6、件 A的原因。的原因。称称为为后验概率后验概率，它是得到了信息，它是得到了信息A发生，再对导致发生，再对导致 A发生的原因发生的原因Bi发生的发生的可能性大小重新加以修正。可能性大小重新加以修正。后来的学者依据贝叶斯公式的思想发展了后来的学者依据贝叶斯公式的思想发展了一整套统计推断方法，叫作一整套统计推断方法，叫作“贝叶斯统计贝叶斯统计”。可见贝叶斯公式的影响可见贝叶斯公式的影响 。例例1.1用用Bayes公式分析伊索寓言公式分析伊索寓言孩子与狼孩子与狼中中村民对小孩的信赖程度是如何下降的。村民对小孩的信赖程度是如何下降的。解解:A：小孩说谎；小孩说谎；B：小孩可信；小孩可信；小孩第说一次谎后
7、的可信度为：小孩第说一次谎后的可信度为：不妨设：不妨设：P(B)=0.8；小孩第说二次谎后的可信度为：小孩第说二次谎后的可信度为：1.2贝叶斯统计贝叶斯统计贝叶斯统计学的基础是著名的贝叶斯公式，它是贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（英国学者贝叶斯（T.R.Bayes17021761）在他死后二在他死后二年发表的一篇论文论有关机遇问题的求解中提出年发表的一篇论文论有关机遇问题的求解中提出的。经过二百年的研究与应用，贝叶斯的统计思想得的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派到很大的发展，目前已形成一个统计学派贝叶斯学贝叶斯学派。为了
8、纪念他，英国历史最悠久的统计杂志派。为了纪念他，英国历史最悠久的统计杂志Biometrika在在1958年又全文刊登贝叶斯的这篇论年又全文刊登贝叶斯的这篇论文。文。1.总体信息：总体分布或所属分布族提供给我们的总体信息：总体分布或所属分布族提供给我们的信息信息2.样本信息：从总体抽取的样本提供给我们的信息样本信息：从总体抽取的样本提供给我们的信息3.先验信息：在抽样之前有关统计推断的一些信息先验信息：在抽样之前有关统计推断的一些信息1.2.1统计推断中可用的三种信息统计推断中可用的三种信息1.2.2 1.2.2 贝叶斯学派与频率学派之间存在重大差异贝叶斯学派与频率学派之间存在重大差异1)频率统
9、计学派与贝叶斯学派在进行统计推频率统计学派与贝叶斯学派在进行统计推断时的断时的依据不同依据不同；2)对概率的概念的对概率的概念的理解不同理解不同；3)两个学派的具体统计推断理念之间存在两个学派的具体统计推断理念之间存在根根本差异。本差异。1)统计推断时的依据不同统计推断时的依据不同频率统计学派在进行统计推断时，依据两类信息：频率统计学派在进行统计推断时，依据两类信息：总体信息（或模型信息）和样本信息（数据信息）总体信息（或模型信息）和样本信息（数据信息），而贝叶斯学派则除了以上两种信息外，还利用，而贝叶斯学派则除了以上两种信息外，还利用另外一种信息即先验信息。另外一种信息即先验信息。在概率论与
10、数理统计中讨论的点估计只使用在概率论与数理统计中讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统典统计学，三种信息都用的统计学称为贝叶斯统计学。计学。2)对概率的概念的理解不同对概率的概念的理解不同频率学派坚持概率的频率解释，并在频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论；这个基础上去理解一切统计推断的结论；与
11、此相反，贝叶斯学派赞成主观概率，概与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相率是认识主体对事件出现可能性大小的相信程度，它不依赖事件能否重复；信程度，它不依赖事件能否重复；3)两个学派统计推断理念之间存在着根本差异两个学派统计推断理念之间存在着根本差异 统统计计学学奠奠基基人人费费歇歇尔尔把把统统计计学学的的任任务务概概括括为为三三个个问问题题：选选定定模模型型、确确定定统统计计量量和和决决定定统统计计量量的的分分布布。根根据据费费歇歇尔尔的的观观点点，信信息息量量包包含含在在样样本本中中，但但样样本本为为数数众众多多，因因此此须须用用少少数数几几个个统统计计量量
12、把把信信息息集集中中起起来来，而而抽抽样样分分布布则则决决定定了了统统计计量量的的全全部部性性质质；目目前前，频频率率统统计计学学派派基基本本上上是是按按照照这这种思路来处理统计推断问题的。种思路来处理统计推断问题的。贝贝叶叶斯斯学学派派认认为为：先先验验分分布布反反映映了了试试验验前前对对总总体体参参数数分分布布的的认认识识，在在获获得得样样本本信信息息后后，对对这这个个认认识识有有了了改改变变，其其结结果果就就反反映映在在后后验验分分布布中中，即即后后验验分分布布综综合合了了先先验验分分布布和和样样本本的的信信息息。由由此此可可以以看看出出，频频率率学学派派统统计计推推断断是是“从从无无到
13、到有有”的的过过程程在在试试验验前前，关关于于位位置置参参数数的的情情况况是是一一无无所所知知，而而试试验验后后则则有有些些了了解解，但但了了解解多多少少？并并无无普普遍遍的的表表述述方方法法，在在实实践践中中有有赖赖于于所所使使用用的的统统计计量量的的针针对对性性；贝贝叶叶斯斯统统计计推推断断则则不不然然，它它是是一一个个“从从有有到到有有”的的过过程程，且且结结果果清清楚楚自自然然，符符合合人人们们的的思思维维习习惯惯根根据据所所获获得得的的信信息息修修正正以以前前的的看看法法，不不一一定定从从零零开开始始，从从本本质质上上说说，贝贝叶叶斯斯推推断断理理论论概概括括了了多多数数成成年年人人
14、的的学学习过程。习过程。但但是是最最主主要要的的差差别别，也也是是贝贝叶叶斯斯理理论论的的一一个个重重要要特特征征，在在于于只只能能基基于于后后验验分分布布，也也就就是是说说，在在获获得得后后验验分分布布后后，如如果果把把样样本本、原原来来的的统统计计模模型型都都丢丢掉掉，一一点点也也不不会会影影响响将将来来的的推推断断，凡凡是是符符合合这这个个准准则则的的推推断断就就是是贝贝叶叶斯斯推推断断。据据此此，矩矩估估计计、显显著著性性统统计计检检验验和和置置信信区区间间估估计计都都不不属属于于贝贝叶叶斯斯推推断断，但但最最大大似似然然估估计计则则可可视视为为均均匀匀先先验验分分布布之之下下的的贝贝
15、叶叶斯斯推推断断，因因此此，作作为为频频率率学学派派中中一一个个很很重重要要的的极极大大似似然然估估计计，其其实实，它它只只不不过过是是在在一一种种很特殊先验分布下的贝叶斯估计而已。很特殊先验分布下的贝叶斯估计而已。1.3.1贝叶斯公式的三种形式贝叶斯公式的三种形式1.1.贝叶斯公式的事件形式：贝叶斯公式的事件形式：假定假定是互不相容的事件，它是互不相容的事件，它们之和们之和包含事件包含事件B，即，即，则有：，则有：1.3贝叶斯公式贝叶斯公式假假设设随随机机变变量量X有有一一个个密密度度函函数数p(x;)，其其中中是是一一个个参参数数，不不同同的的对对应应不不同同的的密密度度函函数数，故故从从
16、贝贝叶叶斯斯观观点点看看，p(x;)是是在在给给定定后后的的一一个个条条件件密密度度函函数数，因因此此记记为为p(x)更更恰恰当当一一些些。这这个个条条件件密密度度能能提提供供我我们的有关的们的有关的信息就是总体信息。信息就是总体信息。假假设设当当给给定定后后，从从总总体体p(x)中中随随机机抽抽取取一一个个样样本本X1，Xn，该该样样本本中中含含有有的的有有关关信信息息。这这种种信信息就是样本信息。息就是样本信息。2.2.贝叶斯公式的密度函数形式：贝叶斯公式的密度函数形式：在在给给出出贝贝叶叶斯斯公公式式的的密密度度函函数数形形式式之之前前，先先介介绍绍以下贝叶斯学派的一些具体思想或者叫着基
17、本假设以下贝叶斯学派的一些具体思想或者叫着基本假设：假设假设从贝叶斯观点来看，未知参数从贝叶斯观点来看，未知参数是一个随机变量。而描是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用为先验分布，其密度函数用()表示。表示。（1）先验分布先验分布定义定义1将总体中的未知参数将总体中的未知参数看成一取值于看成一取值于的随机变量，的随机变量，它有一概率分布，记为它有一概率分布，记为()，称为参数称为参数的先验分布。的先验分布。（2）后验分布后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的最好在贝
18、叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本形式是在总体分布基础上获得的样本X1，Xn，和参数的和参数的联合密度函数：联合密度函数：在在这这个个联联合合密密度度函函数数中中。当当样样本本给给定定之之后后，未未知知的的仅仅是是参参数数了了，我我们们关关心心的的是是样样本本给给定定后后，的的条条件件密密度度函函数数，依据密度的计算公式，容易获得这个条件密度函数：依据密度的计算公式，容易获得这个条件密度函数：这就是贝叶斯公式的密度函数形式，其中这就是贝叶斯公式的密度函数形式，其中称为称为的的后验密度函数后验密度函数，或，或后验分布后验分布。而。而：是是样样本本的的边边
19、际际分分布布，或或称称样样本本的的无无条条件件分分布布，它的积分区域就是参数它的积分区域就是参数的取值范围，随具体情况而定。的取值范围，随具体情况而定。3.3.3.3.贝叶斯公式的离散形式：贝叶斯公式的离散形式：贝叶斯公式的离散形式：贝叶斯公式的离散形式：当当是离散随机变量时，先验分布可用先是离散随机变量时，先验分布可用先验分布列验分布列(i)，这时后验分布也是离散形，这时后验分布也是离散形式：式：假如总体假如总体X也是离散的，则只须将也是离散的，则只须将p(x|)换换成成P(X=x|)即可。即可。前面的分析总结如下：人们根据先验信息对参前面的分析总结如下：人们根据先验信息对参数数已有一个认识
20、，这个认识就是先验分布已有一个认识，这个认识就是先验分布()()。通过试验，获得样本。从而对通过试验，获得样本。从而对的先验分布进行调的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布的结果就是后验分布 。后验分布是三。后验分布是三种信息的综合。获得后验分布使人们对种信息的综合。获得后验分布使人们对的认识又的认识又前进一步，可看出，获得样本的的效果是把前进一步，可看出，获得样本的的效果是把我们对我们对的认识由的认识由()调整到调整到。所以对。所以对的统计的统计推断就应建立在后验分布推断就应建立在后验分布的基础上的基础上。1
21、.3.2后验分布是三种信息的综合后验分布是三种信息的综合例例1.2设设事事件件A的的概概率率为为，即即。为为了了估估计计而而作作n次次独独立立观观察察，其其中中事事件件A出出现现次次数数为为X，则则有有X服服从从二二项项分布分布即即解题步骤：解题步骤：1.1.作贝叶斯假设。如果此时我们对事件作贝叶斯假设。如果此时我们对事件A的发生的发生没有任何了解，对没有任何了解，对 的大小也没有任何信息。在这种情况下，的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（贝叶斯建议用区间（0，1）上的均匀分布作为）上的均匀分布作为的先验分布。的先验分布。因为它在（因为它在（0，1）上每一点都是机会均等的。因
22、此：）上每一点都是机会均等的。因此：2.计算样本计算样本X与参数与参数的联合分布：的联合分布：此式在定义域上与二项分布有区别。此式在定义域上与二项分布有区别。如何求出后验分布？如何求出后验分布？即：即：5.具具体体算算例例。拉拉普普拉拉斯斯计计算算过过这这个个概概率率,研研究究男男婴婴的的诞诞生生比比例例是是否否大大于于0.5?如如抽抽了了251527个个男男婴婴,女女婴婴241945个个。他他选选用用U(0，1)作作为为的的先先验验分分布布，于于是是可可得得的的后后验验分分布布Be(x+1,n-x+1),其其中中n=251527+241945=493472，x=251527。由此拉普拉斯计算
23、了由此拉普拉斯计算了“0.5”的后验概率：的后验概率：故他断言男婴诞生的概率大于故他断言男婴诞生的概率大于0.5。4.利用贝叶斯公式可得利用贝叶斯公式可得的后验分布：的后验分布：3.计算计算X的边际密度为的边际密度为:注：伽玛函数与贝塔分布简介：注：伽玛函数与贝塔分布简介：定义：定义：定义在定义在0，1上，且用密度函数：上，且用密度函数：表示的概率分布称为贝塔分布，记为表示的概率分布称为贝塔分布，记为B Be e(p,qp,q)。特例：特例：当当p=q=1时，时，Be(1,1)(1,1)分布即为区间分布即为区间 00，11上的均匀分布；上的均匀分布；当当p=q=1/2，Be(1/2,1/2)(
24、1/2,1/2)分布称为反正弦分布称为反正弦分布，分布，密度函数为：密度函数为：设设，则，则的密度函数为：的密度函数为：即：即：为什么将贝塔分布作为为什么将贝塔分布作为的先验分布族是恰当的？的先验分布族是恰当的？(1)参数参数是废品率，它仅在（是废品率，它仅在（0，1）上取值。因此，必需用）上取值。因此，必需用区间（区间（0，1）上的一个分布去拟合先验信息。）上的一个分布去拟合先验信息。分布正是分布正是这样一个分布。这样一个分布。(2)分布含有两个参数分布含有两个参数p与与q，不同的不同的p与与q就对应不同的先验就对应不同的先验分布，因此这种分布的适应面较大。分布，因此这种分布的适应面较大。(
25、3)样样本本X的的分分布布为为二二项项分分布布b(n,)时时，假假如如的的先先验验分分布布为为分分布布，则则用用贝贝叶叶斯斯估估计计算算得得的的后后验验分分布布仍仍然然是是分分布布，只只是是其其中中的的参参数数不不同同。这这样样的的先先验验分分布布(分分布布)称称为为参参数数的的共共轭轭先先验验分分布布。选选择择共共轭轭先先验验分分布布在在处处理理数数学学问问题题上上带带来来不不少少方方便。便。例例例例1.3 1.3 1.3 1.3 投资决策问题投资决策问题投资决策问题投资决策问题为了提高某产品的质量，公司经理考虑增加投为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资资来改
26、进生产设备，预计需投资10100 0万元，但从投万元，但从投资效果看，下属部门有两种意见：资效果看，下属部门有两种意见：1 1 ：改进生产设备后，高质量产品可占：改进生产设备后，高质量产品可占90%90%2 2：改进生产设备后，高质量产品可占：改进生产设备后，高质量产品可占70%70%问：公司经理怎样决策？问：公司经理怎样决策？根据过去的经验知：根据过去的经验知：1 1的可信度为的可信度为40%40%，2 2的可信度为的可信度为60%60%试验试验A，A：试制：试制5个产品，全是高质量的产品个产品，全是高质量的产品试验试验B，B：试制：试制10个产品，个产品，9个是高质量的产品个是高质量的产品
27、1.4共轭先验分布共轭先验分布1.4.11.4.1共轭先验分布共轭先验分布定义定义1.1设设是总体分布中的参数（或参数向是总体分布中的参数（或参数向量），量），()是是的先验密度函数，假如由抽样的先验密度函数，假如由抽样信息算得的后验密度函数与信息算得的后验密度函数与()有相同的形式，有相同的形式，则称则称()是是的（自然）共轭先验分布。的（自然）共轭先验分布。注意：共轭先验分布是对某一分布中的参数而注意：共轭先验分布是对某一分布中的参数而言的。如正态均值、正态方差、泊松均值等。离开言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没指定参数及其所在的分布去
28、谈论共轭先验分布是没有意义的。有意义的。1.4.2样简化后验分布的计算样简化后验分布的计算 省略常数因子省略常数因子省略常数因子省略常数因子 在给定样本分布在给定样本分布p(x|)和先验分布和先验分布()后可用贝叶后可用贝叶斯公式计算斯公式计算的后验分布：的后验分布：()=p(x|)()/m(x)，由，由于于m(x)不依赖于不依赖于，在计算，在计算的后验分布中仅起到一的后验分布中仅起到一个正则化因子的作用。假如把个正则化因子的作用。假如把m(x)省略，把贝叶斯省略，把贝叶斯公式改写成如下等价形式：公式改写成如下等价形式：其中符号其中符号“”表示两边仅差一个常数因子，一个不表示两边仅差一个常数因
29、子，一个不依赖于依赖于的常数因子。上式右端称为后验分布的常数因子。上式右端称为后验分布的核。的核。例例例例1.4 1.4 1.4 1.4 证明：二项分布的成功概率证明：二项分布的成功概率证明：二项分布的成功概率证明：二项分布的成功概率 的共轭先验分布是的共轭先验分布是的共轭先验分布是的共轭先验分布是贝塔分布。贝塔分布。贝塔分布。贝塔分布。1.4.3共轭先验分布的优缺点共轭先验分布的优缺点共轭先验分布在很多场合被采用，因为它共轭先验分布在很多场合被采用，因为它有两个优点：有两个优点：（1）计算方便。）计算方便。（2）后验分布的一些参数可得到很好的解释。）后验分布的一些参数可得到很好的解释。不足：
30、怎样找到合适的先验分布？不足：怎样找到合适的先验分布？1.4.4常用的一些共轭先验分布常用的一些共轭先验分布共轭先验分布选取的一般原则：共轭先验分布选取的一般原则：是由似然函数是由似然函数L()=p(x|)中所含的因式所中所含的因式所决定的，即选与似然函数具有相同核的分布作决定的，即选与似然函数具有相同核的分布作为先验分布。为先验分布。常用的一些共轭分布常用的一些共轭分布常用的一些共轭分布常用的一些共轭分布总体分布参数共轭先验分布后验分布的期望正态分布均值正态分布正态分布方差倒分布IGa(a,b)二项分布 成功概率 分布Poisson分布 均值 分布Ga(a,b)指数分布均值的倒数 分布Ga(
31、a,b)1.5超参数及其确定超参数及其确定一、超参数的定义：先验分布中所含的未知参数称为一、超参数的定义：先验分布中所含的未知参数称为超参数超参数二、估计方法：共轭先验分布是一种有信息的先验分二、估计方法：共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来布，故其中所含的超参数应充分利用各种先验信息来确定它，下面用一个例子来介绍目前国内外文献中对确定它，下面用一个例子来介绍目前国内外文献中对超参数的估计方法：超参数的估计方法：问题：二项分布中成功概率问题：二项分布中成功概率的共轭先验分布是贝的共轭先验分布是贝塔分布塔分布Be(,)，怎样确定两个超参数，怎样确定两个超
32、参数和和？1.5.1利用先验矩：利用先验矩：1.5.2.利用先验分位数：利用先验分位数：假如根据先验信息可以确定贝塔分布的二假如根据先验信息可以确定贝塔分布的二个分位数，则可用这两个分位数来确定个分位数，则可用这两个分位数来确定与与，譬如用两个上、下四分位数，譬如用两个上、下四分位数U与与L来确来确定定与与，U与与L分别满足如下二个方程：分别满足如下二个方程：从这两个方程解出从这两个方程解出与与即可确定超参数。即可确定超参数。1.5.3.利用先验矩和先验分位数利用先验矩和先验分位数假如根据先验信息可获得先验均值假如根据先验信息可获得先验均值和和p分分位数位数，则可列出下列方程：，则可列出下列方
33、程：由此可解出由此可解出与与的估计值。的估计值。1.5.4.其它方法其它方法2.1主观概率主观概率1.贝叶斯学派要研究的问题：如何用人们的经贝叶斯学派要研究的问题：如何用人们的经验和过去的历史资料确定概率和先验分布。验和过去的历史资料确定概率和先验分布。2.经典统计确定概率的两种方法：经典统计确定概率的两种方法：（1）古典方法；）古典方法；（2）频率方法。）频率方法。3.主观概率的定义：一个事件的概率是人们根主观概率的定义：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信据经验对该事件发生可能性所给出的个人信念。念。2 2 先验分布的确定先验分布的确定2.2确定主观概率的方法确定主
34、观概率的方法1.1.利用对立事件的比较确定主观概率利用对立事件的比较确定主观概率；2.2.利用专家意见确定主观概率；利用专家意见确定主观概率；3.3.向多位专家咨询确定主观概率向多位专家咨询确定主观概率 ；4.4.充分利用历史资料，考虑现有信息加以修正充分利用历史资料，考虑现有信息加以修正,才才能得到比较切合实际的主观概率能得到比较切合实际的主观概率 。45452.3利用先验信息确定先验分布利用先验信息确定先验分布当先验信息足够多时，可用下列方法：当先验信息足够多时，可用下列方法：一、直方图法一、直方图法二、选定先验密度函数形式再估计其超参数二、选定先验密度函数形式再估计其超参数三、定分度法与
35、变分度法三、定分度法与变分度法 2.4利用边缘分布利用边缘分布m(x)确定先验密度确定先验密度46462.5无信息先验分布无信息先验分布一、贝叶斯假设与广义先验分布一、贝叶斯假设与广义先验分布二、位置二、位置-尺度参数的无信息先验尺度参数的无信息先验三、三、Jeffreys先验先验四、四、Reference先验先验五、概率匹配先验五、概率匹配先验3 3 贝叶斯统计推断贝叶斯统计推断3.1 3.1 条件方法条件方法 1.后后验验分分布布的的特特点点：未未知知参参数数的的后后验验分分布布是是集集三三种种信信息息（总总体体、样样本本和和后后验验）于于一一身身，它它包包含含了了所所有有可可供供利利用用
36、的的信信息息。故故有有关关的的参参数数估估计计和和假假设设检检验验等等统统计计推推断断都都按按一一定定方方式式从从后后验验分分布布提提取取信信息息，其其提提取取方方法法与与经典统计推断相比要简单明确得多。经典统计推断相比要简单明确得多。2.条条件件方方法法的的基基本本思思想想：基基于于后后验验分分布布的的统统计计推推断断实实际际上上只只考考虑虑已已出出现现的的数数据据（样样本本观观察察值值）而而认认为为未未出出现现的的数数据据与与推推断断无无关关，这这一一重重要要的的观观点点被被称称为为“条条件件观观点点”，基基于于这这种种观观点点提提出出的的统统计计方方法法被被称称为为条条件件方方法。法。3
37、.条条件件方方法法与与频频率率方方法法的的区区别别：(以以对对估估计计的的无无偏偏性性认认识识为为例例)例如经典统计学认为参数的无偏估计应满足：例如经典统计学认为参数的无偏估计应满足：其中平均是对样本空间中所有可能出现的样本而求的，可实其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本尚为出现过，而多数从未出现际中样本空间中绝大多数样本尚为出现过，而多数从未出现的样本也要参与平均是实际工作者难以理解的。故在贝叶斯的样本也要参与平均是实际工作者难以理解的。故在贝叶斯推断中不用无偏性，而条件方法是容易被实际工作者理解和推断中不用无偏性，而条件方法是容易被实际工作者理解和
38、接受的。接受的。3.2 3.2 估计估计1.1.贝叶斯估计贝叶斯估计定定义义3.1使使后后验验密密度度达达到到最最大大的的值值称称为为最最大大后后验验估估计计；后后验验分分布布的的中中位位数数称称为为后后验验中中位位数数估估计计；后后验验分分布布的的期期望望值值称称为为的的后后验验期期望望值值估估计计，这这三三个个估估计计都都称称为贝叶斯估计，记为为贝叶斯估计，记为。解题的基本步骤：解题的基本步骤：2分析后验分布的特征：分析后验分布的特征：对称分布对称分布例例3 3.2为估计不合格率为估计不合格率 ，今从一批产品中随机抽取，今从一批产品中随机抽取n件，件，其中不合格品数其中不合格品数X服从服从
39、 ，一般选取，一般选取 为为 的的先验分布，设先验分布，设 已知，求已知，求 的的Bayes估计。估计。解：由共轭先验分布可知，解：由共轭先验分布可知，的后验分布为：的后验分布为：则得：则得：特例：选用贝叶斯假设作为先验分布，即特例：选用贝叶斯假设作为先验分布，即则则：第第一一、在在二二项项分分布布时时，的的最最大大后后验验估估计计就就是是经经典典统统计计中中的的极极大大似似然然估估计计，即即的的极极大大似似然然估估计计就就是是取取特特定的先验分布下的贝叶斯估计。定的先验分布下的贝叶斯估计。第二、第二、的后验期望值估计的后验期望值估计 要比最大后验估计要比最大后验估计 更合适一些。更合适一些。
40、注意注意:试验号试验号样本量样本量n不合格不合格数数x13000.200210000.08333310.8004101010.917表表表表3.1 3.1 不合格率不合格率不合格率不合格率 的二种贝叶斯估计的比较的二种贝叶斯估计的比较的二种贝叶斯估计的比较的二种贝叶斯估计的比较3.3区间估计区间估计(可信区间可信区间)一、可信区间一、可信区间这这里里的的可可信信水水平平和和可可信信区区间间与与经经典典统统计计中中的的置置信信水水平平与与置置信信区区间间虽虽是是同同类类的的概概念念，但但两两者者还还是是有有本本质质的的差差别别，主主要要表现在下面二点表现在下面二点:1.在在条条件件方方法法下下,
41、对对给给定定的的样样本本x和和可可信信水水平平1-，通通过过后后验验分分布布可可求求得得具具体体的的可可信信区区间间，譬譬如如，的的可可信信水水平平为为0.9的的可可信区间是信区间是1.5，2.6，这时我们可以写出，这时我们可以写出2.在在经经典典统统计计中中寻寻求求置置信信区区间间有有时时是是困困难难的的，因因为为它它要要设设法法构构造造一一个个枢枢轴轴量量（含含有有被被估估计计参参数数的的随随机机变变量量），使使它它的的分分布布不不含含未未知知参参数数，这这是是一一项项技技术术性性很很强强的的工工作作。相相比比之之下下可可信信区区间间只只要要利利用用后后验验分分布布，不不需需要要再再去去寻
42、寻求求另另外外的的分分布布，可信区间的寻求要简单得多。可信区间的寻求要简单得多。例例3.3 3.3 设设 是来自正态总体是来自正态总体 的的一个样本观察值，其中一个样本观察值，其中 已知已知,若正态均值的先验分若正态均值的先验分布取为布取为 ，其中，其中 与与 已知，则可求得已知，则可求得 的后的后验分布为验分布为 ，由此很容易获得，由此很容易获得 的的 可信可信 区间区间：其中其中是标准正态分布是标准正态分布1-/2/2的分位数。的分位数。3.4假设检验假设检验3.4.1 3.4.1 假设检验假设检验经典统计中处理假设检验问题的基本步骤：经典统计中处理假设检验问题的基本步骤：1.建立原假设建
43、立原假设H0与备择假设与备择假设H1：H0：0，H1：1其中其中0与与1是参数空间是参数空间中不相交的二个非空子集。中不相交的二个非空子集。2.选择检验统计量选择检验统计量T=T(x)，使其在原假设，使其在原假设H0为真时概率为真时概率分布是已知的。这是在经典方法中最困难的一步。分布是已知的。这是在经典方法中最困难的一步。3.对给定的显著性水平对给定的显著性水平(011时接受时接受时接受时接受HH0 0；当当当当 0 0/1 111时接受时接受时接受时接受HH1 1；当当当当 0 0/1 111时，不宜做判断，还需要进一步抽样或进时，不宜做判断，还需要进一步抽样或进时，不宜做判断，还需要进一步
44、抽样或进时，不宜做判断，还需要进一步抽样或进一步收集先验信息。一步收集先验信息。一步收集先验信息。一步收集先验信息。5959由这两个学派假设检验的基本思想可看出贝由这两个学派假设检验的基本思想可看出贝由这两个学派假设检验的基本思想可看出贝由这两个学派假设检验的基本思想可看出贝叶斯假设检验更易理解更简单：叶斯假设检验更易理解更简单：叶斯假设检验更易理解更简单：叶斯假设检验更易理解更简单：1.贝叶斯假设检验无需选择检验统计量，贝叶斯假设检验无需选择检验统计量，确定抽样分布；确定抽样分布；2.无需事先给出显著性水平，确定其拒绝无需事先给出显著性水平，确定其拒绝域；域；3.易推广到多重假设检验的场合，
45、检验的易推广到多重假设检验的场合，检验的标准是：接受具有最大后验概率的假设。标准是：接受具有最大后验概率的假设。4贝叶斯决策贝叶斯决策 4.1 4.1 决策理论基础决策理论基础4.1.1 4.1.1 决策问题的三要素决策问题的三要素1.状状态态集集,其其中中每每个个元元素素表表示示自自然然界界(或或社社会会)可可能能出出现现的的一一种种状状态态,所所有有可可能能状状态态的的全全体体组组成成状状态态集集.（如如例例2中中的的两两种种状状态态：雨雨水水充充足和雨水不充足）足和雨水不充足）2.行行动动集集,其其中中a表表示示人人对对自自然然界界可可能能采采取取的一个行动的一个行动.注注意意：一一般般
46、行行动动集集有有两两个个以以上上的的行行动动供供选选择择.若若有有两两个个行行动动无无论论对对自自然然界界的的哪哪一一个个状状态态出出现现,总总比比收收益益高高,则则就就没没有有存存在在的的必必要要,可可把把它它从从行行动集中去掉动集中去掉,使留在行动集中的行动总有可取之处使留在行动集中的行动总有可取之处.3.3.收益函数收益函数 。函数值函数值 表示当自然界表示当自然界处于状态处于状态 ,而人们选取行动而人们选取行动 时所得到的收益大小时所得到的收益大小。收收益益函函数数的的值值可可正正可可负负，其其正正表表示示赢赢利利，负负表表示示亏亏损损，单单位位常常用用货货币币单单位位。收收益益函函数
47、数的的建建立立不不是是件件容容易易的的事事，要要对对所所研研究究的的问问题题有有全全面面的的了了解解才才能能建建立立起起来。收益矩阵来。收益矩阵4.1.2 4.1.2 先验期望准则先验期望准则一、先验期望准则一、先验期望准则(1)(1)定义：对给定的决策问题，若在状态集定义：对给定的决策问题，若在状态集上有一个正常的先上有一个正常的先验分布验分布()，则收益函数，则收益函数Q(Q(,)对对()的期望与方差的期望与方差分别称为先验期望收益和收益的先验方差。使先验平均收益达分别称为先验期望收益和收益的先验方差。使先验平均收益达到最大的行动到最大的行动aa称为先验期望准则下的最优行动。若此种最优行动
48、不止一个，称为先验期望准则下的最优行动。若此种最优行动不止一个，其中先验方差达到最小的行动称为二阶矩准则下的最优行动。其中先验方差达到最小的行动称为二阶矩准则下的最优行动。4.1.3 4.1.3 损失函数损失函数这这里里的的损损失失函函数数不不是是负负的的收收益益，也也不不是是亏亏损损。例例如如，某某商商店店一一个个月月的的经经营营收收益益为为-1000元元，即即亏亏1000元元。这这是是对对成成本本而而言言。我我们们不不称称为为损损失失，而而称称其其为为亏亏损损。我我们们讲讲的的损损失失是是指指“该该赚赚而而没没有有赚赚到到的的钱钱”，例例如如该该商商店店本本可可以以赚赚2000元元，但但由
49、由于于某某种种原原因因亏亏了了1000元元，那那我我们们说说该该商商店店损损失失了了3000元元。用用这这种种观点认识损失对提高决策意识是有好处的。观点认识损失对提高决策意识是有好处的。构成决策问题的三要素构成决策问题的三要素:由收益函数容易获得损失函数由收益函数容易获得损失函数例例4.1某某公公司司购购进进一一批批货货物物投投放放市市场场,若若购购进进数数量量低低于于市市场场需需求求量量,每每吨吨可可赚赚15万万元元,若若购购进进数数量量超超过过市市场场需需求求量量,超超过过部部分分每每吨吨反反而而要要亏亏35万万元元.由由此此可可写写出出收收益益函数函数显显然然,当当购购进进数数量量等等于
50、于市市场场需需求求量量时时,收收益益达达到到最最大大为为15.则立即可得损失函数则立即可得损失函数:4.1.4 4.1.4 常用损失函数常用损失函数(1)(1)平方损失函数平方损失函数这是在统计决策中用得最多的损失函数这是在统计决策中用得最多的损失函数.(2)线性损失函线性损失函数数(3)0-1损失函数损失函数(4)多元二次损失函多元二次损失函数数4.2贝叶斯决策问题贝叶斯决策问题4.2.1 4.2.1 决策问题分类决策问题分类(1)仅使用先验信息的决策问题称为无数据仅使用先验信息的决策问题称为无数据(或无样本信息或无样本信息)的决策问题的决策问题;(2)仅使用抽样信息的决策问题称为统计决仅使