第三章 贝叶斯估计精选文档.ppt

《第三章 贝叶斯估计精选文档.ppt》由会员分享，可在线阅读，更多相关《第三章 贝叶斯估计精选文档.ppt（50页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第三章 贝叶斯估计1本讲稿第一页，共五十页3先先验验信信息息，即即在在抽抽样样之之前前有有关关统统计计推推断断的的一一些些信信息息。譬譬如如，在在估估计计某某产产品品的的不不合合格格率率时时，假假如如工工厂厂保保存存了了过过去去抽抽检检这这种种产产品品质质量量的的资资料料，这这些些资资料料（包包括括历历史史数数据据）有有时时估估计计该该产产品品的的不不合合格格率率是是有有好好处处的的。这这些些资资料料所所提提供供的的信信息息就就是是一一种种先先验验信信息息。又又如如某某工工程程师师根根据据自自己己多多年年积积累累的的经经验验对对正正在在设设计计的的某某种种彩彩电电的的平平均均寿寿命命所所提提供

2、供的的估估计计也也是是一一种种先先验验信信息息。由由于于这这种种信信息息是是在在“试试验验之之前前”就就已已有有的的，故称为先验信息。故称为先验信息。以以前前所所讨讨论论的的点点估估计计只只使使用用前前两两种种信信息息，没没有有使使用用先先验验信信息息。假假如如能能把把收收集集到到的的先先验验信信息息也也利利用用起起来来，那那对对我我们们进进行行统统计计推推断断是是有有好好处处的的。只只用用前前两两种种信信息息的的统统计计学学称称为为经经典典统统计计学学，三三种种信信息息都都用用的的统统计计学学称称为为贝贝叶叶斯斯统统计计学学。本本节将简要介绍贝叶斯统计学中的点估计方法。节将简要介绍贝叶斯统计

3、学中的点估计方法。2本讲稿第二页，共五十页二、贝叶斯公式的密度函数形式二、贝叶斯公式的密度函数形式贝贝叶叶斯斯统统计计学学的的基基础础是是著著名名的的贝贝叶叶斯斯公公式式，它它是是英英国国学学者者贝贝叶叶斯斯（T.R.Bayes17021761）在在他他死死后后二二年年发发表表的的一一篇篇论论文文论论归归纳纳推推理理的的一一种种方方法法中中提提出出的的。经经过过二二百百年年的的研研究究与与应应用用，贝贝叶叶斯斯的的统统计计思思想想得得到到很很大大的的发发展展，形形成成一一个个统统计计学学派派贝贝叶叶斯斯学学派派。为为了了纪纪念念他他，英英国国历历史史最最悠悠久久的的统统计计杂杂志志Biomet

4、rika在在1958年年又又全全文文刊刊登登贝贝叶叶斯斯的这篇论文。的这篇论文。初初等等概概率率论论中中的的贝贝叶叶斯斯公公式式是是用用事事件件的的概概率率形形式式给给出出的的。可可在在贝贝叶叶斯斯统统计计学学中中应应用用更更多多的的是是贝贝叶叶斯斯公公式式的的密密度度函函数数形形式式。下下面面结结合合贝贝叶叶斯斯统统计计学学的的基基本本观观点点来来引引出出其其密密度度函函数数形形式式。贝叶斯统计学的基本观点可以用下面三个观点归纳出来。贝叶斯统计学的基本观点可以用下面三个观点归纳出来。3本讲稿第三页，共五十页假假设设随随机机变变量量X有有一一个个密密度度函函数数p（x；），其其中中是是一一个个

5、参参数数，不不同同的的对对应应不不同同的的密密度度函函数数，故故从从贝贝叶叶斯斯观观点点看看，p（x；）在在给给定定后后是是个个条条件件密密度度函函数数，因因此此记记为为p（x）更更恰恰当当一一些些。这这个个条条件件密密度度能能提提供供我们的有关的我们的有关的信息就是总体信息。信息就是总体信息。假假设设当当给给定定后后，从从总总体体p（x）中中随随机机抽抽取取一一个个样样本本X1，Xn，该该样样本本中中含含有有的的有有关关信信息息。这这种种信信息息就就是样本信息。是样本信息。假设假设我们对参数我们对参数已经积累了很多资料，经过分析、整理和已经积累了很多资料，经过分析、整理和加工，可以获得一些有

6、关加工，可以获得一些有关的有用信息，这种信息就是先验信息。的有用信息，这种信息就是先验信息。参数参数不是永远固定在一个值上，而是一个事先不能确定的量。不是永远固定在一个值上，而是一个事先不能确定的量。4本讲稿第四页，共五十页从贝叶斯观点来看，未知参数从贝叶斯观点来看，未知参数是一个随机变量。描述这个是一个随机变量。描述这个随机变量的分布可从先验信息中归纳出来，这个分布称随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用为先验分布，其密度函数用（）表示。表示。1先验分布先验分布定定义义3.1将将总总体体中中的的未未知知参参数数看看成成一一取取值值于于的的随随机机变变量量，它

7、它有有一一概概率率分分布布，记记为为（），称称为为参参数数的的先验分布。先验分布。2后验分布后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的最在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本好形式是在总体分布基础上获得的样本X1，Xn，和参数的联合密度函数和参数的联合密度函数 5本讲稿第五页，共五十页在在这这个个联联合合密密度度函函数数中中。当当样样本本给给定定之之后后，未未知知的的仅仅是是参参数数了了，我我们们关关心心的的是是样样本本给给定定后后，的的条条件件密密度度函函数数，依据密度的计算公式，容易获得这个条件密度函数依据密度的计算公式，容易获得这个条件

8、密度函数这就是贝叶斯公式的密度函数形式，这就是贝叶斯公式的密度函数形式，称为称为的的后验密度函数后验密度函数，或，或后验分布后验分布。而。而6本讲稿第六页，共五十页是是样样本本的的边边际际分分布布，或或称称样样本本的的无无条条件件分分布布，它它的的积积分分区区域域就就是是参参数数的的取取值值范范围围，随随具具体体情情况而定。况而定。前面的分析总结如下：人们根据先验信息对参数前面的分析总结如下：人们根据先验信息对参数已有已有一个认识，这个认识就是先验分布一个认识，这个认识就是先验分布（）。）。通过试验，通过试验，获得样本。从而对获得样本。从而对的先验分布进行调整，调整的方法就的先验分布进行调整，

9、调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布是使用上面的贝叶斯公式，调整的结果就是后验分布 。后验分布是三种信息的综合。获得后验分布使人们对。后验分布是三种信息的综合。获得后验分布使人们对的认识又前进一步，可看出，获得样本的的效果是把的认识又前进一步，可看出，获得样本的的效果是把我我们对们对的认识由的认识由（）调整到调整到。所以。所以对对的统计推断就应建立在后验分布的统计推断就应建立在后验分布的基础的基础上。上。7本讲稿第七页，共五十页例例1设设事事件件A的的概概率率为为，即即。为为了了估估计计而作而作n次独立观察，其中事件次独立观察，其中事件A出现次数为出现次数为X，则有则有X

10、服从二项分布服从二项分布即即如果此时我们对事件如果此时我们对事件A的发生没有任何了解，对的发生没有任何了解，对 的大小也的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（没有任何信息。在这种情况下，贝叶斯建议用区间（0，1）上）上的均匀分布作为的先验分布。因为它在（的均匀分布作为的先验分布。因为它在（0，1）上每一点都）上每一点都是机会均等的。这个建议被后人称为贝叶斯假设。是机会均等的。这个建议被后人称为贝叶斯假设。8本讲稿第八页，共五十页此此式式在在定定义义域域上上与与二二项项分分布布有有区区别别。再再计计算算X的的边边际际密度为密度为样本样本X与参数的联合分布为与参数的联合分布为即即9

11、本讲稿第九页，共五十页拉拉普普拉拉斯斯计计算算过过这这个个概概率率,研研究究男男婴婴的的诞诞生生比比例例是是否否大于大于0.5?如抽了如抽了251527个男婴个男婴,女婴女婴241945个个贝贝叶叶斯斯统统计计学学首首先先要要想想方方设设法法先先去去寻寻求求的的先先验验分分布布。先先验验分布的确定大致可分以下几步：分布的确定大致可分以下几步：第第一一步步，选选一一个个适适应应面面较较广广的的分分布布族族作作先先验验分分布布族族，使使它它在在数学处理上方便一些，这里我们选用数学处理上方便一些，这里我们选用分布族分布族10本讲稿第十页，共五十页注：注：作为作为的先验分布族是恰当的，从以下几方面考虑

12、：的先验分布族是恰当的，从以下几方面考虑：1参参数数是是废废品品率率，它它仅仅在在（0，1）上上取取值值。因因此此，必必需需用用区区间间（0，1）上上的的一一个个分分布布去去拟拟合合先先验验信信息息。分分布布正正是这样一个分布。是这样一个分布。2分分布布含含有有两两个个参参数数a与与b，不不同同的的a与与b就就对对应应不不同同的的先先验验分布，因此这种分布的适应面较大。分布，因此这种分布的适应面较大。11本讲稿第十一页，共五十页3样样本本X的的分分布布为为二二项项分分布布b（n，）时时，假假如如的的先先验验分分布布为为分分布布，则则用用贝贝叶叶斯斯估估计计算算得得的的后后验验分分布布仍仍然然是

13、是分分布布，只只是是其其中中的的参参数数不不同同。这这样样的的先先验验分分布布（分分布布）称称为为参参数数的的共共轭轭先先验验分分布布。选选择择共共轭轭先先验验分分布布在在处处理理数数学学问问题题上上带带来来不不少方便。少方便。4国内外不少人使用国内外不少人使用分布获得成功。分布获得成功。第第二二步步，根根据据先先验验信信息息在在先先验验分分布布族族中中选选一一个个分分布布作作为为先先验验分分布布，使使它它与与先先验验信信息息符符合合较较好好。利利用用的的先先验验信信息息去去确确定定分分布布中中的的两两个个参参数数a与与b。从从文文献献来来看看，确确定定a与与b的的方方法法很很多多。例例如如，

14、如如果果能能从从先先验验信信息息中中较较为为准准确确地地算算得得先先验验平平均均和和先先验验方方差差，则则可可令令其其分分别别等等于于分分布布的的期期望望与与方方差差最最后后解解出出a与与b。12本讲稿第十二页，共五十页如果从先验信息获得如果从先验信息获得则则可可解解得得a=3，b=12这这意意味味着着的的先先验验分分布布是是参参数数a=3，b=12的的分布。分布。假假如如我我们们能能从从先先验验信信息息中中较较为为准准确确地地把把握握的的两两个个分分位位数数，如如确确定定确确定定的的10分分位位数数0。1和和50的的中中位位数数0。5，那那可以通过如下两个方程来确定可以通过如下两个方程来确定

15、a与与b。13本讲稿第十三页，共五十页假假如如的的信信息息较较为为丰丰富富，譬譬如如对对此此产产品品经经常常进进行行抽抽样样检检查查，每每次次都都对对废废品品率率作作出出一一个个估估计计，把把这这些些估估计计值值看看作作的的一一些些观观察察值值，再再经经过过整整理理，可可用用一一个个分分布布去去拟拟合合它。它。假假如如关关于于的的信信息息较较少少，甚甚至至没没有有什什么么有有用用的的先先验验信信息息，那那可可以以用用区区间间（0，1）上上的的均均匀匀分分布布（a=b=1情情况况）。用用均均匀匀分分布布意意味味着着我我们们对对的的各各种种取取值值是是“同同等等对对待待的的”，是是“机会均等的机会

16、均等的”。14本讲稿第十四页，共五十页贝贝叶叶斯斯本本人人认认为为，当当你你对对参参数数的的认认识识除除了了在在有有限限区区间间（c，d）之之外外，其其它它毫毫无无所所知知时时，就就可可用用区区间间（c，d）上上的的均均匀匀分分布布作作为为的的先先验验分分布布。这这个个看看法法被被后后人人称称之之为为“贝贝叶叶斯斯假假设设”。确定了先验分布后，就可计算出后验分布，过程如下：确定了先验分布后，就可计算出后验分布，过程如下：x=0，1，n，01于是于是X的边际分布为的边际分布为15本讲稿第十五页，共五十页最后在给出最后在给出X=x的条件下，的条件下，的后验密度为的后验密度为显然这个后验分布仍然是显

17、然这个后验分布仍然是分布，它的两个参数分别是分布，它的两个参数分别是a+x和和b+n-x。我们选后验期望作为的贝叶斯估计，则我们选后验期望作为的贝叶斯估计，则的贝的贝叶斯估计为叶斯估计为与前面的极大似然估计是不同的。与前面的极大似然估计是不同的。16本讲稿第十六页，共五十页如果用（如果用（0，1）上的均匀作为）上的均匀作为的先验分布，则的先验分布，则的贝的贝叶斯估计为叶斯估计为 计算如下：计算如下：后验分布为后验分布为17本讲稿第十七页，共五十页三、三、常用的一些共轭先验分布常用的一些共轭先验分布对对于于一一些些常常用用的的指指数数分分布布族族，如如果果仅仅对对其其中中的的参参数数感感兴兴趣，

18、下表列出了它们的共轭先验分布及后验期望。趣，下表列出了它们的共轭先验分布及后验期望。分 布共 轭 先 验 分 布后 验 分 布 正态分布正态分布二项分布 分布 Poisson分布 分布（a，b）18本讲稿第十八页，共五十页EX1 EX1 设设是一批产品的不合格率，已知它不是是一批产品的不合格率，已知它不是0.10.1就是就是0.20.2，且其先验分布为且其先验分布为（0.10.1）=0.7,=0.7,（0.20.2）=0.3=0.3假如从这批产品中随机取假如从这批产品中随机取8 8个进行检查，发现有个进行检查，发现有2 2个不合格，个不合格，求求的后验分布。的后验分布。解：解：19本讲稿第十九

19、页，共五十页EX2 设一卷磁带上的缺陷数服从泊松分布设一卷磁带上的缺陷数服从泊松分布P（）其中其中可取可取1.0和和1.5中的一个中的一个,又设又设的先验分布为的先验分布为 （1.0）=0.4（1.5）=0.6假如检查一卷磁带发现了假如检查一卷磁带发现了3个缺陷，求个缺陷，求的后的后验分布。验分布。20本讲稿第二十页，共五十页四、贝叶斯推断（估计）四、贝叶斯推断（估计）条件方法条件方法由由于于未未知知参参数数的的后后验验分分布布是是集集三三种种信信息息（总总体体、样样本本和和先先验验）于于一一身身，它它包包含含了了所所有有可可供供利利用用的的信信息息。故故有有关关的的参参数数估估计计和和假假设

20、设检检验验等等统统计计推推断断都都按按一一定定方方式式从从后后验验分分布布提提取取信信息息，其其提提取取方方法法与与经经典典统统计计推推断断相相比比要要简简单单明明确确得得多多。基基于于后后验验分分布布的的统统计计推推断断就就意意味味着着只只考考虑虑已已出出现现的的数数据据（样样本本观观察察值值）而而认认为为未未出出现现的的数数据据与与推推断断无无关关，这这一一重重要要的的观观点点被被称称为为“条条件件观观点点”，基基于于这这种种观观点点提提出出的的统统计计方法被称为条件方法。方法被称为条件方法。21本讲稿第二十一页，共五十页例如经典统计学认为参数的无偏估计应满足：例如经典统计学认为参数的无偏

21、估计应满足：其其中中平平均均是是对对样样本本空空间间中中所所有有可可能能出出现现的的样样本本而而求求的的，可可实实际际中中样样本本空空间间中中绝绝大大多多数数样样本本尚尚未未出出现现过过，而而多多数数从从未未出出现现的的样样本本也也要要参参与与平平均均是是实实际际工工作作者者难难以以理理解解的的。故故在在贝贝叶叶斯斯推推断断中中不不用用无无偏偏性性，而而条条件件方方法法是是容容易易被被实实际际工工作作者理解和接受者理解和接受的。22本讲稿第二十二页，共五十页估计估计1.1.贝叶斯估计贝叶斯估计定定义义3.2使使后后验验密密度度达达到到最最大大的的值值称称为为最最大大后后验验估估计计；后后验验分

22、分布布的的中中位位数数称称为为后后验验中中位位数数估估计计；后后验验分分布布的的期期望望值值称称为为的的后后验验期期望望值值估估计计，这这三三个估计都称为贝叶斯估计，记为个估计都称为贝叶斯估计，记为。例例1为估计不合格率为估计不合格率 ，今从一批产品中随机抽取，今从一批产品中随机抽取n件，件，其中不合格品数其中不合格品数X服从服从 ，一般选取，一般选取 为为 的的先验分布，设先验分布，设 已知，由共轭先验分布可知，已知，由共轭先验分布可知，的后验的后验分布为分布为可计算得：可计算得：23本讲稿第二十三页，共五十页选用贝叶斯假设选用贝叶斯假设 ，则，则 第第一一、在在二二项项分分布布时时，的的最

23、最大大后后验验估估计计就就是是经经典典统统计计中中的的极极大大似似然然估估计计，即即的的极极大大似似然然估估计计就就是是取取特特定定的的先先验验分布下的贝叶斯估计。分布下的贝叶斯估计。第二、第二、的后验期望值估计的后验期望值估计 要比最大后验估计要比最大后验估计 更合适一些。更合适一些。第第三三、的的后后验验期期望望值值估估计计要要比比最最大大后后验验估估计计更更合合适适一一些些。表表2.1列列出出四四个个实实验验结结果果,在在试试验验1与与试试验验2中中,“抽抽检检3个个产产品品没没有有一一件件不不合合格格”与与抽抽检检10个个产产品品没没有有一一件件是是不不合合格格”这这两两件件事事在在人

24、人们们心心目目中中留留下下的的印印象象是是不不同同的的。后后者者的的质质量量要要比比前前者者的的质量更信得过。质量更信得过。24本讲稿第二十四页，共五十页试验号试验号样本量样本量n不合格不合格数数x13000.200210000.08333310.8004101010.917表表3.1 不不合合格格率率 的的二二种种贝贝叶叶斯斯估估计计的的比比较较25本讲稿第二十五页，共五十页在在试试验验3和和试试验验4中中，“抽抽检检3个个产产品品全全部部不不合合格格”与与抽抽检检“10个个产产品品全全部部不不合合格格”也也是是有有差差别别的的。在在实实际际中中，人人们们经经常选用后验期望估计作为贝叶斯估计

25、。常选用后验期望估计作为贝叶斯估计。2.2.贝叶斯估计的误差贝叶斯估计的误差设设是是的的一一个个贝贝叶叶斯斯估估计计，在在样样本本给给定定后后，是是一一个个数数，在在综综合合各各种种信信息息后后，是是按按取取值值，所所以以评评价价一一个个贝贝叶叶斯斯估估计计的的误误差差的的最最好好而而又又简简单单的的方方式式是是用用对对的的后后验验均均方方差或平方根来度量，定义如下：差或平方根来度量，定义如下：称为称为的后验均方差的后验均方差,而其平方根称为后验标准差而其平方根称为后验标准差.定义定义3.2设参数设参数的后验分布为的后验分布为,贝叶斯估计为贝叶斯估计为,则则的后验期望的后验期望26本讲稿第二十

26、六页，共五十页当当时时,则则,称为后验均方差称为后验均方差.后验均方差与后验方差有如下关系后验均方差与后验方差有如下关系:这表明这表明,当当 时时,可使后验均方差达到最小可使后验均方差达到最小,实际实际中常取后验均值作为中常取后验均值作为 的贝叶斯估计值的贝叶斯估计值.27本讲稿第二十七页，共五十页例例2设设一一批批产产品品的的不不合合格格率率为为,检检查查是是一一个个一一个个进进行行,直直到到发发现现第第一一个个不不合合格格品品为为止止,若若X为为发发现现第第一一个个不不合合格格品品时时已已检查的产品数检查的产品数,则则X服从几何分布服从几何分布,其分布列为其分布列为设设的的先先验验分分布布

27、为为,如如今今只只获获得得一一个个样样本本观观察察值值x=3,求求的的最最大大后后验验估估计计,后后验验期期望望估估计计,并并计计算它的误差算它的误差.故联合分布为故联合分布为X=3的无条件概率为的无条件概率为(利用全概率公式利用全概率公式)28本讲稿第二十八页，共五十页故故或或可看出可看出,的最大后验估计的最大后验估计 的后验方差为的后验方差为29本讲稿第二十九页，共五十页3.区间估计区间估计(可信区间可信区间)对对于于区区间间估估计计问问题题,贝贝叶叶斯斯方方法法具具有有处处理理方方便便和和含含义义清清晰晰的优点的优点,而经典方法求置信区间常受到批评而经典方法求置信区间常受到批评.定定义义

28、3.3参参数数的的后后验验分分布布为为,对对给给定定的的样样本本和概率和概率,若存在这样的二个统计量若存在这样的二个统计量与与,使得使得则则称称区区间间为为参参数数的的可可信信水水平平为为贝贝叶叶斯斯可可信信区区间间,或简称为或简称为的的可信区间可信区间.而满足而满足30本讲稿第三十页，共五十页的的 称为称为 的的 (单侧单侧)可信下限可信下限.满满足足的的称称为为的的(单单侧侧)可可信上限信上限.这这里里的的可可信信水水平平和和可可信信区区间间与与经经典典统统计计中中的的置置信信水水平平与与置置信信区区间间虽虽是是同同类类的的概概念念,但但两两者者还还是是有有本本质质的的差差别别,主要表现在

29、下面二点主要表现在下面二点:1.在在条条件件方方法法下下,对对给给定定的的样样本本和和可可信信水水平平,通通过过后后验验分分布布可可求求得得具具体体的的可可信信区区间间,譬譬如如,的的可可信信水水平平为为0.9的的可可信信区间是区间是,这时我们可以写出这时我们可以写出31本讲稿第三十一页，共五十页 2.在在经经典典统统计计中中寻寻求求置置信信区区间间有有时时是是困困难难的的,因因为为它它要要设设法法构构造造一一个个枢枢轴轴量量,使使它它的的分分布布不不含含未未知知参参数数,这这是是一一项项技技术术性性很很强强的的工工作作.相相比比之之下下可可信信区区间间只只要要利利用用后后验验分分布布,不不需

30、需要要再再去去寻寻求求另另外外的的分分布布,可可信信区区间间的的寻寻求求要要简单得多简单得多.例例3设设 是来自正态总体是来自正态总体 的一个样的一个样本观察值本观察值,其中其中 已知已知,若正态均值的先验分布取为若正态均值的先验分布取为 ,其中其中 与与 已知已知,则可求得则可求得 的后验分布为的后验分布为 ,由由此获得此获得 的的 可信区间可信区间32本讲稿第三十二页，共五十页EX1 设随机变量设随机变量X的密度函数为的密度函数为(1)假如假如的先验分布为的先验分布为U(0,1),求求的后验分布的后验分布.(2)假如假如的先验分布为的先验分布为求求的后验分布及后验期望估计的后验分布及后验期

31、望估计33本讲稿第三十三页，共五十页3、2贝叶斯决策方法贝叶斯决策方法决策就是对一件事作决定。它与推断的差别在于是否决策就是对一件事作决定。它与推断的差别在于是否涉及后果。统计学家在作推断时是按统计理论进行的，涉及后果。统计学家在作推断时是按统计理论进行的，但很少考虑结论在使用后的损失。可决策者在使用推但很少考虑结论在使用后的损失。可决策者在使用推断时必需与得失联系在一起，能带来利润的就会使用，断时必需与得失联系在一起，能带来利润的就会使用，使他遭受损失的就不会采用，度量得失的尺度就是损使他遭受损失的就不会采用，度量得失的尺度就是损失函数。它是著名的统计学家失函数。它是著名的统计学家A.Wal

32、d（19021950）在在40年代引入的一个概念。从实际归纳出损失函数是年代引入的一个概念。从实际归纳出损失函数是决策的关键。决策的关键。贝叶斯决策：把损失函数加入贝叶斯推断就形成贝叶斯决策：把损失函数加入贝叶斯推断就形成贝叶斯决策论，损失函数被称为贝叶斯统计中的第四贝叶斯决策论，损失函数被称为贝叶斯统计中的第四种信息。种信息。34本讲稿第三十四页，共五十页一、决策的基本概念一、决策的基本概念 32 0 1 4341 2例例1 设甲乙二人进行一种游戏，甲手中有三张牌，设甲乙二人进行一种游戏，甲手中有三张牌，分别标以分别标以 。乙手中也有三张牌，分别标以。乙手中也有三张牌，分别标以 。游戏的规则

33、是双方各自独立的出牌，按下表计算甲的得。游戏的规则是双方各自独立的出牌，按下表计算甲的得分与乙的得分。分与乙的得分。35本讲稿第三十五页，共五十页这是一个典型的双人博弈（赌博）问题。不少实际问题可归这是一个典型的双人博弈（赌博）问题。不少实际问题可归纳为双人博弈问题。把上例中的乙方改为自然或社会，就形纳为双人博弈问题。把上例中的乙方改为自然或社会，就形成人与自然（或社会）的博弈问题。成人与自然（或社会）的博弈问题。例例2 农作物有两个品种：产量高但抗旱能力弱的品种农作物有两个品种：产量高但抗旱能力弱的品种 和抗旱能力强但产量低的品种和抗旱能力强但产量低的品种 。在明年雨量不知的情况下，农民应该

34、选播哪个品种可在明年雨量不知的情况下，农民应该选播哪个品种可使每亩平均收益最大？这是人与自然界的博弈。以明使每亩平均收益最大？这是人与自然界的博弈。以明年年60mm雨量为界来区分雨量充足雨量为界来区分雨量充足 和雨量不充足和雨量不充足 。写出收益矩阵（单位：元）。写出收益矩阵（单位：元）100020010040036本讲稿第三十六页，共五十页例例3 一位投资者有一笔资金要投资，有以下几个投资一位投资者有一笔资金要投资，有以下几个投资供他选择：供他选择：购买股票，根据市场情况，可净赚购买股票，根据市场情况，可净赚5000元，但可元，但可 能使他亏损能使他亏损10000元元存入银行，不管市场情况如

35、何总可净赚存入银行，不管市场情况如何总可净赚1000元元这位投资者在金融市场博弈。未来的金融市场也有两种情况：这位投资者在金融市场博弈。未来的金融市场也有两种情况：看涨看涨 与看跌与看跌 可写出投资者的收益矩阵可写出投资者的收益矩阵50001000-100001000投资者将依据收益矩阵决定投资者将依据收益矩阵决定他的资金投向何方他的资金投向何方这种人与自然（或社会）的这种人与自然（或社会）的博弈问题称为决策问题博弈问题称为决策问题37本讲稿第三十七页，共五十页二、决策的三要素二、决策的三要素1 状态集状态集 ，其中每个元素，其中每个元素 表示自然界（或表示自然界（或社会）可能出现的一种状态，

36、所有可能状态的全体组社会）可能出现的一种状态，所有可能状态的全体组成状态集。成状态集。2 行动集行动集 ，其中，其中a表示人对自然界可能采取表示人对自然界可能采取的一个行动的一个行动一般行动集有两个以上的行动可供选择。若有两个一般行动集有两个以上的行动可供选择。若有两个行动无论对自然界的哪一个状态出现，行动无论对自然界的哪一个状态出现，总比总比 收益高，则收益高，则 就没有存在的必要，可把它从行动就没有存在的必要，可把它从行动集中去掉，使留在行动集中的行动总有可取之处。集中去掉，使留在行动集中的行动总有可取之处。38本讲稿第三十八页，共五十页3 收益函数收益函数 ，函数值，函数值 表示当表示当

37、自然界处于状态自然界处于状态 ，而人们选取行动，而人们选取行动 时所得到时所得到的收益大小。的收益大小。收益函数的值可正可负，若正表示盈利，负表示亏损，单收益函数的值可正可负，若正表示盈利，负表示亏损，单位常用货币单位，收益函数的建立不是件容易的事，要对位常用货币单位，收益函数的建立不是件容易的事，要对所研究的问题有全面的了解才能建立起来。收益矩阵所研究的问题有全面的了解才能建立起来。收益矩阵39本讲稿第三十九页，共五十页三、损失函数三、损失函数1、从收益到损失、从收益到损失为了统一处理，在决策中常用一个更为有效的概念：损失为了统一处理，在决策中常用一个更为有效的概念：损失函数。在状态集和行动

38、集都为有限时用损失矩阵。函数。在状态集和行动集都为有限时用损失矩阵。这里的损失函数不是负的收益，也不是亏损。例如，某商这里的损失函数不是负的收益，也不是亏损。例如，某商店一个月的经营收益为店一个月的经营收益为1000元，即亏元，即亏1000元。这是对成本元。这是对成本而言。我们不能称为损失，而称其为亏损。我们讲的损失是而言。我们不能称为损失，而称其为亏损。我们讲的损失是指指“该赚而没有赚到的钱该赚而没有赚到的钱”，例如该店本可以赚，例如该店本可以赚2000元，当元，当由于某种原因亏了由于某种原因亏了1000元，那我们说该店损失了元，那我们说该店损失了3000元。用元。用这种观点认识损失对提高决

39、策意识是有好处的。这种观点认识损失对提高决策意识是有好处的。按上述观点从收益函数可以很容易获得损失函数。按上述观点从收益函数可以很容易获得损失函数。40本讲稿第四十页，共五十页例例4 某公司购进某种货物可分大批某公司购进某种货物可分大批、中批和小批三中批和小批三种行动，记为种行动，记为 ，未来市场需求量可分为，未来市场需求量可分为高高、中中、低三种状态，记为低三种状态，记为 ，三个行，三个行动在不同的市场的利润如下动在不同的市场的利润如下这是一个收益矩阵，我们把它改写为损失矩阵如下：这是一个收益矩阵，我们把它改写为损失矩阵如下：41本讲稿第四十一页，共五十页2、损失函数、损失函数构成决策问题的

40、三要素：构成决策问题的三要素：由收益函数容易获得损失函数由收益函数容易获得损失函数例例5 某公司购进一批货物投放市场，若购进数量某公司购进一批货物投放市场，若购进数量a低于低于市场需求量市场需求量 ，每吨可赚，每吨可赚15万元。若购进数量超过市场万元。若购进数量超过市场需求量需求量 ，超过部分每吨反要亏损，超过部分每吨反要亏损35万元。由此可写出收万元。由此可写出收益函数益函数42本讲稿第四十二页，共五十页显然，当购进数量显然，当购进数量a等于市场需求量等于市场需求量 时，收益时，收益达到最大达到最大43本讲稿第四十三页，共五十页3、损失函数下的悲观准则、损失函数下的悲观准则第一步，对每个行动

41、第一步，对每个行动a选出最大损失值，记为选出最大损失值，记为第二步，在所有选出的最大损失中再选出最小者第二步，在所有选出的最大损失中再选出最小者 ，则，则 满足满足则称则称 为悲观准则下的最优行动，这是一种保守策为悲观准则下的最优行动，这是一种保守策略，不求零损失，但愿少损失略，不求零损失，但愿少损失例例4幻灯片幻灯片 41在悲观准则下，第一步的最大损失值依次为在悲观准则下，第一步的最大损失值依次为3.7，4，8第二步，在上面三个最大损失值中最小值为第二步，在上面三个最大损失值中最小值为3.7，对应，对应的行动为的行动为44本讲稿第四十四页，共五十页4、常用损失函数、常用损失函数（1）平方损失

42、函数）平方损失函数这是在统计决策中用得最多的损失函数这是在统计决策中用得最多的损失函数（2）线性损失函数）线性损失函数（3）01损失函数损失函数（4）多元二次损失函数）多元二次损失函数45本讲稿第四十五页，共五十页四、贝叶斯决策问题四、贝叶斯决策问题先验信息和抽样信息都用的决策问题称为贝叶斯决策问先验信息和抽样信息都用的决策问题称为贝叶斯决策问题。若以下条件已知，则我们认为一个贝叶斯决策问题题。若以下条件已知，则我们认为一个贝叶斯决策问题给定了。给定了。（4）定义在）定义在 的二元函数的二元函数 称为损失函数称为损失函数46本讲稿第四十六页，共五十页1、后验风险函数、后验风险函数我们把损失函数

43、我们把损失函数 对后验分布对后验分布 的期的期望称为后验风险，记为望称为后验风险，记为 ，即，即后验风险就是用后验分布计算的平均损失后验风险就是用后验分布计算的平均损失 47本讲稿第四十七页，共五十页2、决策函数、决策函数定义定义 在给定的贝叶斯决策问题中，从样本空间在给定的贝叶斯决策问题中，从样本空间 到行动集到行动集A上的一个映照上的一个映照 称为该决策问题称为该决策问题的一个决策函数，的一个决策函数，表示所有样本空间从表示所有样本空间从到到A上的决策函数组成的类称为决策函数类。上的决策函数组成的类称为决策函数类。在贝叶斯决策中我们面临的是决策函数类在贝叶斯决策中我们面临的是决策函数类D，

44、要在，要在D中选择决策函数中选择决策函数 ，使其风险最小，使其风险最小48本讲稿第四十八页，共五十页3、后验风险准则、后验风险准则定义定义 在给定的贝叶斯决策问题在给定的贝叶斯决策问题 中中 是是其决策函数称其决策函数称为决策函数为决策函数 的后验风险。假如在决策函的后验风险。假如在决策函数中存在这样的决策函数，它在数中存在这样的决策函数，它在D中有最小的风险，中有最小的风险，即即则称则称 为后验风险准则下的最优决策函为后验风险准则下的最优决策函数，或称贝叶斯决策，或贝叶斯解数，或称贝叶斯决策，或贝叶斯解49本讲稿第四十九页，共五十页4、平方损失函数下的贝叶斯估计、平方损失函数下的贝叶斯估计定理定理 在平方损失函数在平方损失函数 下，下，的贝叶斯估计为后验均值的贝叶斯估计为后验均值，即即在平方损失函数下，任何一个决策函数的后验风险为在平方损失函数下，任何一个决策函数的后验风险为0.50本讲稿第五十页，共五十页