《应用随机过程Markov链学习教案.pptx》由会员分享，可在线阅读，更多相关《应用随机过程Markov链学习教案.pptx（20页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、会计学1应用随机应用随机(su j)过程过程Markov链链第一页，共20页。本章的教学本章的教学本章的教学本章的教学(jio xu)(jio xu)目目目目的和要求：的和要求：的和要求：的和要求：1、理解、理解(lji)Markov链的定义，了链的定义，了解与之相关的概念和实际应用背解与之相关的概念和实际应用背景景.2、掌握状态分类的标准和性质、掌握状态分类的标准和性质.3、了解极限定理及不变分布、了解极限定理及不变分布.4、理解、理解(lji)连续时间连续时间Markov链的链的定义及性质，了解定义及性质，了解Kolmogrov方方程和生灭过程程和生灭过程.第1页/共20页第二页，共20页
2、。第一节第一节 基本概念基本概念二、二、转移概率转移概率(gil)随机矩随机矩阵阵三、三、C-K方程方程(fngchng)一、一、Markov链的定义链的定义(dngy)【本节内容本节内容】【重点、难点重点、难点】Markov链的定义链的定义第2页/共20页第三页，共20页。引入：引入：引入：引入：古希腊有句名言：古希腊有句名言：“罗马不是一天罗马不是一天(y tin)建成的。建成的。”中国中国(zhn u)亦有诗云：亦有诗云：“冰冻三尺非一日之寒。冰冻三尺非一日之寒。”可见，事物发展可见，事物发展(fzhn)是与过去有关系的，有因，是与过去有关系的，有因，才有果才有果.然而，这节课要讲的一类
3、随机过程却不具备这种性质，换言之然而，这节课要讲的一类随机过程却不具备这种性质，换言之，要确定过程将来的状态，不需要知道它过去的状况，只需知，要确定过程将来的状态，不需要知道它过去的状况，只需知道它现在的情况就足够了道它现在的情况就足够了.此即此即“无后效性无后效性”(也叫也叫Markov性性).具有具有“无后效性无后效性”的随机过程称为的随机过程称为Markov过程过程.本章主本章主要介绍最简单的两类：离散时间的要介绍最简单的两类：离散时间的Markov链链(简称简称Markov链链)和连续时间的和连续时间的Markov链链.第3页/共20页第四页，共20页。5.1.1 Markov 5.1
4、.1 Markov 链的定义链的定义链的定义链的定义(dngy)(dngy)第4页/共20页第五页，共20页。第5页/共20页第六页，共20页。至此至此(zhc)，我们接下来自然要问：对于，我们接下来自然要问：对于Markov链而言，链而言，(1)它的初始分布它的初始分布(fnb)存在吗？存在吗？(2)条件概率条件概率(gil)(*)是如何确定呢？是如何确定呢？Answer to(1):华罗庚先生给出答案：华罗庚先生给出答案：“Markov链必链必有其始有其始.”Answer to(2):该问题是该问题是Markov链理论和应用的重要问链理论和应用的重要问题之一，我们将在接下来的小节中予以说明
5、。题之一，我们将在接下来的小节中予以说明。第6页/共20页第七页，共20页。5.1.2 转移转移(zhuny)概概率率我们我们(w men)先给出其定义：先给出其定义：第7页/共20页第八页，共20页。注意注意:今后我们今后我们(w men)所讲的都是时齐所讲的都是时齐Markov链，并简称为链，并简称为Markov链链.Markov链的分类：若链的分类：若Markov链的状态是有限的，称为链的状态是有限的，称为有限链，否则有限链，否则(fuz)称其为无限链称其为无限链.接下来，我们接下来，我们(w men)讨论关于讨论关于Markov链的一个重要概念：链的一个重要概念：转移概率矩阵转移概率矩
6、阵第8页/共20页第九页，共20页。性质：转移矩阵性质：转移矩阵P具有具有(jyu)以下性质：以下性质：第9页/共20页第十页，共20页。显然，随机显然，随机(su j)矩阵的每一行元素之和为矩阵的每一行元素之和为1.5.1.3 一一些些(yxi)例例子子第10页/共20页第十一页，共20页。复习复习复习复习(fx)(fx)：1.Markov链的定义链的定义(dngy)2.何谓何谓(hwi)Markov性？性？3.Markov链的有限维分布族链的有限维分布族由由Markov性及乘法公式，知性及乘法公式，知填空题填空题:Markov链的概率特征完全由链的概率特征完全由()和和()描述描述.判断题
7、：判断题：Markov 链是离散时间参数、离散状态的且满足链是离散时间参数、离散状态的且满足Markov性的随机过程性的随机过程.第11页/共20页第十二页，共20页。例题例题(lt)：证及解：证及解：是离散状态是离散状态(zhungti)的随机序列的随机序列.下证下证Markov性性.从而从而(cng r)，是一是一Markov链链.进而，它的转移概率为进而，它的转移概率为由题意易知，由题意易知，第12页/共20页第十三页，共20页。5.1.4 n 5.1.4 n步转移步转移步转移步转移(zhu(zhu ny)ny)概率概率概率概率 与与与与 C-KC-K方程方程方程方程在在5.1.2节，我
8、们学习了一步转移概率节，我们学习了一步转移概率 ，(即即Markov链从状态链从状态(zhungti)i 经过一步转移到经过一步转移到 j 的概率的概率).n步转移步转移(zhuny)概率及概率及n步转移步转移(zhuny)矩阵矩阵接下来我们讨论接下来我们讨论注释注释第13页/共20页第十四页，共20页。现在现在(xinzi)我们给出关于我们给出关于 和和 的结论，即定理的结论，即定理5.1.Chapman-Kolmogorov方程方程(fngchng)Go on 第14页/共20页第十五页，共20页。Proof 第15页/共20页第十六页，共20页。第16页/共20页第十七页，共20页。例题
9、：在赌徒破产模型中，设例题：在赌徒破产模型中，设n=3，p=q=0.5;赌徒从赌徒从2元开始赌博元开始赌博(db)，求他经过四次赌博，求他经过四次赌博(db)就输光的概率就输光的概率.解解.我们要求我们要求(yoqi)解的概率为解的概率为由例由例5.2知，转移知，转移(zhuny)矩矩阵是阵是根据定理根据定理5.1(2),得得所以，所以，第17页/共20页第十八页，共20页。作业作业(zuy)：第18页/共20页第十九页，共20页。与君共勉：与君共勉：“忘掉过去吧，无论是辉煌还是失败，那只忘掉过去吧，无论是辉煌还是失败，那只是过往云烟，总会随风飘去；只有把握是过往云烟，总会随风飘去；只有把握(bw)当前，珍惜今天当前，珍惜今天的人，才能决定自己的未来。的人，才能决定自己的未来。”第19页/共20页第二十页，共20页。