《应用随机过程Markov链.pptx》由会员分享，可在线阅读，更多相关《应用随机过程Markov链.pptx（20页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、本章的教学目的和要求：1、理解Markov链的定义，了解与之相关的概念和实际应用背景.2、掌握状态分类的标准和性质.3、了解极限定理及不变分布.4、理解连续时间Markov链的定义及性质，了解Kolmogrov方程和生灭过程.第1页/共20页第一节第一节 基本概念基本概念二、二、转移概率随机矩阵三、三、C-K方程一、一、Markov链的定义【本节内容】【重点、难点】Markov链的定义第2页/共20页引入：引入：古希腊有句名言：“罗马不是一天建成的。”中国亦有诗云：“冰冻三尺非一日之寒。”可见，事物发展是与过去有关系的，有因，才有果.然而，这节课要讲的一类随机过程却不具备这种性质，换言之，要确
2、定过程将来的状态，不需要知道它过去的状况，只需知道它现在的情况就足够了.此即“无后效性”(也叫Markov性).具有“无后效性”的随机过程称为Markov过程.本章主要介绍最简单的两类：离散时间的Markov链(简称Markov链)和连续时间的Markov链.第3页/共20页 5.1.1 Markov 链的定义第4页/共20页第5页/共20页 至此，我们接下来自然要问：对于Markov链而言，(1)它的初始分布存在吗？(2)条件概率(*)是如何确定呢？Answer to(1):华罗庚先生给出答案：“Markov链必有其始.”Answer to(2):该问题是Markov链理论和应用的重要问题之
3、一，我们将在接下来的小节中予以说明。第6页/共20页 5.1.2 转移概率我们先给出其定义：第7页/共20页注意:今后我们所讲的都是时齐Markov链，并简称为Markov链.Markov链的分类：若Markov链的状态是有限的，称为有限链，否则称其为无限链.接下来，我们讨论关于Markov链的一个重要概念：转移概率矩阵第8页/共20页性质：转移矩阵P具有以下性质：第9页/共20页显然，随机矩阵的每一行元素之和为1.5.1.3 一些例子第10页/共20页复习：1.Markov链的定义链的定义2.何谓Markov性？3.Markov链的有限维分布族由Markov性及乘法公式，知填空题填空题:Ma
4、rkov链的概率特征完全由()和()描述.判断题：判断题：Markov 链是离散时间参数、离散状态的且满足Markov性的随机过程.第11页/共20页例题：证及解：是离散状态的随机序列.下证Markov性.从而，是一Markov链.进而，它的转移概率为由题意易知，第12页/共20页 5.1.4 n步转移概率 与 C-K方程在5.1.2节，我们学习了一步转移概率 ，(即Markov链从状态 i 经过一步转移到 j 的概率).n步转移概率及n步转移矩阵接下来我们讨论注释第13页/共20页现在我们给出关于 和 的结论，即定理5.1.Chapman-Kolmogorov方程Go on 第14页/共20页Proof 第15页/共20页第16页/共20页例题：在赌徒破产模型中，设n=3，p=q=0.5;赌徒从2元开始赌博，求他经过四次赌博就输光的概率.解.我们要求解的概率为由例5.2知，转移矩阵是根据定理5.1(2),得所以，第17页/共20页作业：第18页/共20页与君共勉：与君共勉：“忘掉过去吧，无论是辉煌还是失败，那只忘掉过去吧，无论是辉煌还是失败，那只是过往云烟，总会随风飘去；只有把握当前，珍惜今天是过往云烟，总会随风飘去；只有把握当前，珍惜今天的人，才能决定自己的未来。的人，才能决定自己的未来。”第19页/共20页感谢您的观看。第20页/共20页