《随机过程马氏过程(精品).ppt》由会员分享,可在线阅读,更多相关《随机过程马氏过程(精品).ppt(23页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、西南交通大学1一一 齐次马氏链的遍历性齐次马氏链的遍历性二二 齐次马氏链的平稳分布齐次马氏链的平稳分布 2 我们注意到,齐次马氏链的我们注意到,齐次马氏链的n步转移概率当步转移概率当n趋于无穷时趋于无穷时,即过程的转移无限进行下去时即过程的转移无限进行下去时,其其极限可能存在,而且也可能与起始状态极限可能存在,而且也可能与起始状态i无关,无关,例如只有两个状态的马氏链,其一步转移概率例如只有两个状态的马氏链,其一步转移概率矩阵为矩阵为易知其任意步转移概率矩阵为易知其任意步转移概率矩阵为 3 又如一齐次马氏链,状态空间为又如一齐次马氏链,状态空间为E=1,2,3,其一步转移概率矩阵,其一步转移概
2、率矩阵,二步二步,三步转三步转移概率矩阵为移概率矩阵为4 于是由此可推测于是由此可推测5 因此因此,一般来说,通常讨论关于齐次马氏一般来说,通常讨论关于齐次马氏链的链的n步转移概率的两方面问题,一是其极步转移概率的两方面问题,一是其极限是否存在?二是如果此极限存在,那么限是否存在?二是如果此极限存在,那么它是否与现在所处状态它是否与现在所处状态i无关,在马氏链理无关,在马氏链理论中,有关这两方面问题的定理,统称为论中,有关这两方面问题的定理,统称为遍历性定理。遍历性定理。6一一 齐次马氏链的遍历性齐次马氏链的遍历性 定义定义4.1 设齐次马氏链的状态空间为设齐次马氏链的状态空间为E=1,2,,
3、若对于,若对于E中所有的状态中所有的状态 i,j,存在,存在不依赖于不依赖于i的常数的常数j,为其转移概率的极限,为其转移概率的极限,即即其相应的转移矩阵有其相应的转移矩阵有7则称此齐次马氏链具有遍历性,并称则称此齐次马氏链具有遍历性,并称j为状态为状态j的稳态概率。的稳态概率。8 定理定理4.1 设齐次马氏链设齐次马氏链X(n),n1的状态空的状态空间为间为E=1,2,N,若存在正整数,若存在正整数m,使对任意,使对任意的的i,jE,其,其m步转移概率均大于步转移概率均大于0,即即 则此马氏链具有遍历性;且各状态的稳态概率则此马氏链具有遍历性;且各状态的稳态概率满足下列方程组满足下列方程组9
4、及概率分布条件及概率分布条件注注1 判断马氏链的遍历性有很多方法判断马氏链的遍历性有很多方法,本定本定理只是其中一个较为简单的方法理只是其中一个较为简单的方法.注注2 本定理不仅给出了判断马氏链的遍历性本定理不仅给出了判断马氏链的遍历性的方法的方法,也给出了求其稳态概率的方法也给出了求其稳态概率的方法.10 例例4.1 设齐次马氏链的状态空间设齐次马氏链的状态空间E=1,2,3,其一步转移概率为其一步转移概率为 试问此链是否具有遍历性试问此链是否具有遍历性?若有若有,试求其稳态试求其稳态概率概率.11 解:注意到解:注意到 即知其所有的二步转移概率均大于即知其所有的二步转移概率均大于0,由定理
5、,由定理4.1知,此链具有遍历性知,此链具有遍历性.12再由转移概率与稳态概率满足的方程组得再由转移概率与稳态概率满足的方程组得 解之可得稳态概率为解之可得稳态概率为13例例4.2 设齐次马氏链的状态空间设齐次马氏链的状态空间E=1,2,其,其一步转移概率矩阵为一步转移概率矩阵为试讨论该链的遍历性。试讨论该链的遍历性。解:容易计算得出,该链的其解:容易计算得出,该链的其n步转移矩阵与其步转移矩阵与其一步转移矩阵一步转移矩阵P相同,即相同,即14故由定义故由定义4.1知,此链不具有遍历性知,此链不具有遍历性,也不存在也不存在稳态概率。稳态概率。15二二 齐次马氏链的平稳分布齐次马氏链的平稳分布定
6、义定义4.2 设设X(n),n0是一齐次马氏链,若存是一齐次马氏链,若存在实数集合在实数集合rj,jE,满足,满足 则称则称X(n),n0是一平稳齐次马氏链,是一平稳齐次马氏链,称称rj,j E 为该过程的一个平稳分布。为该过程的一个平稳分布。16例例4.3 已知已知X(n),n0的初始分布为的初始分布为 其一步转移矩阵为其一步转移矩阵为试说明此马氏链是平稳的试说明此马氏链是平稳的,且其初始分布为其平且其初始分布为其平稳分布。稳分布。17解解 由平稳分布满足的方程组注意到由平稳分布满足的方程组注意到18即此初始分布满足定义即此初始分布满足定义4.2中条件,故具有上中条件,故具有上述转移概率的齐
7、次马氏链为一平稳齐次马氏链,述转移概率的齐次马氏链为一平稳齐次马氏链,初始分布为其一个平稳分布。初始分布为其一个平稳分布。定理定理4.2 设设X(n),n0是一平稳齐次马氏链,是一平稳齐次马氏链,若其初始分布若其初始分布P(0)=p1(0),p2(0),pj(0),为此链的平稳分布时,则对任何为此链的平稳分布时,则对任何n1,绝对概,绝对概率等于初始概率,即:率等于初始概率,即:证证 若平稳齐次马氏链的初始分布为平稳分布若平稳齐次马氏链的初始分布为平稳分布 时时,则有则有19而齐次马氏链的绝对概率为其初始分布与转移而齐次马氏链的绝对概率为其初始分布与转移概率确定概率确定2021 由此可见,当我
8、们能判定齐次马氏链的初始由此可见,当我们能判定齐次马氏链的初始分布是一平稳分布时,则该马氏链在任何时刻分布是一平稳分布时,则该马氏链在任何时刻的绝对概率分布都与初始分布相同。事实上,的绝对概率分布都与初始分布相同。事实上,平稳分布就是不因转移步数变化而改变的分布。平稳分布就是不因转移步数变化而改变的分布。此时马氏链处于状态此时马氏链处于状态j的概率与时间推移无关,的概率与时间推移无关,即具有平稳性。即具有平稳性。注注1 一般来说,平稳齐次马氏链的平稳分布并一般来说,平稳齐次马氏链的平稳分布并不唯一不唯一.注注2 在定理在定理4.1条件下条件下,平稳齐次马氏链的稳态平稳齐次马氏链的稳态概率即为其平稳分布。概率即为其平稳分布。22例例4.4 设齐次马氏链的状态空间为设齐次马氏链的状态空间为E=1,2,其一步转移概率矩阵为其一步转移概率矩阵为 由例由例4.2知知,此齐次马氏链不是遍历的此齐次马氏链不是遍历的,其稳态概率其稳态概率不存在不存在,但有但有23可见其平稳分布是存在的,且具有无穷多个可见其平稳分布是存在的,且具有无穷多个.均为其平稳分布。均为其平稳分布。