《随机过程Ch5连续时间马尔可夫链.ppt》由会员分享，可在线阅读，更多相关《随机过程Ch5连续时间马尔可夫链.ppt（46页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第五章第五章 连续时间马尔可夫链连续时间马尔可夫链 I 马尔可夫链马尔可夫链 5 4 3 2 1 0 1 2 3 4 5 T25.1 连续时间马尔可夫链连续时间马尔可夫链 定义定义5.1 设设随机过程随机过程 X(t)，t 0 0 ，状态，状态空间空间I=0,1,2,，若对任意若对任意0 0 t1 t2tn+1及非负及非负整数整数i1,i2,in+1，有有PX(tn+1)=in+1|X(t1)=i1,X(t2)=i2,X(tn)=in =PX(tn+1)=in+1|X(tn)=in，则称则称 X(t)，t 0 0 为为连续时间马尔可夫链连续时间马尔可夫链。转移概率转移概率：在：在s时刻处于状态
2、时刻处于状态i，经过时间，经过时间t后后转移到转移到状态状态j的的概率概率 pij(s,t)=PX(s+t)=j|X(s)=i 35.1 连续时间马尔可夫链 定义定义5.2 齐次齐次转移概率转移概率 pij(s,t)=pij(t)(与起始时刻与起始时刻s无关，只与时间间隔无关，只与时间间隔t有关有关)转移概率矩阵转移概率矩阵P(t)=(pij(t)，i,j I，t 0 0 性质：性质：若若 i为过程在状态转移之前停留在状态为过程在状态转移之前停留在状态i的时间，则对的时间，则对s,t 0有有(1)(2)i 服从指数分布服从指数分布45.1 连续时间马尔可夫链ss+t0 iiiiti证证(1)事
3、实上事实上55.1 连续时间马尔可夫链 65.1 连续时间马尔可夫链(2)设设 i的分布函数为的分布函数为F(x),(x 0),则生存函数则生存函数G(x)=1-F(x)由此可推出由此可推出G(x)为指数函数，为指数函数，G(x)=e-x,则则F(x)=1-G(x)=1-e-x为指数分布函数。为指数分布函数。75.1 连续时间马尔可夫链过程在状态转移之前处于状态过程在状态转移之前处于状态i的时间的时间 i服从指数分布服从指数分布(1)当当 i=时，时，状态状态i的停留时间的停留时间 i 超过超过x的概率为的概率为0，则，则称状态称状态i为瞬时状态；为瞬时状态；(2)当当 i=0时，时，状态状态
4、i的停留时间的停留时间 i 超过超过x的概率为的概率为1，则，则称状态称状态i为吸收状态。为吸收状态。85.1 连续时间马尔可夫链定理定理5.1 齐次马尔可夫过程的转移概率齐次马尔可夫过程的转移概率具有下列性质：具有下列性质：(1)pij(t)0;(2)(3)证证 由概率的定义，由概率的定义，(1)(2)显然成立，下证显然成立，下证(3)95.1 连续时间马尔可夫链 105.1 连续时间马尔可夫链注：注：此为转移概率的此为转移概率的正则性条件正则性条件。11正则性分布律转移方程时间离散时间连续125.1 连续时间马尔可夫链定义定义5.3(1)初始概率初始概率(2)绝对概率绝对概率(3)初始分布
5、初始分布(4)绝对分布绝对分布定理定理5.2 齐次马尔可夫过程的绝对概率齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：及有限维概率分布具有下列性质：135.1 连续时间马尔可夫链 (1)pj(t)0(2)(3)(4)(5)145.1 连续时间马尔可夫链例例5.1 证明泊松过程证明泊松过程X(t),t 0为连续为连续时间齐次马尔可夫链。时间齐次马尔可夫链。证证 先证先证泊松过程泊松过程的的马尔可夫性。马尔可夫性。泊松过程是独立增量过程，且泊松过程是独立增量过程，且X(0)=0，对对任意任意0t1 t2 tn tn+1有有155.1 连续时间马尔可夫链另一方面另一方面即泊松过程是一个连续
6、时间马尔可夫链。即泊松过程是一个连续时间马尔可夫链。165.1 连续时间马尔可夫链 再证齐次性再证齐次性当当j i时，时，当当j0，pji(t2)0，则称状态则称状态i与与j是是互通互通的。的。若所有状态都是互通的，则称此马若所有状态都是互通的，则称此马尔可夫链为尔可夫链为不可约的不可约的。可定义状态的常返性可定义状态的常返性265.2 柯尔莫哥洛夫微分方程例例5.2 设两个状态的连续时间马尔可夫链，设两个状态的连续时间马尔可夫链，状态转移概率满足，试讨论平稳分布。状态转移概率满足，试讨论平稳分布。275.2 柯尔莫哥洛夫微分方程 285.2 柯尔莫哥洛夫微分方程295.2 柯尔莫哥洛夫微分方
7、程转移概率为转移概率为305.2 柯尔莫哥洛夫微分方程转移概率的极限为转移概率的极限为平稳分布为平稳分布为315.2 柯尔莫哥洛夫微分方程若取初始分布为平稳分布，即若取初始分布为平稳分布，即则过程在时刻则过程在时刻t的绝对概率分布为的绝对概率分布为 325.2 柯尔莫哥洛夫微分方程 335.2 柯尔莫哥洛夫微分方程定理定理5.7 设设连续时间连续时间马尔可夫链是不可马尔可夫链是不可约的，则有下列性质：约的，则有下列性质：(1)若它是正常返的，则极限若它是正常返的，则极限 存在且存在且等于等于 j 0，j I。这里这里 j 是是的唯一非负解，此时称的唯一非负解，此时称 j 0，j I是该是该过程
8、的过程的平稳分布平稳分布，并且有，并且有(2)若它是零常返的或非常返的，则若它是零常返的或非常返的，则34例如上例中马氏链有两个状态I=0,1，那么35生灭过程设某系统具有状态集设某系统具有状态集S=0,1,2,或或S=0,1,2,k,N(t)表示系统在时刻表示系统在时刻 t(t=0)的状态。的状态。若在若在N(t)=n的条件下，随机过程的条件下，随机过程N(t),t=0满足满足以下条件以下条件:(1)N(t+t)转移到转移到“n+1”的概率为的概率为Pn,n+1(t)=n t ;(2)N(t+t)转移到转移到“n-1”的概率为的概率为Pn,n-1(t)=n t);(3)N(t+t)转移到转移
9、到其他状态其他状态“S-n+1,n-1”的概的概 率为率为o(t)(高阶无穷小高阶无穷小);则称则称随机过程随机过程N(t),t=0为生灭过程。为生灭过程。36生灭过程状态变化的性质生灭过程状态变化的性质(1)在无穷小在无穷小 t内内,系统或生长系统或生长1个个;或灭亡或灭亡1个个;或既或既 不生长又不灭亡不生长又不灭亡（概率概率:1-n(t)-n(t)）;(2)系统生长一个的概率系统生长一个的概率n(t)与与 t有关，而与有关，而与t无无 关关;与系统当前状态与系统当前状态n有关，而与以前的状态无关；有关，而与以前的状态无关；(3)系统灭亡一个的概率系统灭亡一个的概率n(t)与与 t有关，而
10、与有关，而与t无无 关关;与系统当前状态与系统当前状态n有关，而与以前的状态无关；有关，而与以前的状态无关；马尔可夫性质马尔可夫性质37 若排队系统具有下列性质若排队系统具有下列性质:(1)顾客到达为泊松流，时间间隔服从参顾客到达为泊松流，时间间隔服从参 数为数为n的负指数分布的负指数分布;(2)顾客服务时间服从参数为顾客服务时间服从参数为 n的负指的负指 数分布数分布;则排队系统的随机过程则排队系统的随机过程N(t),t=0具有具有马马 尔可夫性质尔可夫性质,为为一个生灭过程一个生灭过程.排队系统38(四四)排队系统状态转移图排队系统状态转移图在任意状态在任意状态n达到稳态平衡的条件：达到稳态平衡的条件：产生该状态的平均速率产生该状态的平均速率 =该状态转变成其他状态的平均速率该状态转变成其他状态的平均速率 （流入（流入=流出）流出）3940414243三、三、排队系统稳态概率排队系统稳态概率P Pn n的求解的求解444546