《数理统计与随机过程马尔科夫链学习教案.pptx》由会员分享，可在线阅读，更多相关《数理统计与随机过程马尔科夫链学习教案.pptx（33页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、数理统计与随机数理统计与随机(su j)过程马尔科夫链过程马尔科夫链第一页，共33页。11.1 马尔可夫过程马尔可夫过程(guchng)及其概率及其概率分布分布 在物理学中，很多确定性现象遵从如下演变原则：在物理学中，很多确定性现象遵从如下演变原则：由时刻由时刻t0t0系统或过程所处的状态，可以决定系统或过系统或过程所处的状态，可以决定系统或过程在时刻程在时刻t t0t t0所处的状态，而无需借助于所处的状态，而无需借助于t0t0以前系以前系统或过程所处状态的历史资料。如微分方程问题所描统或过程所处状态的历史资料。如微分方程问题所描绘的物理过程就属于这类确定性现象。把上述原则延绘的物理过程就属
2、于这类确定性现象。把上述原则延伸到随机现象，即当一物理系统或过程遵循的是某种伸到随机现象，即当一物理系统或过程遵循的是某种统计统计(tngj)(tngj)规律时，可仿照上面的原则，引入以下规律时，可仿照上面的原则，引入以下的马尔可夫性或无后效性：过程的马尔可夫性或无后效性：过程(或系统或系统)在时刻在时刻t0t0所所处的状态为已知的条件下，过程在时刻处的状态为已知的条件下，过程在时刻tt0tt0所处状态所处状态的条件分布与过程在的条件分布与过程在t0t0之前所处的状态无关。通俗地之前所处的状态无关。通俗地说，就是在已经知道过程说，就是在已经知道过程“现在现在”的条件下，其的条件下，其“将将来来
3、”不依赖于不依赖于“过去过去”。第1页/共33页第二页，共33页。现用分布函数来表述马尔可夫性现用分布函数来表述马尔可夫性.设随机过程设随机过程X(t),X(t),t Tt T的状态的状态(zhungti)(zhungti)空间为空间为I I。如果对时间。如果对时间t t的任意的任意n n个数值个数值t1t2 tn,n3,ti Tt1t2 tn,n3,ti T，在条件，在条件X(ti)=xi,xiI,i=1,2,n-1X(ti)=xi,xiI,i=1,2,n-1下下,X(tn),X(tn)的条件分布函的条件分布函数恰等于在条件数恰等于在条件X(tn-1)=xn-1X(tn-1)=xn-1下下X
4、(tn)X(tn)的条件分布函数的条件分布函数则称过程则称过程X(t),t T具有具有(jyu)马尔可夫性或无后效性，并称此马尔可夫性或无后效性，并称此过程为马尔可夫过程。过程为马尔可夫过程。(1.1)第2页/共33页第三页，共33页。例例1 1 设设X(t),t 0X(t),t 0是独立增量过程，且是独立增量过程，且X(0)=0X(0)=0，证明，证明(zhngmng)X(t),t 0(zhngmng)X(t),t 0是一个马尔可夫过程。是一个马尔可夫过程。证证 由由(1.1)(1.1)式知，只要证明式知，只要证明(zhngmng)(zhngmng)在已知在已知X(tn-X(tn-1)=xn
5、-11)=xn-1的条件下的条件下X(tn)X(tn)与与X(tj),j=1,2,n-2X(tj),j=1,2,n-2相互独立即可。相互独立即可。现由独立增量过程的定义知道，当现由独立增量过程的定义知道，当0tjtn-1tn,j=1,2,n-0tjtn-1tn,j=1,2,n-2 2时，增量时，增量X(tj)-X(0)X(tj)-X(0)与与X(tn)-X(tn-1)X(tn)-X(tn-1)相互独立。根据条件相互独立。根据条件X(0)=0X(0)=0和和X(tn-1)=xn-1,X(tn-1)=xn-1,即有即有X(tj)X(tj)与与X(tn)-X(tn-1)X(tn)-X(tn-1)相互
6、独立。相互独立。再由第三章再由第三章44定理知，此时定理知，此时X(tn)X(tn)与与X(tj)X(tj)，j=1,2,j=1,2,n-2,n-2相互独立。这表明相互独立。这表明X(t)X(t)具有后无效性具有后无效性,即即X(t),t 0X(t),t 0是一个马尔可夫过程。是一个马尔可夫过程。由上例知，泊松过程是时间连续状态离散的马氏过程；由上例知，泊松过程是时间连续状态离散的马氏过程；维纳过程是时间状态都连续的马氏过程。维纳过程是时间状态都连续的马氏过程。第3页/共33页第四页，共33页。时间和状态都是离散的马尔可夫过程称为马尔可夫时间和状态都是离散的马尔可夫过程称为马尔可夫链，简称马氏
7、链，记为链，简称马氏链，记为Xn=X(n),n=0,1,2,Xn=X(n),n=0,1,2,，它可，它可以看作在时间集以看作在时间集T1=0,1,2,T1=0,1,2,上对离散状态的马氏过上对离散状态的马氏过程相继观察的结果程相继观察的结果.我们约定记链的状态空间我们约定记链的状态空间I=a1,a2,I=a1,a2,ai R,ai R。在链的情形。在链的情形(qng xing)(qng xing)，马尔可夫性通常，马尔可夫性通常用条件分布律来表示，即对任意的正整数用条件分布律来表示，即对任意的正整数n,rn,r和和0t1t2 trm0t1t2 trm；m,n T1m,n T1，有，有(1.2)
8、其中其中(qzhng)ai I。记上式右端为。记上式右端为Pij(m,m+n),我们称条件概率我们称条件概率 Pij(m,m+n)=PXm+n=aj Xm=ai为马氏链在时刻为马氏链在时刻m处于状态处于状态ai条件下，在时刻条件下，在时刻m+n转移到状态转移到状态aj的转的转移概率。移概率。(1.3)第4页/共33页第五页，共33页。由于链在时刻由于链在时刻m m从任何一状态从任何一状态(zhungti)ai(zhungti)ai出发，出发，到另一时刻到另一时刻m+nm+n，必然转移到，必然转移到a1,a2,a1,a2,诸状态诸状态(zhungti)(zhungti)中的某一个，所以中的某一个
9、，所以(1.4)由转移概率组成由转移概率组成(z chn)的矩阵的矩阵P(m,m+n)=(Pij(m,m+n)称称为马氏链的转移概率矩阵。由为马氏链的转移概率矩阵。由(1.4)式知，此矩阵的每一行元之和式知，此矩阵的每一行元之和等于等于1。当转移概率当转移概率Pij(m,m+n)只与只与i,j及时间间距及时间间距n有关时，把它记为有关时，把它记为Pij(n)，即，即 Pij(m,m+n)=Pij(n)并称此转移概率具有平稳性。同时也称此链是齐次的或时齐的。并称此转移概率具有平稳性。同时也称此链是齐次的或时齐的。以下我们限于讨论齐次马氏链。以下我们限于讨论齐次马氏链。第5页/共33页第六页，共3
10、3页。在马氏链为齐次的情形下，由在马氏链为齐次的情形下，由(1.3)式定义的转移概率式定义的转移概率 Pij(n)=PXm+n=aj Xm=ai 称为马氏链的称为马氏链的n步转移概率，步转移概率，P(n)=(Pij(n)为为n步转移概率矩阵步转移概率矩阵(j zhn)。在以下的讨论中。在以下的讨论中特别重要的是一步转移概率特别重要的是一步转移概率 Pij=Pij(1)=PXm+1=aj Xm=ai 或由它们组成的一步转移概率矩阵或由它们组成的一步转移概率矩阵(j zhn)在上述矩阵的左侧和上边标上状态在上述矩阵的左侧和上边标上状态a1,a2,是为了显示是为了显示Pij是由状态是由状态ai经一步
11、经一步(y b)转移到状态转移到状态aj的概率。的概率。第6页/共33页第七页，共33页。例例2（0-1传输系统）在如下图只传传输数字传输系统）在如下图只传传输数字0和和1的串联系统的串联系统中，设每一级的传真率（输出与输入数字相同的概率称为系中，设每一级的传真率（输出与输入数字相同的概率称为系统的传真率，相反情形称为误码率）为统的传真率，相反情形称为误码率）为p，误码率为，误码率为q=1-p，并设一个单位时间传输一级，并设一个单位时间传输一级，X0是第一级的输入，是第一级的输入，Xn是第是第n级的输出级的输出(n1)，那么，那么Xn,n=0,1,2,是一随机过程，状态是一随机过程，状态空间空
12、间I=0,1，而且，而且(r qi)当当Xn=i,iI为已知时为已知时,Xn+1所处所处的状态的概率分布只与的状态的概率分布只与Xn=i 有关，而与时刻有关，而与时刻n以前所处的状以前所处的状态无关，所以它是一个马氏链，而且态无关，所以它是一个马氏链，而且(r qi)还是齐次的。它还是齐次的。它的一步转移概率和一步转移概率分别为的一步转移概率和一步转移概率分别为和和第7页/共33页第八页，共33页。例例2 一维随机游动一维随机游动 设一醉汉设一醉汉Q在如下图所示直线的点集在如下图所示直线的点集I=1,2,3,4,5上作随机游动，且仅在上作随机游动，且仅在1秒、秒、2秒等时刻发生秒等时刻发生游动
13、。游动的概率规则是：如果游动。游动的概率规则是：如果Q现在位于现在位于(wiy)点点i(1i5)，则下一时刻各以，则下一时刻各以1/3的概率向左或向右移动一格，的概率向左或向右移动一格，或以或以1/3的概率留在原处；如果的概率留在原处；如果Q现在位于现在位于(wiy)1(或或5)这点上，则下一时刻就以概率这点上，则下一时刻就以概率1移动到移动到2(或或4)这一点上。这一点上。1和和5这两点称为反射壁。上面这种游动称为带有两个反射这两点称为反射壁。上面这种游动称为带有两个反射壁的随机游动。壁的随机游动。第8页/共33页第九页，共33页。若以若以Xn表示时刻表示时刻n时时Q的位置，不同的位置就是的
14、位置，不同的位置就是Xn的不同状态的不同状态(zhungti)，那么，那么 Xn,n=0,1,2是一随机过程，状态是一随机过程，状态(zhungti)空空间就是间就是I，而且，而且Xn=i,i I为已知时，为已知时，Xn+1所处的状态所处的状态(zhungti)的的概率分布只与概率分布只与Xn=i 有关，而与有关，而与Q在时刻在时刻n以前如何达到以前如何达到i是完全无关的，是完全无关的，所以所以 Xn,n=0,1,2是一马氏链，而且还是齐次的，它的一步转移概是一马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为率和一步转移概率矩阵分别为010001/31/31/30001/31/
15、31/30001/31/31/3000101 2 3 4 512345和和P=第9页/共33页第十页，共33页。如果把如果把1这一点改为吸收壁，即是说这一点改为吸收壁，即是说Q一旦到达一旦到达1这一点，则就永这一点，则就永远留在点远留在点1上，此时，相应链的转移概率矩阵只须把上，此时，相应链的转移概率矩阵只须把P中的第一横行中的第一横行改为改为(1,0,0,0,0)。总之，改变。总之，改变(gibin)游动的概率规则游动的概率规则,就可得到不同就可得到不同方式的随机游动和相应的马式链。方式的随机游动和相应的马式链。随机游动的思想在数值计算方法方面有重要应用。随机游动的思想在数值计算方法方面有重
16、要应用。例例4 排队模型排队模型 设服务系统由一个服务员和只可以容纳两个人的等设服务系统由一个服务员和只可以容纳两个人的等候室组成，见图候室组成，见图11-3。服务规则是：先到先服务，后来者首先需。服务规则是：先到先服务，后来者首先需在等候室。假定一顾客到达系统时发现系统内已有在等候室。假定一顾客到达系统时发现系统内已有3个顾客个顾客(一个一个正在接受服务，两个在等候室排队正在接受服务，两个在等候室排队)，则该顾客即离去。设时间，则该顾客即离去。设时间(shjin)间隔间隔t内有一个顾客进入系统的概率为内有一个顾客进入系统的概率为q，有一原来，有一原来被服务的顾客离开系统被服务的顾客离开系统(
17、即服务完毕即服务完毕)的概率为的概率为p。又设当。又设当t充分充分小时，在这时间小时，在这时间(shjin)间隔内多于一个顾客进入或离开系统间隔内多于一个顾客进入或离开系统实际上是不可能的。再设有无顾客来到与服务是否完毕是相互独实际上是不可能的。再设有无顾客来到与服务是否完毕是相互独立。现用马氏链来描述这个服务系统。立。现用马氏链来描述这个服务系统。第10页/共33页第十一页，共33页。图图11-3 设Xn=X(nt)表示时刻nt 时系统内的顾客数，即系统的状态,Xn,n=0,1,2 是一随机过程,状态空间I=0,1,2,3,可知它是一个齐次马氏链。下面来计算此马氏链的一步转移概率。p00 在
18、系统内没有顾客的条件下，经t 后仍没有顾客的概率(此处是条件概率，以下同)p00=1-q.p01-在系统内没有顾客的条件下，经t 后有一顾客进入系统的概率，p01=q.p10-系统内恰有一个顾客正在接受服务的条件下，经t后系统内无人的概率，它等于(dngy)在t 间隔内顾客因服务完毕而离去，且无人进入系统的概率，p10=p(1-q)第11页/共33页第十二页，共33页。p11 系统内恰有系统内恰有1个顾客的条件下，在个顾客的条件下，在t 间隔内，他因服间隔内，他因服务完毕而离去，而另一顾客进入系统，或者正在接受服务的顾务完毕而离去，而另一顾客进入系统，或者正在接受服务的顾客将继续要求服务，且无
19、人进入系统的概率。客将继续要求服务，且无人进入系统的概率。p11=pq+(1-p)(1-q).p12 正在接受服务的顾客继续要求服务，且另一个顾客进正在接受服务的顾客继续要求服务，且另一个顾客进入系统的概率入系统的概率p12=q(1-p).p13 正在接受服务的顾客继续要求服务，且在正在接受服务的顾客继续要求服务，且在t 间隔内间隔内有两个顾客进入系统的概率有两个顾客进入系统的概率，由假设，后者实际上是不可能发，由假设，后者实际上是不可能发生的，生的，p13=0.类似类似(li s)地，有地，有p21=p32=p(1-q),p22=pq+(1-p)(1-q),p23=q(1-p),pij=0(
20、|i-j|2).p33 一人因服务完毕而离去且另一人将进入系统，或者无一人因服务完毕而离去且另一人将进入系统，或者无人离开系统的概率，人离开系统的概率，p33=pq+(1-p)第12页/共33页第十三页，共33页。于是该马氏链的一步(y b)转移概率矩阵为 在实际问题中，一步转移概率通常可通过统计试验(shyn)确定，下面看一实例。例例5 计算机机房的一台计算机经常出故障，研究者每隔计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了分钟观察一次计算机的运行状态，收集了24小时的数据小时的数据（共作（共作97次观察）。用次观察）。用1表示表示(biosh)正常状
21、态，用正常状态，用0表示表示(biosh)不正常状态，所得的数据序列如下：不正常状态，所得的数据序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111第13页/共33页第十四页，共33页。设设Xn为第为第n(n=1,2,97)个时段的计算机状态个时段的计算机状态,可以可以(ky)认为它是一个马氏链认为它是一个马氏链,状态空间状态空间I=0，1.96次状态次状态转移的情况是转移的情况是:0 0,8次；次；0 1,18次；次；1 0,18次；次；1
22、1,52次次.因此，一步转移概率可用频率近似地表示为因此，一步转移概率可用频率近似地表示为第14页/共33页第十五页，共33页。例例6（续例（续例5）若计算机在前一段若计算机在前一段(15分钟分钟)的状态为的状态为0，问，问在此条件下从此在此条件下从此(cngc)时段起此计算机能连续正常工作时段起此计算机能连续正常工作3刻钟刻钟(3个时段个时段)的概率为多少？的概率为多少？解解 由题意，某一时段的状态为由题意，某一时段的状态为0就是初始状态为就是初始状态为0，即，即X 0=0。由乘法公式、马氏性和齐次性得，所求条件概率。由乘法公式、马氏性和齐次性得，所求条件概率为为第15页/共33页第十六页，
23、共33页。接着接着(ji zhe)，我们来研究齐次马氏链的有限维分布。首先，我们来研究齐次马氏链的有限维分布。首先，记记称它为马氏链的初始称它为马氏链的初始(ch sh)分布。再看马氏链在任意时刻分布。再看马氏链在任意时刻n T1的一维分布：的一维分布：显然，应有显然，应有(yn yu)由全概率公式由全概率公式即即(1.6)(1.7)一维分布一维分布(1.6)也可用行向量表示成也可用行向量表示成 p(n)=(p1(n),p2(n),pj(n),)这样，利用矩阵乘法这样，利用矩阵乘法(I是可列无限集时，仍用有限阶矩阵乘法是可列无限集时，仍用有限阶矩阵乘法的规则确定矩阵之积的元的规则确定矩阵之积的
24、元)，(1.7)式可写成式可写成 p(n)=p(0)P(n)此式表此式表明，马氏链在任一时刻明，马氏链在任一时刻nT1时的一维分布由初始分布时的一维分布由初始分布 p(0)和和n 步转步转移概率矩阵所确定。移概率矩阵所确定。(1.6)(1.7)第16页/共33页第十七页，共33页。又,对于(duy)任意n个时刻t1t2 tn,ti T1 以及状态 ，马氏链的n维分布：(1.8)由此，并结合由此，并结合(1.7)或或(1.7)可知：齐次马氏链的有限维可知：齐次马氏链的有限维分布同样完全由初始分布和转移分布同样完全由初始分布和转移(zhuny)概率确定。概率确定。总之，转移总之，转移(zhuny)
25、概率决定了马氏链的统计规律。概率决定了马氏链的统计规律。因此，确定马氏链的任意因此，确定马氏链的任意n步转移步转移(zhuny)概率就成为马概率就成为马氏链理论中的重要问题之一。氏链理论中的重要问题之一。第17页/共33页第十八页，共33页。11.2 多步转移概率多步转移概率(gil)的确定的确定 为了确定为了确定(qudng)齐次马氏链的齐次马氏链的n步转移概率步转移概率Pij(n)，首先介绍，首先介绍Pij(n)所满足的基本方程。所满足的基本方程。设设X(n),n T1是一齐次马氏链是一齐次马氏链,则对任意的则对任意的u,v T1,有有 方程方程(2.1)就是著名的切普曼就是著名的切普曼-
26、柯莫哥洛夫柯莫哥洛夫(Chapman-Kolmogorov)方方程，简称程，简称C-K方程。方程。C-K方程基于下述事实，即“从时刻s所处的状态ai，即X(s)=ai出发，经时段u+v转移(zhuny)到状态 aj,即X(s+u+v）=aj”这一事件可分解成“从X(s)=ai 出发，先经时段u转移(zhuny)到中间状态ak(k,=1,2)，再从ak经时段v转移(zhuny)到状态 aj”这样一些事件和事件(见图11-4)。第18页/共33页第十九页，共33页。图 11-4 方程(2.1)的证明如下：先固定ak I 和sT1，由条件(tiojin)概率定义和乘法定理，有(2.2)第19页/共3
27、3页第二十页，共33页。又由于事件又由于事件(shjin)组组“X(s+u)=ak”,k=1,2,构成一划构成一划分，故有分，故有将将(2.2)式代入上式，即得所要证明的式代入上式，即得所要证明的C-K方程。方程。C-K方程也可写成矩阵形式：方程也可写成矩阵形式：P(u+v)=P(u)P(v)(2.1)利用利用C-K方程我们容易确定方程我们容易确定n步转移步转移(zhuny)概率。事实上，概率。事实上，在在(2.1)式中令式中令u=1,v=n-1，得递推关系：，得递推关系：P(n)=P(1)P(n-1)=PP(n-1),从而可得从而可得 P(n)=Pn.(2.3)就是说，对齐次马氏链而言，就是
28、说，对齐次马氏链而言，n步转移步转移(zhuny)概率矩阵是一步转概率矩阵是一步转移移(zhuny)概率矩阵的概率矩阵的n次方。次方。进而可知，齐次马氏链的有限维分布可由初始与一步转移进而可知，齐次马氏链的有限维分布可由初始与一步转移(zhuny)概率完全确定。概率完全确定。第20页/共33页第二十一页，共33页。例例1 设设Xn,n0是具有三个状态是具有三个状态0,1,2的齐次马氏链，一步的齐次马氏链，一步(y b)转移概率矩阵为转移概率矩阵为初始初始(ch sh)分布分布pi(0)=PX0=i=1/3,i=0,1,2.试求试求:(i)PX0=0,X2=1;(ii)PX2=1解解 先求出二步
29、转移概率先求出二步转移概率(gil)矩阵矩阵于是于是 (i)(ii)由由(1.7)式，式，第21页/共33页第二十二页，共33页。例例2 在在1例例2中中,(i)设设p=0.9,求系统求系统(xtng)二级传输后的传真率与三二级传输后的传真率与三级传输后的误码率；级传输后的误码率；(ii)设初始分布设初始分布P1(0)=PX0=1=，P0(0)=P X0=0=1-，又已知系统，又已知系统(xtng)经经n级传输后输出为级传输后输出为1，问原发字符，问原发字符也是也是1的概率是多少？的概率是多少？解解 先求出先求出n步转移概率矩阵步转移概率矩阵P(n)=Pn。由于。由于有相异的特征值有相异的特征
30、值1=1,2=p-q,由线形由线形(xin xn)代数知识，可将代数知识，可将P表示成对角阵表示成对角阵的相似矩阵。具体做法是：求出的相似矩阵。具体做法是：求出1,2对应的特征相量对应的特征相量(q=1-p)(q=1-p)第22页/共33页第二十三页，共33页。令令则则(2.4)(i)由由(2.4)式可知，当式可知，当p=0.9时，系统经二级传输后的传真时，系统经二级传输后的传真(chunzhn)率与三级传输的误码率分别为率与三级传输的误码率分别为 (ii)根据贝叶斯公式，当已知系统经根据贝叶斯公式，当已知系统经n级传输级传输(chun sh)后输出后输出为为1，原发字符也是，原发字符也是1的
31、概率为的概率为第23页/共33页第二十四页，共33页。对于对于(duy)只有两个状态的马氏链，一步转移概只有两个状态的马氏链，一步转移概率矩阵一般可表示为：率矩阵一般可表示为：利用类似于例利用类似于例2的方法，可得的方法，可得n步转移步转移(zhuny)概率矩概率矩阵为阵为第24页/共33页第二十五页，共33页。11.3 遍历性遍历性 对于一般对于一般(ybn)的两个状态的马氏链，由的两个状态的马氏链，由(2.5)式可知式可知,当当0a,b1 时就可时就可得到得到n步转移步转移(zhuny)概率的近似值：概率的近似值：pij(n)j 第25页/共33页第二十六页，共33页。一般，设齐次马氏链的
32、状态空间为一般，设齐次马氏链的状态空间为 I，若对于所有，若对于所有ai,ajI，转，转移概率移概率Pij(n)存在存在(cnzi)极限极限或或则称此链具有遍历性，又若则称此链具有遍历性，又若 ，则同时称，则同时称 为链为链的极限分布。的极限分布。齐次马氏链在什么齐次马氏链在什么(shn me)条件下才具有遍历性？如何求条件下才具有遍历性？如何求出它的极限分布？这问题在理论上已经完满解决出它的极限分布？这问题在理论上已经完满解决,下面仅就只有下面仅就只有有限个状态的链有限个状态的链,即有限链的遍历性给出一个充分条件。即有限链的遍历性给出一个充分条件。第26页/共33页第二十七页，共33页。定理
33、定理 设齐次马氏链设齐次马氏链Xn,n 1的状态空间的状态空间(kngjin)为为I=a1,a2,aN,P是它的一步转移概率矩阵，如果存在整数是它的一步转移概率矩阵，如果存在整数 m，使对任意的，使对任意的ai,ajI，都有，都有 Pij(m)0,i,j=1,2,N,(3.1)则此链具有遍历性则此链具有遍历性,且有极限分布且有极限分布=(1,2,N)，它是方程组，它是方程组 =P或即或即 (3.2)的满足条件的满足条件 (3.3)的唯一解。的唯一解。依照定理，为证有限链是遍历的，只需要找一正整数依照定理，为证有限链是遍历的，只需要找一正整数m，使，使m步转移概率步转移概率矩阵矩阵 Pm无零元。
34、而求极限分布无零元。而求极限分布 的问题，化为求解方程组的问题，化为求解方程组(3.2)的问题。的问题。注意，方程组注意，方程组(3.2)中仅中仅N-1个未知数是独立的，而唯一解可用归一条件个未知数是独立的，而唯一解可用归一条件 确定。确定。第27页/共33页第二十八页，共33页。在定理的条件在定理的条件(tiojin)下，马氏链的极限分布又是平稳分布。意下，马氏链的极限分布又是平稳分布。意即，若用即，若用 作为链的初始分布，即作为链的初始分布，即p(0)=,则链在任一时刻则链在任一时刻nT1的分的分布布p(n)永远与永远与 一致。事实上，有一致。事实上，有 p(n)=p(0)p(n)=pn=
35、pn-1=p=例例1 试说明试说明1例例2中，带有两个放射壁的随机中，带有两个放射壁的随机(su j)游游动是遍历的，并求其极限分布动是遍历的，并求其极限分布(平稳分布平稳分布)。解解 为简便计，以符号为简便计，以符号“”代表转移概率矩阵的正元代表转移概率矩阵的正元素，于是，由素，于是，由1例例2中的一步转移概率矩阵中的一步转移概率矩阵 P，得，得第28页/共33页第二十九页，共33页。即即P(4)无零元。由定理，链是遍历的。再根据无零元。由定理，链是遍历的。再根据(3.2)和和(3.3)式式,写出极限分布写出极限分布 =(1,2,5)满足的方程组满足的方程组先由前四个方程，解得：先由前四个方
36、程，解得：3 1=2=3=4=3 5，将它们代入，将它们代入归一条件，即最后归一条件，即最后(zuhu)一个方程，解之，得唯一解：一个方程，解之，得唯一解：1=5=1/11,2=3=4=3/11所以极限分布为所以极限分布为 =(1/11,3/11,3/11,3/11,1/11)。这个分布表明：。这个分布表明：经过长时间游动之后，醉汉经过长时间游动之后，醉汉Q位于位于i点点(1i5)的概率约为的概率约为3/11，位于点位于点1(或或5)的概率约为的概率约为1/11。第29页/共33页第三十页，共33页。例例2 试说明试说明1例例4(排队模型排队模型)中的链是遍历的，并求其极中的链是遍历的，并求其
37、极限分布限分布(fnb)。解解 依照例依照例1，由由1例例4中的一步转移概率矩阵中的一步转移概率矩阵P，可算，可算得得P(3)=P3 无零元。根据定理，链是遍历的。而极限分无零元。根据定理，链是遍历的。而极限分布布(fnb)=(0,1,2,3)满足下列方程组满足下列方程组:解之解之，得唯一解，得唯一解第30页/共33页第三十一页，共33页。假若(jiru)在此例中，设p=q=1/2，则可算得 0=1/7 0.14,1=2=3=2/7 0.29,即此时极限分布为=(1/7,2/7,2/7,2/7).这就是说，经过相当长的时间后，系统中无人的情形约占14%的时间，而系统中有一人、二人、三人的情形各
38、占29%的时间。例例3 设一马氏链的一步设一马氏链的一步(y b)转移概率矩阵为转移概率矩阵为试讨论它的遍历性。试讨论它的遍历性。第31页/共33页第三十二页，共33页。解解 先算得先算得进一步可验证：当进一步可验证：当n为奇数时，为奇数时，P(n)=P(1)=P；n为偶数时，为偶数时，P(n)=P(2)。这表明对任一固定的。这表明对任一固定的 j(=1,2,3,4)，极限，极限都不存在。按定义都不存在。按定义(dngy)，此链不具遍历性。，此链不具遍历性。马氏过程的内容除了讨论最简情形马氏过程的内容除了讨论最简情形马氏链之外，还研究马氏链之外，还研究状态离散、时间连续的马氏过程和状态、时间都连续的马氏过状态离散、时间连续的马氏过程和状态、时间都连续的马氏过程，它们都有比较完善的理论，而且程，它们都有比较完善的理论，而且(r qi)讨论的主题也都是讨论的主题也都是从各自场合的从各自场合的C-K方程出发，研究转移概率的确定方法和性质。方程出发，研究转移概率的确定方法和性质。本书除前面介绍的泊松过程和维纳过程这两个具体的马氏过程本书除前面介绍的泊松过程和维纳过程这两个具体的马氏过程模型外不再作一般的介绍。模型外不再作一般的介绍。第32页/共33页第三十三页，共33页。