《第十三章 马尔可夫链概率论与数理统计(精品).ppt》由会员分享，可在线阅读，更多相关《第十三章 马尔可夫链概率论与数理统计(精品).ppt（44页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第一节第一节 马尔可夫过程及其概率分布马尔可夫过程及其概率分布第二节第二节 多步转移概率的确定多步转移概率的确定 第十三章第十三章 马尔可夫链马尔可夫链第三节第三节 遍历性遍历性第一节第一节 马尔可夫过程及其概率分布马尔可夫过程及其概率分布一、马尔可夫过程的概念一、马尔可夫过程的概念 二、马尔可夫过程的概率分布二、马尔可夫过程的概率分布 三、应用举例三、应用举例 四、小结四、小结一、马尔可夫过程的概念一、马尔可夫过程的概念 1.马尔可夫性马尔可夫性(无后效性无后效性)马尔可夫性马尔可夫性或或无后效性无后效性.即即:过程过程“将来将来”的情况与的情况与“过去过去”的情况是无的情况是无关的关的.2
2、.马尔可夫过程的定义马尔可夫过程的定义具有马尔可夫性的随机过程称为具有马尔可夫性的随机过程称为马尔可夫过程马尔可夫过程.用分布函数表述马尔可夫过程用分布函数表述马尔可夫过程恰有恰有或写成或写成并称此过程并称此过程为为马尔可夫过程马尔可夫过程.3.马尔可夫链的定义马尔可夫链的定义 时间和状态都是离散的马尔可夫过程称为时间和状态都是离散的马尔可夫过程称为马尔马尔可夫链可夫链,简记为简记为研究时间和状态都是离散的随机序列研究时间和状态都是离散的随机序列二、马尔可夫过程的概率分布二、马尔可夫过程的概率分布1.用分布律描述马尔可夫性用分布律描述马尔可夫性有有称条件概率称条件概率说明说明:转移概率具有特点
3、转移概率具有特点 2.转移概率转移概率由转移概率组成的矩阵由转移概率组成的矩阵称为马氏链的称为马氏链的转移概率矩阵转移概率矩阵.此矩阵的每一行元此矩阵的每一行元素之和等于素之和等于1.它是随机矩阵它是随机矩阵.3.平稳性平稳性有关时有关时,称转移概率具有平稳性称转移概率具有平稳性.同时也称此链是同时也称此链是齐次的齐次的或或时齐的时齐的.称为马氏链的称为马氏链的n步转移概率步转移概率一步转移概率一步转移概率特别的特别的,当当 n=1 时时,一步转移概率一步转移概率矩阵矩阵的的状状态态记为记为P设每一级的传真率为设每一级的传真率为 p,误码率为误码率为 q=1-p.设一个单位时间传输一级设一个单
4、位时间传输一级,只传输数字只传输数字0和和1的串联系统的串联系统(传输系统传输系统)如图如图:分析分析:例例1三、应用举例三、应用举例而与时刻而与时刻 n 以前所处的状态无关以前所处的状态无关.所以它是一个马氏链所以它是一个马氏链,且是齐次的且是齐次的.一步转移概率一步转移概率一步转移概率矩阵一步转移概率矩阵例例2 一维随机游动一维随机游动游动的概率规则游动的概率规则1/3的概率向左或向右移动一格的概率向左或向右移动一格,或以或以1/3的概率留的概率留在原处在原处;如果如果Q现在位于点现在位于点 i(1 i 5),则下一时刻各以则下一时刻各以以概率以概率1移动到移动到2(或或4)这一点上这一点
5、上.如果如果Q现在位于现在位于1(或或5)这点上这点上,则下一时刻就则下一时刻就1和和5这两点称为这两点称为反射壁反射壁.上面这种游动称为上面这种游动称为带有两个带有两个反射壁反射壁的随机游动的随机游动.模拟方法模拟方法:产生均匀分布的随机数序列产生均匀分布的随机数序列13232211122,其中其中1表示左移表示左移;2表示不动表示不动;3表示右移表示右移.理论分析理论分析:状态空间就是状态空间就是I.而与时刻而与时刻 n 以前所处的状态无关以前所处的状态无关.所以它是一个马氏链所以它是一个马氏链,且是齐次的且是齐次的.一步转移概率一步转移概率说明说明:相应链的转移概率矩阵只须把相应链的转移
6、概率矩阵只须把P 中第中第1行改为行改为改变游动的概率规则改变游动的概率规则,就可得到不同方式的就可得到不同方式的随机游动和相应的马氏链随机游动和相应的马氏链.如果把点如果把点 1 改为改为吸收壁吸收壁,一一步步转转移移概概率率矩矩阵阵 某计算机房的一台计算机经常出故障某计算机房的一台计算机经常出故障,研究者研究者每隔每隔15分钟观察一次计算机运行状态分钟观察一次计算机运行状态,收集了收集了24小小时的数据时的数据(共作共作97次观察次观察).用用1表示正常状态表示正常状态,用用0表示不正常状态表示不正常状态,所得的数据序列如下所得的数据序列如下:11100100111111100111101
7、11111001111111110001101101分析分析状态空间状态空间:I=0,1.例例311101101101011110111011110111111001101111110011196 次状态转移的情况次状态转移的情况:因此因此,一步转移概率可用频率近似地表示为一步转移概率可用频率近似地表示为:某电话亭有两部电话，顾客的到达与离开都某电话亭有两部电话，顾客的到达与离开都是随机的，每隔一分钟来一个顾客的概率为是随机的，每隔一分钟来一个顾客的概率为q，有，有一个顾客打完电话离开的概率为一个顾客打完电话离开的概率为p。而且如果顾客。而且如果顾客到达时发现前面已经有一个顾客在等待，该顾客到
8、达时发现前面已经有一个顾客在等待，该顾客即离去，并且排除每分钟内多于即离去，并且排除每分钟内多于1人到达或离开的人到达或离开的情况。用马氏链来描述这个系统。情况。用马氏链来描述这个系统。例例4设设Xn表示第表示第n分钟电话亭里的顾客数，即系统的状态。分钟电话亭里的顾客数，即系统的状态。Xn,n=0,1,2,3是一个随机过程，状态空间为是一个随机过程，状态空间为I=0,1,2,3.仿真前面例子的分析，可知它是一个齐次马氏链。仿真前面例子的分析，可知它是一个齐次马氏链。分析该马氏链的一步转移概率：分析该马氏链的一步转移概率：p00 p01 p10 p11 p12 p13 p21 p32 p22 p
9、23 p33四、小结四、小结齐次马氏链、平稳性的概念齐次马氏链、平稳性的概念.一步转移概率矩阵的计算一步转移概率矩阵的计算.一步转移概率一步转移概率一步转移概率一步转移概率矩阵矩阵第二节第二节 多步转移概率的确定多步转移概率的确定 一、一、C-K 方程方程二、二、多步转移概率的确定多步转移概率的确定一、一、C-K 方程方程是一齐次马氏链是一齐次马氏链,则对任意的则对任意的切普曼切普曼-柯尔莫哥洛夫方程柯尔莫哥洛夫方程(简称简称C-K方程方程)说明说明 C-K 方程基于下列事实方程基于下列事实:这一事件可分解成这一事件可分解成:件的和事件件的和事件.如下图所示如下图所示:证明证明由条件概率定义和
10、乘法定理得由条件概率定义和乘法定理得(马氏性和齐次性马氏性和齐次性)所以所以考虑到马氏性和齐次性考虑到马氏性和齐次性,即得即得 C-K 方程方程.C-K 方程也可写成矩阵形式方程也可写成矩阵形式:二、多步转移概率的确定二、多步转移概率的确定利用利用 C-K 方程我们容易确定方程我们容易确定 n 步转移概率步转移概率.得递推关系得递推关系:从而可得从而可得 马氏链的马氏链的n步转移概率是一步转移概率的步转移概率是一步转移概率的 n 次次方方.结论结论解解例例1例例2 甲乙两人进行某种比赛，设每局比赛中甲胜的概率为p，乙胜的概率为q，平局的概率为r。（p+r+q）=1。设每局比赛后，胜者得1分，负
11、者得1分，平局不记分。当两人中有一个人得到2分时比赛结束。以Xn表示第n局比赛甲的分数，为齐次马尔可夫链解解概率为概率为第三节第三节 遍历性遍历性一、遍历性的概念一、遍历性的概念三、应用举例三、应用举例 二、二、(有限链有限链)遍历性的充分条件遍历性的充分条件一、遍历性的概念一、遍历性的概念对于一般的两个状态的马氏链对于一般的两个状态的马氏链,由上例题内容可由上例题内容可知知,意义意义对固定的状态对固定的状态j,不管链在某一时刻的什么不管链在某一时刻的什么状状态态 i出发出发,通过长时间的转移到达状态通过长时间的转移到达状态 j 的概率都趋的概率都趋定义定义则称此链具有则称此链具有遍历性遍历性
12、.二、二、(有限链有限链)遍历性的充分条件遍历性的充分条件 试说明带有两个反射壁的随机游动是遍历的试说明带有两个反射壁的随机游动是遍历的,并求其极限分布并求其极限分布(平稳分布平稳分布).解解例例1三、应用举例三、应用举例 无零元无零元,链是遍历的链是遍历的代入最后一个方程代入最后一个方程(归一条件归一条件),得唯一解得唯一解所以极限分布为所以极限分布为这个这个分布表明分布表明经过长时间游动之后经过长时间游动之后,质点质点Q 位于点位于点 2(或或 3 或或 4)的概率约为的概率约为 3/11,位于点位于点 1(或或 5)的概率约为的概率约为 1/11.设一马氏链的一步转移概率阵为设一马氏链的一步转移概率阵为试讨论它的遍历性试讨论它的遍历性.解解例例2表明表明此链不具遍历性此链不具遍历性.