《随机过程 学习.pptx》由会员分享，可在线阅读，更多相关《随机过程 学习.pptx（44页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、马尔可夫过程2、马尔可夫性系统在已知现在所处状态的条件下，它将来所处的状态与过去所处的状态无关。第1页/共44页4.1 马尔可夫链的概念及转移概率一、马尔可夫链的概念第2页/共44页4.1 马尔可夫链的概念及转移概率一、马尔可夫链的概念第3页/共44页 参数集和状态空间都是离散的马尔可夫过程称为马尔可夫链。第4页/共44页2、马氏链的转移概率称条件概率第5页/共44页3、一步转移概率及矩阵称为马氏链的一步转移概率矩阵第6页/共44页第7页/共44页4.多步转移概率的确定第8页/共44页通常我们还规定：(2)、切普曼柯尔莫哥洛夫方程 （Chapman-Kolmogorov）第9页/共44页直观解
2、释对照图第10页/共44页第11页/共44页用矩阵形式表示为：表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。第12页/共44页全概率公式v若有N个互斥事件Bn（n=1,2,N），它的并集等于整个样本空间，则第13页/共44页（1）离散型随机变量的条件分布律及条件期望第14页/共44页5、初始概率与绝对概率写成向量形式:第15页/共44页(2)绝对概率与初始概率的关系第16页/共44页 表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。第17页/共44页（3）马氏链的有限维分布第18页/共44页总结：1）齐次马氏链多步转移概率可由一步转移概率确定；2)绝对概率可由初始
3、概率及n步转移概率确定3)有限维分布可完全由初始概率及一步转移概率确定。第19页/共44页赌徒输光问题解：定义Xn为第n次时甲的赌资，其状态空间为：第20页/共44页第21页/共44页第22页/共44页第23页/共44页第24页/共44页第25页/共44页第26页/共44页第27页/共44页第28页/共44页第29页/共44页第30页/共44页例 带一个吸收壁的随机游动第31页/共44页第32页/共44页第33页/共44页(1)已知开始第一人拿球，经三次传球后又回到 第一人的概率；(2)开始第一人拿球，经三次传球后又回到第一 人的概率；(3)经三次传球后第一人拿球的概率；(4)经三次传球后，又回开始拿球人的概率。第34页/共44页1342第35页/共44页第36页/共44页第37页/共44页第38页/共44页又已知系统经n级传输后输出为1,问原字符也是1的概率是多少?由线性代数知识,可将P表示成对角阵第39页/共44页第40页/共44页第41页/共44页第42页/共44页利用类似的方法,可得n步转移概率矩阵为 对齐次马尔可夫链,虽然一步专移概率能够完全决定马尔可夫链的统计规律，但仍有许多理论上和实际上的问题需要我们作进一步的讨论。第43页/共44页感谢您的观看！第44页/共44页