《最新协方差与相关系数PPT课件.ppt》由会员分享，可在线阅读，更多相关《最新协方差与相关系数PPT课件.ppt（44页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、协方差与相关系数协方差与相关系数 前面我们介绍了随机变量的数学期望前面我们介绍了随机变量的数学期望和方差，对于多维随机变量，反映分量之和方差，对于多维随机变量，反映分量之间关系的数字特征中，最重要的，就是本间关系的数字特征中，最重要的，就是本讲要讨论的讲要讨论的协方差和相关系数协方差和相关系数本节将要讨论的协方差是反映随机本节将要讨论的协方差是反映随机变量之间依赖变量之间依赖关系关系的一个数字特征的一个数字特征.例例1已知离散型随机向量已知离散型随机向量),(YX的概率分布如右表的概率分布如右表, ,求求).,cov(YX1 . 0015. 021 . 005. 03 . 0102 . 01
2、. 00201 XY解解容易求得容易求得X的概率分的概率分, 3 . 00 XP,45. 01 XP;25. 02 XPY的概率分布为的概率分布为,55. 01 YP,25. 00 YP, 2 . 02 YP布为布为计算得计算得0202 . 0001 . 0)1(0)( XYE1 . 0215 . 0013 . 0)1(1 1 . 02200215. 0)1(2 . 0 2 . 0225. 0055. 0)1()( YE.15. 0 25. 0245. 013 . 00)( XE,95. 0 于是于是)()()(),cov(YEXEXYEYX .1425. 015. 095. 0 完完, 3
3、. 00 XP,45. 01 XP;25. 02 XP,55. 01 YP,25. 00 YP, 2 . 02 YP例例2 设连续型随机变量设连续型随机变量),(YX的密度函数为的密度函数为, 010,8),( 其其它它yxxyyxf求求).,cov(YX解解由由),(YX的密度函数可求得其边缘密度函的密度函数可求得其边缘密度函数分别为数分别为: :, 010),1(4)(2 其其它它xxxxfX, 010,4)(3 其其它它yyyfY dxxxfXEX)()( 102)1(4dxxxx,15/8 dyyyfYEY)()( 1034dyyy, 5/4 dxdyyxxyfXYE),()( 110
4、8xdyxyxydx, 9/4 , 010),1(4)(2 其其它它xxxxfX, 010,4)(3 其其它它yyyfY)(XE,15/8 )(YE, 5/4 )(XYE, 9/4 从而从而)()()(),cov(YEXEXYEYX 完完,225/4 协方差的大小在一定程度上反映了协方差的大小在一定程度上反映了X和和Y相互间的关系，但它还受相互间的关系，但它还受X与与Y本身度量单位本身度量单位的影响的影响. 例如：例如：Cov(kX, kY)=k2Cov(X,Y)为避免随机变量本身度量单位不同而影响它们相互为避免随机变量本身度量单位不同而影响它们相互关系的度量，关系的度量， 可将每个随机变量标
5、准化，可将每个随机变量标准化，即取即取,)()(,)()(YDYEYYXDXEXX 并将并将),cov( YX作为作为X与与Y之间相互关系的一种度之间相互关系的一种度量，量，而而,)()(),cov(),cov(YDXDYXYX 定义定义 设设),(YX为二维随机向量，为二维随机向量，, 0)( XD, 0)( YD称称)()(),cov(YDXDYXXY 为随机变量为随机变量X和和Y的的相关系数相关系数， 有时也记有时也记XY 为为. 特别地，特别地，当当0 XY 时，时，称称X与与Y不相关不相关.三、相关系数的定义三、相关系数的定义四、相关系数的性质四、相关系数的性质性质性质1.; 1 X
6、Y 证证 由方差的性质和协方差的定义知，由方差的性质和协方差的定义知， 对任意实数对任意实数, b有有),cov(2)()()(02YXbYDXDbbXYD 令令,)(),cov(XDYXb 则则)(),cov()()(2XDYXYDbXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD 由于方差由于方差)(YD是正的，是正的，故必有故必有, 012 XY 所以所以. 1 XY 注意到此时注意到此时, 0),cov( YX易见结论成立易见结论成立. 注注：X与与Y相互独立相互独立X与与Y不相关不相关.性质性质2.
7、若若X和和Y相互独立，相互独立，; 0 XY 则则例例1 设设X服从服从(-1/2, 1/2)内的均匀分布内的均匀分布,而而Y=cos X,（请课下自行验证）（请课下自行验证）因而因而 =0， 即即X和和Y不相关不相关 .但但Y与与X有严格的函数关系，有严格的函数关系，即即X和和Y不独立不独立 .不难求得，不难求得，Cov(X,Y)=0，性质性质3.若若, 0)(, 0)( YDXD则则1 XY 存在常数存在常数),0(, aba使使, 1 baXYP而且而且0 a时，时，. 1 XY 注注：相关系数刻画了相关系数刻画了X和和Y间间“线性相关线性相关”的的程度程度.XY 的值越接近于的值越接近
8、于1，Y与与X线性相关程度越高；线性相关程度越高；XY 的值越接近于的值越接近于0，Y与与X线性相关程度越弱；线性相关程度越弱；1 XY 时，时，Y与与X有严格线性关系；有严格线性关系；0 XY 时，时，Y与与X无线性关系；无线性关系；即即X和和Y以概率以概率1线性相关线性相关.而且而且0 a时，时，. 1 XY 这里注意：这里注意：只说明只说明Y与与X没有线性没有线性关系关系. 并不能说明并不能说明Y与与X之间没有其它函数关系之间没有其它函数关系.与与从而不能推出从而不能推出YX独立独立.0 XY 时，时，当当4. 设设,)(2baXYEe 称其为用称其为用baX 来来近似近似Y的的均方误差
9、均方误差， 则有下列结论：则有下列结论：若若, 0)(, 0)( YDXD则则)()(),(/ ),cov(000XEaYEbXDYXa 使均方误差达到最小使均方误差达到最小. =E(Y2)+b2E(X2)+a2- 2bE(XY)+2abE(X) - 2aE(Y)e =EY-(a+bX)2 0)(2)(2)(20)(2)(222XaEXYEXbEbeYEXbEaae)(),(0XDYXCovb 解得解得)()(00XEbYEa这样求出的最佳逼近为这样求出的最佳逼近为L(X)=a0+b0X注注：示示Y的好坏程度，的好坏程度，我们可用均方误差我们可用均方误差e来衡量以来衡量以baX 近似表近似表似
10、程度越好，似程度越好， 且知最佳的线性近似为且知最佳的线性近似为,00bXa 其余均方误差其余均方误差).1)(2XYYDe 能说明能说明XY 越接近越接近1，e越小越小. 反之，反之，XY 越近于越近于0，e就越大，就越大，Y与与X的的线性相关性越小线性相关性越小.e值越小表示值越小表示baX 与与Y的近的近而而从这个侧面也从这个侧面也完完例例3 设设),(YX的分布律为的分布律为14/14/14/14/12/14/1004/142/104/14/1012112iixYPyYPYX 易知易知, 0)( XE, 2/5)( YE, 0)( XYE于是于是, 0 XY YX,不相关不相关. .
11、这表示这表示YX,不存不存在线性关系在线性关系, , 但但,1201, 2 YPXPYXP,1201, 2 YPXPYXP知知YX,不是相互独立的不是相互独立的.事实上事实上, ,X和和Y具有关系具有关系: :,2XY Y的值完全可由的值完全可由X的值所确定的值所确定. .完完例例4 设设 服从服从, 上的均匀分布上的均匀分布, , 且且,sin X cos Y判断判断X与与Y是否不相关是否不相关, , 是否独立是否独立.解解 由于由于, 0sin21)( dXE, 0cos21)( dYE而而. 0cossin21)(2 dXYE因此因此),()()(YEXEXYE 从而从而X与与Y不相关不
12、相关. . 但由于但由于X与与Y满足关系满足关系: :122 YX所以所以X与与Y不独立不独立.完完例例5 已知已知),3, 1(2NX),4, 0(2NY且且X与与Y的相关系数的相关系数.21 XY 设设,23YXZ 求求)(ZD及及.XZ 解解因因,3)(2 XD,4)(2 YD且且XYYDXDYX )()(),cov( 2143, 6 所以所以 2,3cov2)(41)(91YXYDXD 23)(YXDZD),cov(21312)(41)(91YXYDXD , 7 因因,3)(2 XD,4)(2 YD且且),cov(YX, 6 所以所以)(ZD, 7 又因又因 23,cov),cov(Y
13、XXZX 2,cov3,covYXXX),cov(21),cov(31YXYX , 6),cov(21)(31 YXXD故故.772736)()(),cov( ZDXDZXXZ 例例6 设二维随机变量设二维随机变量),(),(2121 NYX求相关系数求相关系数.XY 解解根据二维正态分布的边缘概率密度知根据二维正态分布的边缘概率密度知,)(1 XE,)(2 YE,)(21 XD,)(22 YD而而 dxdyyxfxxYX),()(),cov(21 )(12121221 yx.2)()1(21exp2121211222dxdyxxy 例例6 设二维随机变量设二维随机变量),(),(2121 N
14、YX求相关系数求相关系数.XY 解解 令令,1111222 xyt,11 xu则有则有 tuYX2211(21),cov( dtdueutu2/ )(22122) dtedueutu22221222 例例6 设二维随机变量设二维随机变量),(),(2121 NYX求相关系数求相关系数.XY 解解 则有则有),cov(YX dtedueutu22221222 dtteduuetu222212221 ,22221 即有即有,),cov(21 YX于是于是.)()(),cov( YDXDYXXY注注: : 从本例的结果可见从本例的结果可见, , 二维正态随机变量二维正态随机变量,(X)Y的分布完全由
15、的分布完全由X和和Y各自的数学期望、各自的数学期望、方差以及方差以及它们的相关系数所确定它们的相关系数所确定. . 此外此外, , 易见有结论易见有结论: :若若),(YX服从二维正态分布服从二维正态分布, , 则则X与与Y相互独立相互独立,当且仅当当且仅当X与与Y不相关不相关. .五、矩的概念五、矩的概念定义定义 设设X和和Y为随机变量，为随机变量，lk,为正整为正整数，数，)(kXE为为k阶原点矩阶原点矩 (简称简称k阶矩阶矩);)(kXEXE 为为k阶中心矩阶中心矩)(kXE为为k阶绝对原点矩阶绝对原点矩；)(kXEXE 为为k阶绝对中心矩阶绝对中心矩；称称)(tkYXE为为X和和Y的的
16、lk 阶混合矩阶混合矩;)()(tkYEYXEXE 为为X和和Y的的lk 混合中心矩混合中心矩.注注: 由定义可见：由定义可见：(1)X的数学期望的数学期望)(XE是是X的一阶原点矩；的一阶原点矩；(2)X的方差的方差)(XD是是X的二阶中心矩；的二阶中心矩；(3) 协方差协方差),(YXCov是是X与与Y的二阶混合中的二阶混合中心矩心矩.完完六、协方差矩阵六、协方差矩阵将二维随机变量将二维随机变量),(21XX的四个二阶中心矩的四个二阶中心矩,)(21111XEXEc ,)(22222XEXEc ),()(221112XEXXEXEc ).()(112221XEXXEXEc 排成矩阵的形式：
17、排成矩阵的形式： 22211211cccc对称矩阵对称矩阵称此矩阵为称此矩阵为),(21XX的的协方差矩阵协方差矩阵.类似定义类似定义n维随机变量维随机变量),(21nXXX的协方差的协方差矩阵矩阵. 若若),cov(jiijXXc njiXEXXEXEjjii, 2 , 1,)()( 都存在，都存在， nnnnnncccccccccC212222111211为为),(21nXXX的的协方差矩阵协方差矩阵.完完称称六、六、n维正态分布的概率密度与性质维正态分布的概率密度与性质先考虑二维正态分布的概率密度，先考虑二维正态分布的概率密度，再将其推广到再将其推广到n维情形维情形. 二维正态随机向量二
18、维正态随机向量),(21XX的概率密度为的概率密度为 2222211111211122)1(21221121 xxxxe),(21xxf记记,21 xxX,21 协方差矩阵协方差矩阵,22211211 ccccC易验算易验算)()(1 XCXT,22211211 ccccC易验算易验算)()(1 XCXT故二维正态随机向量故二维正态随机向量),(21XX的概率密度可用矩阵的概率密度可用矩阵表示为表示为),(21xxfexp)2(12/12/2C )()(211 XCXT其中其中TX)( 是是)( X的转置的转置.进一步，进一步，向量，向量， 若它的概率密度为若它的概率密度为设设),(21nTX
19、XXX 是一个是一个n维随机维随机若它的概率密度为若它的概率密度为设设),(21nTXXXX 是一个是一个n维随机维随机向量，向量，),(21nxxxfexp)2(12/12/Cn )()(211 XCXT则称则称X服从服从n维正态分布维正态分布.其中，其中，C是是),(21nXXX的协方差矩阵，的协方差矩阵，C是它的行列式，是它的行列式，1 C表示表示C的逆矩阵，的逆矩阵，X和和 是是n维列向量，维列向量， 而而TX)( 是是)( X的转置的转置.完完n维正态分布的几条重要性质维正态分布的几条重要性质1.n维正态变量维正态变量),(21nXXX的每一个分量的每一个分量), 2 , 1(niX
20、i 都是正态变量，都是正态变量，反之，反之，若若,21XX2.n维正态变量维正态变量),(21nXXX服从服从n维正态维正态分布的充要条件是分布的充要条件是nXXX,21任意线性组合任意线性组合nnXlXlXl 2211均服从一维正态分布均服从一维正态分布正态变量正态变量.都是都是nnX,nlll,21不全为不全为零）零）.（其中（其中3.若若),(21nXXX服从服从n维正态分布，维正态分布，设设kYYY,21是是), 2 , 1(njXj 的线性函数，的线性函数，则则),(21kYYY也服从也服从k维正态分布维正态分布.注注：这一性质称为正态变量的线性变换不变性这一性质称为正态变量的线性变
21、换不变性.4.设设),(21nXXX服从服从n维正态发布，维正态发布，则则“nXXX,21相互独立相互独立”等价于等价于“,21XXnX,两两不相关两两不相关” .完完例例7 设随机变量设随机变量X和和Y相互独立相互独立 ,),1, 0(),2, 1(NYNX试求试求32 YXZ的概率密度的概率密度.解解),1, 0(),2, 1(NYNX且且X与与Y独立独立 , 故故X和和Y的联合分布为正态分布的联合分布为正态分布 ,性组合是正态分布性组合是正态分布 ,),(),(ZDZENZ, 5323)()(2)( YEXEZE且且即即X和和Y的任意线的任意线, 918)()(4)( YDXDZD),3
22、, 5(2NZ例例7 设随机变量设随机变量X和和Y相互独立相互独立 ,),1, 0(),2, 1(NYNX试求试求32 YXZ的概率密度的概率密度.解解),(),(ZDZENZ, 5323)()(2)( YEXEZE且且, 918)()(4)( YDXDZD),3, 5(2NZ即即Z的概率密度是的概率密度是.,231)(18)5(2 zezfzZ 完完这一讲我们介绍了协方差和相关系数这一讲我们介绍了协方差和相关系数相关系数是刻划两个变量间相关系数是刻划两个变量间线性相关程度线性相关程度的一个重要的数字特征的一个重要的数字特征.注意独立与不相关并不是等价的注意独立与不相关并不是等价的.当当(X,Y)服从二维正态分布时，有服从二维正态分布时，有X与与Y独立独立X与与Y不相关不相关协方差是反映随机变量之间依赖关系的一个数字特征协方差是反映随机变量之间依赖关系的一个数字特征.44 结束语结束语