《4.3协方差 相关系数和矩.ppt》由会员分享，可在线阅读，更多相关《4.3协方差 相关系数和矩.ppt（27页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、3 3 协方差协方差 相关系数和矩相关系数和矩对于二维随机变量对于二维随机变量对于二维随机变量对于二维随机变量我们除了讨论我们除了讨论我们除了讨论我们除了讨论 的数学期的数学期的数学期的数学期望和方差外，还需讨论刻划望和方差外，还需讨论刻划望和方差外，还需讨论刻划望和方差外，还需讨论刻划 之间的相互关系的之间的相互关系的之间的相互关系的之间的相互关系的数字特征数字特征数字特征数字特征.在本章在本章在本章在本章22方差性质的证明中，我们已经看到，如果两方差性质的证明中，我们已经看到，如果两方差性质的证明中，我们已经看到，如果两方差性质的证明中，我们已经看到，如果两个随机变量个随机变量个随机变量个
2、随机变量 是相互独立的，则是相互独立的，则是相互独立的，则是相互独立的，则这意味着当这意味着当这意味着当这意味着当 时，时，时，时，不不不不相互独立，而是存在着一定的关系的相互独立，而是存在着一定的关系的相互独立，而是存在着一定的关系的相互独立，而是存在着一定的关系的.定义一定义一定义一定义一 称为随机变量称为随机变量称为随机变量称为随机变量 的协方差的协方差的协方差的协方差.记为记为记为记为 即即即即称为随机变量称为随机变量称为随机变量称为随机变量 的相关系数的相关系数的相关系数的相关系数.是一个无量纲是一个无量纲是一个无量纲是一个无量纲的量的量的量的量.（其中（其中（其中（其中 ）协方差的
3、性质：对于任意两个随机变量协方差的性质：对于任意两个随机变量协方差的性质：对于任意两个随机变量协方差的性质：对于任意两个随机变量 ，下列等式成立，下列等式成立，下列等式成立，下列等式成立证明证明证明证明 由由由由即得即得即得即得.n（1 1）n（2 2）证明证明证明证明 将将将将 按定义式展开，有按定义式展开，有按定义式展开，有按定义式展开，有n（3 3）我们常常利用上式计算协方差我们常常利用上式计算协方差我们常常利用上式计算协方差我们常常利用上式计算协方差.n（4 4）是常数是常数是常数是常数.n（5 5）n（6 6）若）若）若）若 与与与与 独立独立独立独立,则则则则.关于相关系数，我们有
4、下面的定理关于相关系数，我们有下面的定理关于相关系数，我们有下面的定理关于相关系数，我们有下面的定理 定理一定理一定理一定理一 任意两个随机变量的相关系数的绝对任意两个随机变量的相关系数的绝对任意两个随机变量的相关系数的绝对任意两个随机变量的相关系数的绝对值不大于值不大于值不大于值不大于1 1，即，即，即，即证明证明证明证明 我们考虑随机变量我们考虑随机变量我们考虑随机变量我们考虑随机变量 ，其中，其中，其中，其中由公式（由公式（由公式（由公式（3.13.1）得）得）得）得 所以有所以有所以有所以有因为方差不能为负，所以有因为方差不能为负，所以有因为方差不能为负，所以有因为方差不能为负，所以有
5、定理二定理二 当且仅当随机变量当且仅当随机变量 之间存在线性之间存在线性关系，即关系，即 时，它们的相关系数的绝时，它们的相关系数的绝对值等于对值等于1 1，并且，并且 证证：12随机变量的相关系数实质上只是表示随机变量随机变量的相关系数实质上只是表示随机变量随机变量的相关系数实质上只是表示随机变量随机变量的相关系数实质上只是表示随机变量之间的线性相关性之间的线性相关性之间的线性相关性之间的线性相关性.随机变量之间的线性相关性就随机变量之间的线性相关性就随机变量之间的线性相关性就随机变量之间的线性相关性就是：当一个变量增大与另一个变量有按线性关系是：当一个变量增大与另一个变量有按线性关系是：当
6、一个变量增大与另一个变量有按线性关系是：当一个变量增大与另一个变量有按线性关系增大（当增大（当增大（当增大（当 时）或减小（当时）或减小（当时）或减小（当时）或减小（当 时）的趋势时）的趋势时）的趋势时）的趋势.当相关系数越接近当相关系数越接近当相关系数越接近当相关系数越接近1 1 1 1或或或或-1-1-1-1时，这种趋势就越明显时，这种趋势就越明显时，这种趋势就越明显时，这种趋势就越明显.n当当当当 时，称时，称时，称时，称 与与与与 不相关不相关不相关不相关.假设随机变量假设随机变量假设随机变量假设随机变量 的相关系数的相关系数的相关系数的相关系数 存在存在存在存在.当当当当 与与与与
7、相互独立时我们有：相互独立时我们有：相互独立时我们有：相互独立时我们有：从而从而从而从而 ，即，即，即，即 与与与与 不相关不相关不相关不相关.n反之，若反之，若反之，若反之，若 与与与与 不相关，不相关，不相关，不相关，与与与与 却不一定相互独立却不一定相互独立却不一定相互独立却不一定相互独立（见下两例）（见下两例）（见下两例）（见下两例）.13例例1 设设设设 的分布律为如的分布律为如的分布律为如的分布律为如表表表表4-3,4-3,4-3,4-3,易知易知易知易知于是于是于是于是 不相关不相关不相关不相关.这表示这表示这表示这表示 不存在线性关系不存在线性关系不存在线性关系不存在线性关系.
8、知知知知 不是相互独立的不是相互独立的不是相互独立的不是相互独立的.事实上，事实上，事实上，事实上，具有关系：具有关系：具有关系：具有关系：的值完全可由的值完全可由的值完全可由的值完全可由 的值所确定的值所确定的值所确定的值所确定.上述情况，从上述情况，从上述情况，从上述情况，从“不相关不相关不相关不相关”和和和和“相互独立相互独立相互独立相互独立”的含义的含义的含义的含义来看是明显的来看是明显的来看是明显的来看是明显的.这是因为不相关只是就线性关系来这是因为不相关只是就线性关系来这是因为不相关只是就线性关系来这是因为不相关只是就线性关系来说的，而相互独立是就一般关系而言的说的，而相互独立是就
9、一般关系而言的说的，而相互独立是就一般关系而言的说的，而相互独立是就一般关系而言的.但但但但14解解：例例2 设二维随机变量设二维随机变量 的概率密度为的概率密度为试验证试验证是不相关的，但是不相关的，但 不是相互独立不是相互独立的的.16例例4 4 设随机变量设随机变量 的概率密度为的概率密度为 解解：18我们不加证明的指出我们不加证明的指出我们不加证明的指出我们不加证明的指出:二维随机变量二维随机变量二维随机变量二维随机变量 的概的概的概的概率密度中的参数率密度中的参数率密度中的参数率密度中的参数 就是就是就是就是 的相关系数，因而二的相关系数，因而二的相关系数，因而二的相关系数，因而二维
10、正态随机变量的分布完全可以由维正态随机变量的分布完全可以由维正态随机变量的分布完全可以由维正态随机变量的分布完全可以由 各自的数各自的数各自的数各自的数学期望、方差及它们的相关系数所确定学期望、方差及它们的相关系数所确定学期望、方差及它们的相关系数所确定学期望、方差及它们的相关系数所确定.在第三章在第三章在第三章在第三章33中已经讲过，若中已经讲过，若中已经讲过，若中已经讲过，若 服从二维正态分服从二维正态分服从二维正态分服从二维正态分布，那么布，那么布，那么布，那么,相互独立的充要条件为相互独立的充要条件为相互独立的充要条件为相互独立的充要条件为 现在知道现在知道现在知道现在知道 故对于二维
11、正态随机变量故对于二维正态随机变量故对于二维正态随机变量故对于二维正态随机变量 来说，来说，来说，来说，“不相关不相关不相关不相关”与与与与“相互独立相互独立相互独立相互独立”是等是等是等是等价的价的价的价的.下面再介绍随机变量的另外几个数字特征下面再介绍随机变量的另外几个数字特征下面再介绍随机变量的另外几个数字特征下面再介绍随机变量的另外几个数字特征.定义二定义二定义二定义二 设设设设 是随机变量，是随机变量，是随机变量，是随机变量，n若若若若 存在，则称它为存在，则称它为存在，则称它为存在，则称它为 阶中心矩阶中心矩阶中心矩阶中心矩.n若若若若 存在，则称它为存在，则称它为存在，则称它为存
12、在，则称它为 阶原点矩，简称阶原点矩，简称阶原点矩，简称阶原点矩，简称阶矩阶矩阶矩阶矩.n若若若若 存在，则称它为存在，则称它为存在，则称它为存在，则称它为 阶混阶混阶混阶混合矩合矩合矩合矩.n若若若若 存在，则称它为存在，则称它为存在，则称它为存在，则称它为 阶混合中心矩阶混合中心矩阶混合中心矩阶混合中心矩.显然，显然，显然，显然，的数学期望的数学期望的数学期望的数学期望 就是就是就是就是 的一阶原点矩，方差的一阶原点矩，方差的一阶原点矩，方差的一阶原点矩，方差 就是就是就是就是 的二阶中心矩，协方差的二阶中心矩，协方差的二阶中心矩，协方差的二阶中心矩，协方差 就是就是就是就是 的二阶混合中
13、心矩的二阶混合中心矩的二阶混合中心矩的二阶混合中心矩.下面介绍维随机变量的协方差矩阵下面介绍维随机变量的协方差矩阵下面介绍维随机变量的协方差矩阵下面介绍维随机变量的协方差矩阵.先从二维随机变量先从二维随机变量先从二维随机变量先从二维随机变量讲起讲起讲起讲起.将它们排成矩阵的形式：将它们排成矩阵的形式：将它们排成矩阵的形式：将它们排成矩阵的形式：这个矩阵称为随机变量这个矩阵称为随机变量这个矩阵称为随机变量这个矩阵称为随机变量 的协方差矩阵的协方差矩阵的协方差矩阵的协方差矩阵.二维随机变量二维随机变量二维随机变量二维随机变量 有四个二阶中心矩（设它们都有四个二阶中心矩（设它们都有四个二阶中心矩（设
14、它们都有四个二阶中心矩（设它们都存在），分别记为：存在），分别记为：存在），分别记为：存在），分别记为：设设设设 维随机变量维随机变量维随机变量维随机变量的混合中心矩的混合中心矩的混合中心矩的混合中心矩都存在，则称都存在，则称都存在，则称都存在，则称为为为为 维随机变量维随机变量维随机变量维随机变量 的协方差矩的协方差矩的协方差矩的协方差矩阵阵阵阵.由于由于由于由于因而上述矩因而上述矩因而上述矩因而上述矩阵是一个对称矩阵阵是一个对称矩阵阵是一个对称矩阵阵是一个对称矩阵.一般地，一般地，一般地，一般地，维随机变量的分布是不知道的，或者太复维随机变量的分布是不知道的，或者太复维随机变量的分布是不知
15、道的，或者太复维随机变量的分布是不知道的，或者太复杂，以致在数学上不易处理，因此在实际应用中协杂，以致在数学上不易处理，因此在实际应用中协杂，以致在数学上不易处理，因此在实际应用中协杂，以致在数学上不易处理，因此在实际应用中协方差矩阵就显得重要了方差矩阵就显得重要了方差矩阵就显得重要了方差矩阵就显得重要了.下面介绍下面介绍下面介绍下面介绍 维正态随机变量的概率密度维正态随机变量的概率密度维正态随机变量的概率密度维正态随机变量的概率密度.我们先将二我们先将二我们先将二我们先将二维正态随机变量的概率密度改写成另一种形式，以维正态随机变量的概率密度改写成另一种形式，以维正态随机变量的概率密度改写成另
16、一种形式，以维正态随机变量的概率密度改写成另一种形式，以便将它推广到便将它推广到便将它推广到便将它推广到 维随机变量的场合中去，二维正态随维随机变量的场合中去，二维正态随维随机变量的场合中去，二维正态随维随机变量的场合中去，二维正态随机变量机变量机变量机变量 的概率密度为的概率密度为的概率密度为的概率密度为现将上式中中刮号内的式子写成矩阵，为此引入现将上式中中刮号内的式子写成矩阵，为此引入现将上式中中刮号内的式子写成矩阵，为此引入现将上式中中刮号内的式子写成矩阵，为此引入下列的列矩阵下列的列矩阵下列的列矩阵下列的列矩阵的协方差阵为的协方差阵为的协方差阵为的协方差阵为它的行列式它的行列式它的行列
17、式它的行列式的逆阵为的逆阵为的逆阵为的逆阵为于是，于是，于是，于是，的概率密度可写成的概率密度可写成的概率密度可写成的概率密度可写成经过计算可知（这里矩阵经过计算可知（这里矩阵经过计算可知（这里矩阵经过计算可知（这里矩阵 的转置矩阵）的转置矩阵）的转置矩阵）的转置矩阵）上式容易推广到上式容易推广到上式容易推广到上式容易推广到 维随机变量维随机变量维随机变量维随机变量 的情况的情况的情况的情况.其中其中其中其中 是是是是的协方差阵的协方差阵的协方差阵的协方差阵.维正态随机变量维正态随机变量维正态随机变量维正态随机变量 的概率密度定义为的概率密度定义为的概率密度定义为的概率密度定义为引入列矩阵引入
18、列矩阵引入列矩阵引入列矩阵维正态随机变量具有以下四条重要性质（证略）：维正态随机变量具有以下四条重要性质（证略）：n（1 1 1 1）维正态随机变量维正态随机变量维正态随机变量维正态随机变量 的每一个分的每一个分的每一个分的每一个分 量量量量 都是正态变量；反之，若都是正态变量；反之，若都是正态变量；反之，若都是正态变量；反之，若 都是正态变量，且相互独立，则都是正态变量，且相互独立，则都是正态变量，且相互独立，则都是正态变量，且相互独立，则 是是是是 维正态变量维正态变量维正态变量维正态变量.n（2 2）维随机变量维随机变量维随机变量维随机变量 服从服从服从服从 维正态分维正态分维正态分维正
19、态分 布的充要条件是布的充要条件是布的充要条件是布的充要条件是 的任意线性组的任意线性组的任意线性组的任意线性组 合：合：合：合：服从一维正态分布（其中服从一维正态分布（其中服从一维正态分布（其中服从一维正态分布（其中 不全为零）不全为零）不全为零）不全为零）.n（3 3 3 3）若）若）若）若服从服从服从服从 维正态分布，设维正态分布，设维正态分布，设维正态分布，设 是是是是 的线性函数，的线性函数，的线性函数，的线性函数，则则则则 也服从多维正态分布也服从多维正态分布也服从多维正态分布也服从多维正态分布.n（4 4）设）设）设）设 服从服从服从服从 维正态分布，则维正态分布，则维正态分布，则维正态分布，则“相互独立相互独立相互独立相互独立”与与与与“两两两两两不相关两不相关两不相关两不相关”是等价的是等价的是等价的是等价的.维正态分布在随机过程和数理统计中常会遇到维正态分布在随机过程和数理统计中常会遇到维正态分布在随机过程和数理统计中常会遇到维正态分布在随机过程和数理统计中常会遇到.这一性质称为正态变量的线性变换不变性这一性质称为正态变量的线性变换不变性这一性质称为正态变量的线性变换不变性这一性质称为正态变量的线性变换不变性.