《多元回归精.ppt》由会员分享，可在线阅读，更多相关《多元回归精.ppt（85页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多元回归第1页，本讲稿共85页第四章：多元回归分析第四章：多元回归分析一、多元线性回归模型一、多元线性回归模型 二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验四、多元线性回归模型的预测四、多元线性回归模型的预测五、回归模型的参数约束五、回归模型的参数约束*第2页，本讲稿共85页一、一、多元线性回归模型多元线性回归模型 1、多元线性回归模型的、多元线性回归模型的基本概念基本概念2、多元线性回归模型的、多元线性回归模型的矩阵表述矩阵表述 3、多元线性回归模型的、多元线性回归模型的基本假定基本假定 第3页，本讲稿共85页 多元
2、线性回归模型多元线性回归模型:一般表现形式一般表现形式：i=1,2,n 模型中解释变量的数目为（模型中解释变量的数目为（k+1+1）1、多元线性回归模型、多元线性回归模型基本概念基本概念第4页，本讲稿共85页总体回归函数：总体回归函数：回归的本质回归的本质:1、多元线性回归模型、多元线性回归模型基本概念基本概念第5页，本讲稿共85页 j 称为回回归归系系数数（regression coefficient）,也也被被称称为为偏偏回回归归系系数数，表表示示在在其其他他解解释释变变量量保保持持不不变变的的前前提提下，下，Xj每变化每变化1个单位时，个单位时，Y的均值的均值E(Y)的变化的变化;1、多
3、元线性回归模型、多元线性回归模型基本概念基本概念第6页，本讲稿共85页 我们观察到我们观察到n组数据，并认为其生成过程如下：组数据，并认为其生成过程如下：2、多元线性回归模型、多元线性回归模型矩阵表述矩阵表述上述方程组可表现为矩阵形式上述方程组可表现为矩阵形式第7页，本讲稿共85页其中其中UXY+=21=n1nuuuMU 2、多元线性回归模型、多元线性回归模型矩阵表述矩阵表述第8页，本讲稿共85页 样本回归函数（加随机项）样本回归函数（加随机项）的的矩阵表达矩阵表达:其中：其中：2、多元线性回归模型、多元线性回归模型矩阵表述矩阵表述第9页，本讲稿共85页 假设假设1：线性的回归方程是客观存在的
4、线性的回归方程是客观存在的 假设假设2：解释变量是解释变量是非随机非随机的，且各解释变量之间的，且各解释变量之间互不相关。互不相关。3、多元线性回归模型的、多元线性回归模型的基本假定基本假定第10页，本讲稿共85页 假设假设3：随机误差项具有零均值，独立同分布。随机误差项具有零均值，独立同分布。0)(=iEu 22)()(suu=iiEVar0)(),(=jijiECovuuuu 3、多元线性回归模型的、多元线性回归模型的基本假定基本假定第11页，本讲稿共85页假设假设4*：随机项满足正态分布随机项满足正态分布 3、多元线性回归模型的、多元线性回归模型的基本假定基本假定第12页，本讲稿共85页
5、上述假设上述假设的的矩阵表示矩阵表示：n(k+1)+1)矩阵矩阵X是非随机的，且是非随机的，且X的的秩秩 =k+1+1，即，即X是是满秩满秩矩阵。矩阵。假设假设2 2：第13页，本讲稿共85页上述假设上述假设的的矩阵表示矩阵表示：假设假设3 3：随机误差项具有零均值、同方差及无序列相随机误差项具有零均值、同方差及无序列相关性关性第14页，本讲稿共85页假设假设4*，向量，向量 服从多维正态分布，即服从多维正态分布，即 上述假设上述假设的的矩阵表示矩阵表示：第15页，本讲稿共85页二、二、多元线性回归模型的估计多元线性回归模型的估计 估计方法：估计方法：1 1、普通最小二乘估计、普通最小二乘估计
6、OLS 2 2、最大或然估计、最大或然估计ML（*）3 3、矩估计、矩估计 MM（*）4 4、参数估计量的性质、参数估计量的性质 5 5、广义最小二乘法、广义最小二乘法 6 6、估计实例、估计实例 第16页，本讲稿共85页1 1、普通最小二乘估计、普通最小二乘估计对于随机抽取的对于随机抽取的n组观测值组观测值i=1,2n根据根据最小二乘原理最小二乘原理，参数估计值应该是下列方程组的解，参数估计值应该是下列方程组的解 其中第17页，本讲稿共85页于是得到关于待估参数估计值的于是得到关于待估参数估计值的正规方程组正规方程组：第18页，本讲稿共85页正规方程组正规方程组的矩阵形式矩阵形式即由于XX满
7、秩，故有 第19页，本讲稿共85页将上述过程用将上述过程用矩阵表示矩阵表示如下：如下：即求解方程组：得到：于是：第20页，本讲稿共85页样本回归函数样本回归函数i=1,2n其矩阵形式矩阵形式为 其中：参数的最小二乘估计结果为参数的最小二乘估计结果为 第21页，本讲稿共85页随机误差项随机误差项 的方差的方差 的无偏估计的无偏估计 可以证明，随机误差项可以证明，随机误差项 的方差的无偏估计量为的方差的无偏估计量为 第22页，本讲稿共85页 *2 *2、最大似然估计、最大似然估计 对于多元线性回归模型对于多元线性回归模型易知 Y的随机抽取的n组样本观测值的联合概率即为变量即为变量Y的的似然函数似然
8、函数 第23页，本讲稿共85页对数或然函数为对对数或然函数求极大值，也就是对 求极小值。因此，参数的最大或然估计最大或然估计为为结果与参数的普通最小二乘估计相同结果与参数的普通最小二乘估计相同第24页，本讲稿共85页*3*3、矩估计、矩估计（Moment Method,MM）OLS估计是通过得到一个关于参数估计值的估计是通过得到一个关于参数估计值的正规方程正规方程组组并对它进行求解而完成的。并对它进行求解而完成的。所以有所以有:第25页，本讲稿共85页称为原总体回归方程的称为原总体回归方程的矩条件矩条件，它表明了原总体回归方，它表明了原总体回归方程所具有的内在特征。程所具有的内在特征。即，即，
9、第26页，本讲稿共85页意味着：意味着：这就是回归方程参数的这就是回归方程参数的“矩估计矩估计”（MM估计估计）；）；它与它与OLS估计的结果估计的结果一样一样。第27页，本讲稿共85页 4 4、参数估计量的性质、参数估计量的性质 在满足基本假设的情况下，其结构参数在满足基本假设的情况下，其结构参数 的的普通最小二乘估普通最小二乘估计计、最大或然估计最大或然估计及及矩估计矩估计具有：具有：线性性、无偏性、有效性线性性、无偏性、有效性。（1）线性）线性 其中,C=(XX)-1 X 为一仅与固定的X有关的行向量 第28页，本讲稿共85页 （2）无偏性）无偏性 这里利用了假设:X非随机，所以E(X)
10、=0 4 4、参数估计量的性质、参数估计量的性质第29页，本讲稿共85页 （3）有效性（最小方差性）有效性（最小方差性）4 4、参数估计量的性质、参数估计量的性质因为：第30页，本讲稿共85页 （3）有效性（最小方差性）有效性（最小方差性）4 4、参数估计量的性质、参数估计量的性质所以：其中利用了 第31页，本讲稿共85页高斯高斯马尔科夫定理马尔科夫定理：在关于的一切线性无偏估计在关于的一切线性无偏估计中（中（BLUE），最小二乘法的估计是方差最小的。），最小二乘法的估计是方差最小的。证明：略证明：略 4 4、参数估计量的性质、参数估计量的性质第32页，本讲稿共85页多元情况下，多元情况下，“
11、异方差异方差”与与“序列自相关序列自相关”问题的矩阵表述问题的矩阵表述在在“异方差异方差”、“序列自相关序列自相关”的情况下，的情况下，OLS估计量不再具有估计量不再具有“有效性有效性”！异方差异方差与与序列自相关序列自相关第33页，本讲稿共85页在在“异方差异方差”的情况下，的情况下，OLS估计量不估计量不再具有再具有“有效性有效性”！异方差异方差第34页，本讲稿共85页 序列自相关问题（一阶）序列自相关问题（一阶）在在“序列自相关序列自相关”的情况下，的情况下，OLS估计量不估计量不再具有再具有“有效性有效性”！第35页，本讲稿共85页在上述两种情况下，都无法得到在上述两种情况下，都无法得
12、到因此，最小方差性质无法证明。因此，最小方差性质无法证明。异方差异方差与与序列自相关序列自相关第36页，本讲稿共85页 对于模型对于模型 Y=X+如果存在序列如果存在序列自相关自相关，或者存在，或者存在异方差异方差，亦或者，亦或者二者都存在二者都存在，则有，则有 5 5、广义最小二乘法、广义最小二乘法第37页，本讲稿共85页 其其中中，是是一一个个对对称称的的正正定定矩矩阵阵，存存在在一一可可逆逆的的下三角矩阵下三角矩阵D，使得：，使得：=DD 乔列斯基分解（乔列斯基分解（Cholesky decomposition）5 5、广义最小二乘法、广义最小二乘法第38页，本讲稿共85页变换原模型：变
13、换原模型：D-1Y=D-1X +D-1 重定义为：重定义为：Y*=X*+*所所以以，变变形形后后的的模模型型具具有有同同方方差差性性和和随随机机误误差差项项互互相不相关性相不相关性：因为此时：因为此时：第39页，本讲稿共85页 这就是原模型的这就是原模型的广义最小二乘广义最小二乘(GLS)估计量估计量，它是无偏的、有效的估计量。它是无偏的、有效的估计量。对重定义模型：对重定义模型：Y*=X*+*（D-1Y=D-1X +D-1 ）进行进行OLS 估计：估计：第40页，本讲稿共85页 当当数数据据存存在在“异异方方差差”、“序序列列自自相相关关”时时，广广义义最最小小二二乘乘法法（GLS）才才是是
14、线线性性、无无偏偏、有有效效的的估估计计量！量！5 5、广义最小二乘法、广义最小二乘法第41页，本讲稿共85页 如何得到矩阵如何得到矩阵？（略）？（略）对对 的形式进行特殊设定后，才可得到其估计值。的形式进行特殊设定后，才可得到其估计值。如设定随机扰动项存在如设定随机扰动项存在异方差，异方差，且且形式形式为：为：2i =f(Xi)2 则则第42页，本讲稿共85页 如何得到矩阵如何得到矩阵？（略）？（略）代入第43页，本讲稿共85页 如何得到矩阵如何得到矩阵？（略）？（略）或者由：进行乔列斯基分解得到：第44页，本讲稿共85页 如何得到矩阵如何得到矩阵？（略）？（略）之后对D求逆：第45页，本讲
15、稿共85页变形：变形：Y*=D-1Y；X*=D-1X然后用然后用X*对对Y*进行进行OLS 估计：估计：第46页，本讲稿共85页 如何得到矩阵如何得到矩阵？（略）？（略）对对 的形式进行特殊设定后，才可得到其估计值。的形式进行特殊设定后，才可得到其估计值。如设定随机扰动项为如设定随机扰动项为一阶序列相关形式一阶序列相关形式 i=i-1+i 则则第47页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验1、拟合优度检验、拟合优度检验2、t 检验检验3、F检验检验4、序列自相关性检验、序列自相关性检验5、异方差检验、异方差检验6、多重共线性检验、多重共线性检验7、有约束的
16、检验、有约束的检验*第48页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验1、拟合优度检验、拟合优度检验第49页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验2、t 检验检验 对单个变量的显著性进行检验对单个变量的显著性进行检验 H0：i=0，H1：i 0第50页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验3、F检验检验 对多个变量的显著性进行的联合检验：对多个变量的显著性进行的联合检验：H0：1=k=0，H1：起码有一个起码有一个 i 0注意：没有注意：没有 0第51页，本讲稿共85页三、多元线性回归
17、模型的统计检验三、多元线性回归模型的统计检验3、F检验检验 若若FF(k,n-k-1)，则则接受原假接受原假设设。问题问题：为为什么不能用什么不能用t检验检验替代替代F检验检验呢？呢？第52页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验4、序列自相关性检验、序列自相关性检验 （略）（略）见一元回归中的相应问题见一元回归中的相应问题第53页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验5、异方差检验、异方差检验 （略）见一元回归中的相应问题。（略）见一元回归中的相应问题。第54页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线
18、性回归模型的统计检验6、多重共线性检验、多重共线性检验（1 1）多重共线性（多重共线性（Multi-Collinearity）问题；）问题；（2 2）检验方法）检验方法（3 3）处理方法）处理方法 第55页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验（1 1）多重共线性（多重共线性（Multi-Collinearity）问题）问题当自变量中，出现彼此当自变量中，出现彼此“线性相关线性相关”的时候，的时候，rank(X)10”，就，就不能容忍了。不能容忍了。第63页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验6、多重共线性检验、多重
19、共线性检验（3）处理方法）处理方法 差分法差分法 取对数取对数 去除某个变量去除某个变量 第64页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验6、多重共线性检验、多重共线性检验（4）样本容量问题）样本容量问题 第65页，本讲稿共85页 样本容量问题样本容量问题 所谓“最小样本容量最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。(1)最小样本容量最小样本容量 样本最小容量必须不少于模型中解释变量的数样本最小容量必须不少于模型中解释变量的数目（包括常数项）目（包括常数项）,即 n k+1因为，不存在多重共
20、线性要求：秩(X)=k+1第66页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验7、联合检验、联合检验*t检验、检验、F检验的深入探讨。检验的深入探讨。第67页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验7、联合检验、联合检验*例如：柯布例如：柯布-道格拉斯函数道格拉斯函数第68页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验7、联合检验、联合检验*例如：对估计出的回归函数，有时需要检例如：对估计出的回归函数，有时需要检验：验：第69页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的
21、统计检验7、联合检验、联合检验*一般性的一般性的F统计量统计量第70页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验7、联合检验、联合检验*请验证：我们之前给出的请验证：我们之前给出的F统计量统计量只是一个特例只是一个特例第71页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验7、联合检验、联合检验*检验的内容非常广，一般可将原假设写为：检验的内容非常广，一般可将原假设写为：例如：例如：第72页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验7、联合检验、联合检验*检验的内容非常广、作用非常大检验的内容非常广
22、、作用非常大必需是线性的约束必需是线性的约束第73页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验7、联合检验、联合检验*检验的内容非常广、作用非常大检验的内容非常广、作用非常大深入讨论：深入讨论：制度转换的检验制度转换的检验 邹至庄检验：邹至庄检验：Chow Test 本质上也是本质上也是F检验检验第74页，本讲稿共85页邹至庄检验：邹至庄检验：Chow Test第75页，本讲稿共85页邹至庄检验：邹至庄检验：Chow Test构造统计量：第76页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验7、联合检验、联合检验*检验的内容非常广
23、、作用非常大检验的内容非常广、作用非常大F检验的应用之一：货币政策对产出、就业有影响吗检验的应用之一：货币政策对产出、就业有影响吗？1977年、年、1978年，年，Robert Barro的两篇经典论文的两篇经典论文第77页，本讲稿共85页F检验的应用之一：货币政策对产出、就业检验的应用之一：货币政策对产出、就业有影响吗？有影响吗？新古典主义：新古典主义：l预料到预料到的货币供给量的变化对产出、就业的货币供给量的变化对产出、就业没有没有影响影响；l没有预料到没有预料到的货币供给量的变化才能对产出、的货币供给量的变化才能对产出、就业就业产生影响产生影响；1977、1978年，巴罗对此问题进行了年
24、，巴罗对此问题进行了研究。研究。第78页，本讲稿共85页F检验的应用之一：货币政策对产出、就业有检验的应用之一：货币政策对产出、就业有影响吗？影响吗？首先，对首先，对Mt(货币供给量的变化货币供给量的变化)进行回进行回归归：回归部分被定义为：回归部分被定义为：预料到的变化，预料到的变化，At残差被定义为：残差被定义为：未预料到的变化，未预料到的变化，Ut第79页，本讲稿共85页F检验的应用之一：货币政策对产出、就业有检验的应用之一：货币政策对产出、就业有影响吗？影响吗？之后，用之后，用At和和Ut的滞后项对的滞后项对“失业率失业率”或或“产出增长率产出增长率”进行回归进行回归：最后，分别对如下
25、假设进行检验：最后，分别对如下假设进行检验：第80页，本讲稿共85页F检验的应用之一：货币政策对产出、就业检验的应用之一：货币政策对产出、就业有影响吗？有影响吗？最后，检验的结果：最后，检验的结果：l前者前者F=1.4，不拒绝；，不拒绝；l后者后者F=5.7，拒绝！，拒绝！第81页，本讲稿共85页三、多元线性回归模型的统计检验三、多元线性回归模型的统计检验7、联合检验、联合检验*检验的内容非常广、作用非常大检验的内容非常广、作用非常大F检验的应用之二：判断哪些自变量可以引入到检验的应用之二：判断哪些自变量可以引入到回归方程中？回归方程中？第82页，本讲稿共85页四、多元线性回归模型的变量选择四
26、、多元线性回归模型的变量选择1、逐步剔除法、逐步剔除法 把所有候选变量引入方程，建立回归方程；把所有候选变量引入方程，建立回归方程；将将t值最小者剔除；值最小者剔除；其余变量再做回归；其余变量再做回归；将将t值最小者剔除；值最小者剔除；其余变量其余变量+第一次剔除的变量第一次剔除的变量，与再做回归；，与再做回归；直到无可剔除为止直到无可剔除为止第83页，本讲稿共85页四、多元线性回归模型的变量选择四、多元线性回归模型的变量选择1、逐步剔除法、逐步剔除法 也可以用也可以用F检验，对多个不显著变量进行检验，对多个不显著变量进行联合检验，以确定变量。联合检验，以确定变量。直到无可剔除为止直到无可剔除为止第84页，本讲稿共85页四、多元线性回归模型的变量选择四、多元线性回归模型的变量选择2、逐步引入法、逐步引入法 用用Y对所有候选变量，逐个建立一元回归方程；对所有候选变量，逐个建立一元回归方程；保留保留t值最大的变量（或值最大的变量（或F值最大）；值最大）；再逐个尝试增加其余变量，做二元回归；再逐个尝试增加其余变量，做二元回归；保留保留t值最大者（或值最大者（或F值最大者）值最大者）；直到无可加入为止直到无可加入为止第85页，本讲稿共85页