《多元线性回归模型参数估计讲稿.ppt》由会员分享，可在线阅读，更多相关《多元线性回归模型参数估计讲稿.ppt（42页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多元线性回归模型参数估多元线性回归模型参数估计计第一页，讲稿共四十二页哦 一、多元线性回归模型一、多元线性回归模型 1.多元线性回归模型的形式多元线性回归模型的形式l 由于：由于：l在实际经济问题中，一个变量往往受到多个原因变在实际经济问题中，一个变量往往受到多个原因变量的影响；量的影响；l从一般到简单的建模思路；从一般到简单的建模思路；l 在线性回归模型中解释变量有多个，这样的模型被在线性回归模型中解释变量有多个，这样的模型被称为称为多元线性回归模型多元线性回归模型。第二页，讲稿共四十二页哦多元线性回归模型的一般形式：多元线性回归模型的一般形式：i=1,2,n 其中其中:k 为解释变量的数目
2、，为解释变量的数目，j 称为称为回归系数回归系数（regression coefficient）。习习惯惯上上：把把常常数数项项看看成成为为一一个个虚虚变变量量的的系系数数，该虚变量的样本观测值始终取该虚变量的样本观测值始终取1。这样：。这样：模型中解释变量的数目为模型中解释变量的数目为（k+1）。第三页，讲稿共四十二页哦总体回归函数总体回归函数的的非随机表达式非随机表达式:j也被称为也被称为偏回归系数偏回归系数。总体回归函数总体回归函数的的随机表达形式随机表达形式:第四页，讲稿共四十二页哦总体回归模型总体回归模型n个随机方程的个随机方程的矩阵表达式矩阵表达式为为 其中其中第五页，讲稿共四十二
3、页哦样本回归函数样本回归函数：用来估计总体回归函数：用来估计总体回归函数其其随机表示式随机表示式:ei称为称为残差残差或或剩余项剩余项(residuals)，可看成是总，可看成是总体回归模型中随机扰动项体回归模型中随机扰动项i的近似替代。的近似替代。样本回归函数样本回归函数和和样本回归模型样本回归模型的的矩阵表达矩阵表达:或或其中：其中：第六页，讲稿共四十二页哦2.多元线性回归模型的基本假定多元线性回归模型的基本假定 假设假设2，随机误差项具有零均值、同方差及不序列相随机误差项具有零均值、同方差及不序列相关性。关性。假设假设3，解释变量与随机误差项不相关。，解释变量与随机误差项不相关。假设假设
4、4，随机误差项满足正态分布，随机误差项满足正态分布 假设假设5，解释变量之间不存在严格的线性关系，即不解释变量之间不存在严格的线性关系，即不存在存在完全完全共线性。共线性。假设假设1，解释变量是非随机的。，解释变量是非随机的。第七页，讲稿共四十二页哦上述假设的上述假设的矩阵符号表示式矩阵符号表示式：假设假设2 2，第八页，讲稿共四十二页哦假设假设3，E(X)=0，即，即 假设假设4，向量，向量 有一多维正态分布，即有一多维正态分布，即 假设假设5，n(k+1)矩阵矩阵X 的秩的秩 =k+1，即，即X 满秩。满秩。第九页，讲稿共四十二页哦例：测度教育的回报问题例：测度教育的回报问题 wage:小
5、时工资小时工资(元元)，educ:受教育的年数，受教育的年数，exper:以年数以年数计的工作经历。计的工作经历。其他非观测因素：天生能力、职业道德等。其他非观测因素：天生能力、职业道德等。E(|educ,exper)=0 影响影响wage的其它因素与的其它因素与educ和和exper无关。比如，如果无关。比如，如果是是天生能力，这个假定就是要求，天生能力，这个假定就是要求，员工总体中受教育和工作经员工总体中受教育和工作经历的各种组合，其平均能力都相同。历的各种组合，其平均能力都相同。Var(|educ,exper)=2，Var(wage|educ,exper)=2，如果这个方差随着两个解释变
6、量中的任何一个变化，就如果这个方差随着两个解释变量中的任何一个变化，就出现了异方差。出现了异方差。第十页，讲稿共四十二页哦 “无完全共线性假定无完全共线性假定”的说明的说明 cons:消费，消费，inc:收入收入一个问题一个问题：在什么情况下由多元线性模型估计得到的：在什么情况下由多元线性模型估计得到的偏回归系数与仅用该变量作为解释变量构成的一元回偏回归系数与仅用该变量作为解释变量构成的一元回归模型的估计结果是相同的？归模型的估计结果是相同的？第十一页，讲稿共四十二页哦重要提示：重要提示：l几乎没有哪个实际问题能够同时满足所有基本假定；几乎没有哪个实际问题能够同时满足所有基本假定；l通过模型理
7、论方法的发展，可以克服违背基本假设带来的问通过模型理论方法的发展，可以克服违背基本假设带来的问题；题；l违背基本假设的处理构成了线性单方程计量经济学理论方法违背基本假设的处理构成了线性单方程计量经济学理论方法的主要内容。的主要内容。异方差问题异方差问题（违背同方差假设）（违背同方差假设）序列相关性序列相关性（违背序列不相关假设）（违背序列不相关假设）共线性问题共线性问题（违背解释变量之间不相关假设）（违背解释变量之间不相关假设）随机解释变量问题随机解释变量问题（违背了解释变量和随机误差项之（违背了解释变量和随机误差项之间不相关假设）间不相关假设）l零均值、正态性假定是由模型的数理统计理论决定。
8、零均值、正态性假定是由模型的数理统计理论决定。第十二页，讲稿共四十二页哦二、多元线性回归模型的估计二、多元线性回归模型的估计l普通最小二乘法普通最小二乘法 l最大似然法最大似然法 l矩估计方法矩估计方法第十三页，讲稿共四十二页哦1、普通最小二乘估计、普通最小二乘估计对于随机抽取的对于随机抽取的n组观测值：组观测值：如果如果样本函数样本函数的参数估计值已经得到，则有：的参数估计值已经得到，则有：根据根据最小二乘原理最小二乘原理，参数估计值应该是下列方程组的解，参数估计值应该是下列方程组的解 其中其中第十四页，讲稿共四十二页哦于是得到关于于是得到关于待估参数估计值待估参数估计值的的正规方程组正规方
9、程组：第十五页，讲稿共四十二页哦正规方程组正规方程组的的矩阵形式矩阵形式:即即由于由于XX满秩，故有满秩，故有 第十六页，讲稿共四十二页哦将上述过程用将上述过程用矩阵表示矩阵表示如下：如下：即求解方程组：即求解方程组：得到：得到：于是：于是：第十七页，讲稿共四十二页哦样本回归函数样本回归函数的的离差形式离差形式:其其矩阵形式矩阵形式为为 其中其中 ：在离差形式下，参数的最小二乘估计结果为在离差形式下，参数的最小二乘估计结果为 第十九页，讲稿共四十二页哦 2、最大似然估计、最大似然估计 Y 的随机抽取的的随机抽取的n 组样本观测值的联合概率组样本观测值的联合概率即为变量即为变量Y 的的似然函数似
10、然函数。第二十页，讲稿共四十二页哦对数似然函数为：对数似然函数为：对对数似然函数求极大值，也就是对：对对数似然函数求极大值，也就是对：求极小值。求极小值。因此，参数的因此，参数的最大似然估计最大似然估计为：为：结果与结果与参数参数的普通最小二乘估计相同。的普通最小二乘估计相同。第二十一页，讲稿共四十二页哦3、矩估计（、矩估计（Moment Method,MM）l 用每个解释变量分别乘以模型的两边，并用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到：对所有样本点求和，即得到：第二十二页，讲稿共四十二页哦l 对每个方程的两边求期望，有：对每个方程的两边求期望，有：利用利用和和第二十三页
11、，讲稿共四十二页哦l 得到一组矩条件：得到一组矩条件：求解这组矩条件就得到参数估计量求解这组矩条件就得到参数估计量 与与OLS、ML估计量等价估计量等价第二十四页，讲稿共四十二页哦矩方法矩方法是是工具变量方法工具变量方法(Instrumental Variables,IV)和和广广义矩估计方法义矩估计方法(Generalized Moment Method,GMM)的的基础。基础。在在矩方法矩方法中关键是利用了：中关键是利用了：如果某个解释变量与随机项相关，只要能找到如果某个解释变量与随机项相关，只要能找到1个工具变个工具变量，仍然可以构成一组矩条件，就是量，仍然可以构成一组矩条件，就是IV。
12、如果存在如果存在k+1个变量与随机项不相关，可以构成一组个变量与随机项不相关，可以构成一组包含包含k+1方程的矩条件，就是方程的矩条件，就是GMM。第二十五页，讲稿共四十二页哦因此，由该样本估计的回归方程（样本回归函数）为：因此，由该样本估计的回归方程（样本回归函数）为：例例2.3：在在例例2.1的的家庭收入家庭收入-消费支出消费支出例中，对于所例中，对于所抽出的一组样本数抽出的一组样本数:表表2.1.3 家庭消费支出与可支配收入的一个随机样本家庭消费支出与可支配收入的一个随机样本可支配收入可支配收入(X)800110014001700200023002600290032003500家庭消费支
13、出家庭消费支出(Y)59463811221155140815951969207825852530第二十六页，讲稿共四十二页哦例例2.3：在例：在例2.1的家庭收入的家庭收入-消费支出例中，消费支出例中，可求得 于是 第二十七页，讲稿共四十二页哦 三三.OLS参数估计量的性质参数估计量的性质 在满足基本假设的情况下，其结构参数在满足基本假设的情况下，其结构参数 的的普通最小二乘估计普通最小二乘估计仍具有：仍具有：线性性线性性、无偏性无偏性、有效性有效性。(1)线性性线性性 其中其中,C=(XX)-1 X 为一仅与固定的为一仅与固定的X 有关的行向量有关的行向量 第二十九页，讲稿共四十二页哦 (3
14、)有效性（最小方差性）有效性（最小方差性）(2)无偏性无偏性 这里利用了假设这里利用了假设:E(X)=0第三十页，讲稿共四十二页哦其中利用了其中利用了 和和结论：结论：在经典假定条件下，多元线性回归的在经典假定条件下，多元线性回归的在经典假定条件下，多元线性回归的在经典假定条件下，多元线性回归的OLSOLS估计式是最佳线性无偏估计式。估计式是最佳线性无偏估计式。估计式是最佳线性无偏估计式。估计式是最佳线性无偏估计式。第三十一页，讲稿共四十二页哦四、参数估计量的方差四、参数估计量的方差-协方差矩阵和随机误协方差矩阵和随机误差项方差差项方差2的估计的估计1.1.参数估计量的方差参数估计量的方差-协
15、方差矩阵协方差矩阵l将参数估计量看成是随机变量，具有数字特征。将参数估计量看成是随机变量，具有数字特征。l参数估计量的方差以及不同参数估计量之间的协方差在模参数估计量的方差以及不同参数估计量之间的协方差在模型理论中具有重要性。型理论中具有重要性。具体描述如下：具体描述如下：第三十二页，讲稿共四十二页哦的方差的方差协方差矩阵：协方差矩阵：第三十三页，讲稿共四十二页哦矩阵符号表达式：矩阵符号表达式：第三十四页，讲稿共四十二页哦第三十五页，讲稿共四十二页哦l可以证明随机误差项方差可以证明随机误差项方差2的的无偏估计量无偏估计量是：是：2.随机误差项方差随机误差项方差2的估计量的估计量l于是，参数估计
16、量的方差、标准差、协方差可以分于是，参数估计量的方差、标准差、协方差可以分别用其样本方差、标准差、协方差估计：别用其样本方差、标准差、协方差估计：第三十六页，讲稿共四十二页哦五、样本容量问题五、样本容量问题 所谓所谓“最小样本容量最小样本容量”，即从最小二乘原理出发，要，即从最小二乘原理出发，要得到参数估计量，不管其质量如何，所要求的样本容量得到参数估计量，不管其质量如何，所要求的样本容量的下限。的下限。最小样本容量最小样本容量 样本最小容量必须不少于模型中解释变量的数目（包样本最小容量必须不少于模型中解释变量的数目（包括常数项）括常数项）,即即 n k+1 因为，因为，无完全共线性要求：秩无
17、完全共线性要求：秩(X)=k+1第三十七页，讲稿共四十二页哦 2、满足基本要求的样本容量、满足基本要求的样本容量 从统计检验的有效性角度：从统计检验的有效性角度：n 30 时，时，Z 检验才能应用，检验才能应用，t 分布较为稳分布较为稳定定；从参数估计角度，一般经验认为从参数估计角度，一般经验认为:当当n 30 或者至少或者至少 n 3(k+1)时，才能说满足模型时，才能说满足模型估计的基本要求。估计的基本要求。模型的良好性质只有在大样本下才能得到理论上的模型的良好性质只有在大样本下才能得到理论上的证明。证明。第三十八页，讲稿共四十二页哦 六、多元线性回归模型的参数估计实例六、多元线性回归模型
18、的参数估计实例 中国消费函数模型中国消费函数模型根据消费模型的一般形式，选择人均消费支出为被解根据消费模型的一般形式，选择人均消费支出为被解释变量，人均国内生产总值和前一年的人均消费支出释变量，人均国内生产总值和前一年的人均消费支出为解释变量，变量之间关系为简单线性关系，选取为解释变量，变量之间关系为简单线性关系，选取19792000年统计数据为样本观测值。年统计数据为样本观测值。被解释变量：被解释变量：CONSP解释变量：人均解释变量：人均GDP：GDPP 前期消费：前期消费：CONSP(-1)估计区间：估计区间：19792000年年第三十九页，讲稿共四十二页哦 中国居民人均消费支出与人均中
19、国居民人均消费支出与人均GDP 单位：元单位：元/人人yearCONSPGDPPyearCONSPGDPP1978395.8675.11990797.11602.31979437716.91991861.41727.21980464.1763.71992966.61949.81981501.9792.419931048.62187.91982533.5851.119941108.72436.11983572.8931.419951213.12663.71984635.61059.219961322.82889.119857161185.219971380.93111.91986746.5126
20、9.619981460.63323.11987788.31393.619991564.43529.31988836.4152720001690.83789.71989779.71565.9第四十页，讲稿共四十二页哦DependentVariable:CONSPMethod:LeastSquaresSample(adjusted):19792000Includedobservations:22afteradjustmentsVariableCoefficientStd.Errort-StatisticProb.GDPP0.2213590.0609733.6304620.0018CONSP(-1)
21、0.4514080.1703182.6503800.0158C120.725336.513743.3062990.0037R-squared0.995403 Meandependentvar928.4909AdjustedR-squared0.994919 S.D.dependentvar372.6339S.E.ofregression26.56264 Akaikeinfocriterion9.523012Sumsquaredresid13405.90 Schwarzcriterion9.671791Loglikelihood-101.7531 Hannan-Quinncriter.9.558
22、060F-statistic2056.887 Durbin-Watsonstat1.278902Prob(F-statistic)0.000000Eviews软件估计结果软件估计结果 随机误差项方差的估计量为：随机误差项方差的估计量为：第四十一页，讲稿共四十二页哦复习：多元线性模型参数估计要点复习：多元线性模型参数估计要点l矩阵表示矩阵表示(模型、假设、估计过程与结果，理解模型、假设、估计过程与结果，理解统计性质的证明统计性质的证明)l最小二乘法、最大似然法、矩估计方法原理最小二乘法、最大似然法、矩估计方法原理l从最小二乘原理出发推导从最小二乘原理出发推导正规方程组正规方程组以及利用以及利用矩矩方法方法推导正规方程组推导正规方程组l偏回归系数的含义偏回归系数的含义l高斯高斯马尔科夫定理马尔科夫定理l样本容量问题样本容量问题l应用软件中的多元回归参数估计过程应用软件中的多元回归参数估计过程第四十二页，讲稿共四十二页哦