《第2讲普通最小二乘法PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第2讲普通最小二乘法PPT讲稿.ppt（43页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第2 2讲普通最小二乘讲普通最小二乘法法第1页，共43页，编辑于2022年，星期一第二讲第二讲 普通最小二乘法普通最小二乘法（教材第（教材第2 2章、第章、第3 3章）章）第2页，共43页，编辑于2022年，星期一主要内容主要内容v一元回归模型的最小二乘（一元回归模型的最小二乘（OLS）估计）估计v多元回归模型的最小二乘（多元回归模型的最小二乘（OLS）估计）估计v回归方程的拟合：决定系数回归方程的拟合：决定系数第3页，共43页，编辑于2022年，星期一引言引言v回归分析中的主要目的是根据样本回归函数回归分析中的主要目的是根据样本回归函数（SRF）来估计总体回归函数（）来估计总体回归函数（P
2、RF），但是，由），但是，由于抽样的波动，根据于抽样的波动，根据SRF估计出来的估计出来的PRF充其量充其量只是真实只是真实PRF的一个近似的结果。的一个近似的结果。v能否设计一种规则或估计方法，使得这种近似结能否设计一种规则或估计方法，使得这种近似结果的误差尽可能小？果的误差尽可能小？v本讲将介绍一种最简单的估计方法本讲将介绍一种最简单的估计方法普通最小普通最小二乘法（二乘法（Ordinary Least Square，OLS）第4页，共43页，编辑于2022年，星期一一一元回归模型的元回归模型的OLS估计估计vPRF：是不可直接观测的，是不可直接观测的，要通过要通过SRF：去估计。去估计。
3、v残差：残差：是实际值是实际值 与其估计值与其估计值 之差。之差。第5页，共43页，编辑于2022年，星期一普通最小二乘法普通最小二乘法（1 1）采用）采用“残差和最小残差和最小”确定直线位置？确定直线位置？（2 2）采用）采用“残差绝对值和残差绝对值和最小最小”确定直线位置？确定直线位置？（3 3）最小二乘法最小二乘法的原则是以的原则是以“残差平方和最小残差平方和最小”确定确定直线位置。直线位置。et第6页，共43页，编辑于2022年，星期一一元回归模型的估计问题一元回归模型的估计问题v最小二乘法采用残差平方和最小的准则：最小二乘法采用残差平方和最小的准则：其中，其中，怎样得到的？第7页，共
4、43页，编辑于2022年，星期一最小二乘估计量的数学推导：最小二乘估计量的数学推导：正正规规方方程程第8页，共43页，编辑于2022年，星期一OLSOLS估计量的性质估计量的性质v根据最小化残差平方和算出来的参数估计量叫做根据最小化残差平方和算出来的参数估计量叫做普通最小二乘（普通最小二乘（OLS）估计量。估计量。样本回归线通过样本回归线通过Y和和X的样本均值的样本均值残差之和为残差之和为0OLS是是“最优最优”的估计方法的估计方法第9页，共43页，编辑于2022年，星期一一个例子：一个例子：Eviews演示演示v收入消费问题（收入消费问题（data_2.1）：）：Y是消费，是消费，X是收是收
5、入。入。回归方程：回归方程：第10页，共43页，编辑于2022年，星期一第11页，共43页，编辑于2022年，星期一需要填入的变量第12页，共43页，编辑于2022年，星期一回归结果回归结果第13页，共43页，编辑于2022年，星期一回归曲线图回归曲线图第14页，共43页，编辑于2022年，星期一思考题思考题v影响一个家庭消费决策的仅仅是收入因素吗？影响一个家庭消费决策的仅仅是收入因素吗？v除了身高，你认为还有哪些因素会影响一个人的除了身高，你认为还有哪些因素会影响一个人的体重？体重？v第15页，共43页，编辑于2022年，星期一多元回归模型的多元回归模型的OLS估计估计v最简单的多元线性回归
6、是三变量模型最简单的多元线性回归是三变量模型三变量模型，即含有一个因变量和两个解释变量，其三变量模型，即含有一个因变量和两个解释变量，其总体回归函数总体回归函数PRF为：为：表示什么意思？表示什么意思？第16页，共43页，编辑于2022年，星期一多元线性回归的基本概念多元线性回归的基本概念v多个自变量的回归模型多个自变量的回归模型假定多元线性回归模型假定多元线性回归模型那么对被解释变量那么对被解释变量Y与解释变量与解释变量X2 2，X3，Xk作了作了n次观测后，将所得的次观测后，将所得的n组样本代入上式有组样本代入上式有 第17页，共43页，编辑于2022年，星期一多元线性回归的基本概念多元线
7、性回归的基本概念以矩阵形式表示，有以矩阵形式表示，有nk第18页，共43页，编辑于2022年，星期一普通最小二乘估计普通最小二乘估计v多元线性回归模型多元线性回归模型假定假定1：为什么有这个假定？为什么有这个假定？（未知）（未知）第19页，共43页，编辑于2022年，星期一普通最小二乘估计普通最小二乘估计v普通最小二乘估计法（普通最小二乘估计法（OLS）1、原理：残差平方和最小、原理：残差平方和最小 乘出来是什么？怎样估计怎样估计？第20页，共43页，编辑于2022年，星期一若矩阵若矩阵 的逆存在，则上述方程有解的逆存在，则上述方程有解假定假定2：数据矩阵数据矩阵X列满秩，即矩阵列满秩，即矩阵
8、 的逆存在。的逆存在。列满秩的隐含意思是各个自变量之间相互独立。列满秩的隐含意思是各个自变量之间相互独立。对对求导并令其等于求导并令其等于0可得可得 kk满足什么条件，这满足什么条件，这个方程才有解？个方程才有解？满足什么条件，满足什么条件，才可逆？才可逆？列满秩的经济含义是什么？列满秩的经济含义是什么？第21页，共43页，编辑于2022年，星期一思考题思考题p 最小二乘估计量最小二乘估计量 是随机变量吗？为什么？是随机变量吗？为什么？p 判断一个估计量好坏的标准是什么？判断一个估计量好坏的标准是什么？第22页，共43页，编辑于2022年，星期一普通最小二乘估计普通最小二乘估计v普通最小二乘估
9、计法（普通最小二乘估计法（OLS）2、估计方法优劣的评判、估计方法优劣的评判无偏性无偏性第23页，共43页，编辑于2022年，星期一估计值的均值为估计值的均值为若无偏，则有若无偏，则有 假定假定3：因在假定因在假定1之下有之下有 假定假定3是什么意思？是什么意思？第24页，共43页，编辑于2022年，星期一若有若有 则有则有 有效性有效性假定假定4：可以证明这就是最小方差。可以证明这就是最小方差。高斯高斯马尔可夫定理：马尔可夫定理：若前述假定条件成立，若前述假定条件成立，OLS估计量是估计量是最佳线性无偏估计量（最佳线性无偏估计量（BLUEBLUE）。假定假定4是什么意思？是什么意思？第25页
10、，共43页，编辑于2022年，星期一一致性：一致性：在有限样本情形中，经典回归模型假定数据在有限样本情形中，经典回归模型假定数据X是固定变是固定变量，否则最小二乘估计量可能是有偏的。但在大样本量，否则最小二乘估计量可能是有偏的。但在大样本情况下，即便情况下，即便X是随机的，只要是随机的，只要X满足一些条件，最满足一些条件，最小二乘估计量将依概率收敛于真实值。小二乘估计量将依概率收敛于真实值。1.X的每一列的每一列xk不退化。不退化。2.随着样本量的增加，个体观测值变得不重要。随着样本量的增加，个体观测值变得不重要。3.X列满秩。列满秩。第26页，共43页，编辑于2022年，星期一经典模型的基本
11、假设经典模型的基本假设经典回归模型的基本假设：经典回归模型的基本假设：假定假定1：假定假定2：数据矩阵数据矩阵X列满秩，即矩阵列满秩，即矩阵 的逆存在。的逆存在。假定假定3：假定假定4：第27页，共43页，编辑于2022年，星期一普通最小二乘估计普通最小二乘估计v普通最小二乘估计法（普通最小二乘估计法（OLS）3最小二乘估计系数的特征最小二乘估计系数的特征 若一个多元回归中的变量是无关的，则多元回归的斜率若一个多元回归中的变量是无关的，则多元回归的斜率 与在多个简单回归中的斜率相同。与在多个简单回归中的斜率相同。回归超平面通过数据的均值点，回归拟合值的均值等于回归超平面通过数据的均值点，回归拟
12、合值的均值等于 实际值的均值。实际值的均值。第28页，共43页，编辑于2022年，星期一M：用它乘以任一向量：用它乘以任一向量y，都将产生，都将产生y对对x回归的残差向量。回归的残差向量。注意两个特殊矩阵注意两个特殊矩阵M和和P P（射影矩阵，投影矩阵）：用它乘以任一向量（射影矩阵，投影矩阵）：用它乘以任一向量y，都将产生都将产生y对对x回归的最小二乘拟合值。回归的最小二乘拟合值。令拟合值令拟合值 ，则有，则有 第29页，共43页，编辑于2022年，星期一偏回归系数偏回归系数其中其中 ，。解释：解释：是是X2对对X1进行回归后的残差变量，进行回归后的残差变量，是是y对对X1进行进行回归后的残差
13、变量。回归后的残差变量。这个过程排除了或筛掉了的影响，这个过程排除了或筛掉了的影响，所以叫偏回归系数。所以叫偏回归系数。偏回归系数的解释：偏回归系数的解释：当其它变量相同（保持其他变量不变）时，特当其它变量相同（保持其他变量不变）时，特定变量对解释变量的边际影响（贡献）。定变量对解释变量的边际影响（贡献）。多元回归方程的妙用：多元回归方程的妙用：加什么，去什么。加什么，去什么。第30页，共43页，编辑于2022年，星期一思考题思考题v一个超市的老总准备根据销售经理的能力来确定一个超市的老总准备根据销售经理的能力来确定其工资水平？他能实现吗？其工资水平？他能实现吗？v如果某经理在春节期间卖出了大
14、量的商品，他的如果某经理在春节期间卖出了大量的商品，他的能力真的很强吗？能力真的很强吗？v怎样才能解决超市老总的困扰呢？怎样才能解决超市老总的困扰呢？第31页，共43页，编辑于2022年，星期一一个例子：美国国防预算支出（一个例子：美国国防预算支出（data_2.2）为了说明美国的为了说明美国的经济实力对其国防预算经济实力对其国防预算的影响，的影响，现考虑如下模型现考虑如下模型:其中其中Yt年度年度t的国防预算支出，的国防预算支出，10亿美元计亿美元计X2t=年度年度t的的GNP，10亿美元计亿美元计X3t=年度年度t的军事销售，的军事销售，10亿美元计亿美元计X4t=年度年度t的太空工业销售
15、，的太空工业销售，10亿美元计亿美元计在上述方程中，哪些是控制变量？在上述方程中，哪些是控制变量？第32页，共43页，编辑于2022年，星期一19621981年美国国防预算支出数据年美国国防预算支出数据第33页，共43页，编辑于2022年，星期一第34页，共43页，编辑于2022年，星期一需要填入的变量点击第35页，共43页，编辑于2022年，星期一回归结果回归结果根据回归结果，你的结论是什么？根据回归结果，你的结论是什么？怎样选择控制变量？怎样选择控制变量？控制变量的选择：控制变量的选择：去什么，加什么。去什么，加什么。怎么算出来的？第36页，共43页，编辑于2022年，星期一思考题思考题v
16、既然既然OLS估计量是估计量是BLUE，那么是否采用，那么是否采用OLS就就能得到满意的结果呢？能得到满意的结果呢？v即便是最好的，也不是令人满意的。即便是最好的，也不是令人满意的。v针对一组给定的样本，怎样判断回归方程的拟合针对一组给定的样本，怎样判断回归方程的拟合程度？程度？第37页，共43页，编辑于2022年，星期一222回归方程的总体拟合度回归方程的总体拟合度v从几何意义上看，拟合优度是指样本回归线对样从几何意义上看，拟合优度是指样本回归线对样本数据拟合得有多好。本数据拟合得有多好。样本回归线样本点总平方和总平方和回归平方和回归平方和残差平残差平方和方和样本均值线样本均值线一般情况下，
17、不可能出现全部观测点都落在样本回归线一般情况下，不可能出现全部观测点都落在样本回归线上。显然若观测值离回归线近，则拟合程度好。上。显然若观测值离回归线近，则拟合程度好。因此，一个直观的评判标准是：残差平方和在总平方和中因此，一个直观的评判标准是：残差平方和在总平方和中所占的比例越小，则拟合得越好。所占的比例越小，则拟合得越好。e第38页，共43页，编辑于2022年，星期一拟合优度拟合优度判定系数（判定系数（R2）：）：第39页，共43页，编辑于2022年，星期一拟合优度拟合优度 可以证明当在回归方程中加入另一变量时，可以证明当在回归方程中加入另一变量时，R2值不会下降。值不会下降。因此，考虑调
18、整的（用自由度）因此，考虑调整的（用自由度）R2 为什么要采用调整的为什么要采用调整的R2？自由度：观测样本个数减去待估计系数的个数。自由度：观测样本个数减去待估计系数的个数。第40页，共43页，编辑于2022年，星期一当增加一个变量时，当增加一个变量时，可能上升，也可能下降，甚至为负。可能上升，也可能下降，甚至为负。上升还是下降依赖于新变量对回归拟合的贡献是否超过上升还是下降依赖于新变量对回归拟合的贡献是否超过对损失一个额外自由度所作修正的补偿。对损失一个额外自由度所作修正的补偿。注意注意：通常采用横截面数通常采用横截面数据回归后得到的决定系数据回归后得到的决定系数较小，而采用时间序列数较小
19、，而采用时间序列数据回归后得到的决定系数据回归后得到的决定系数较大。调整的决定系数高较大。调整的决定系数高并不意味着模型就是好的并不意味着模型就是好的（p32 2.5）。）。第41页，共43页，编辑于2022年，星期一小结小结v普通最小二乘（普通最小二乘（OLS）估计的原理是什么？）估计的原理是什么？vOLS四个经典的假定是什么？四个经典的假定是什么？vBLUE的含义是什么？的含义是什么？v怎样理解怎样理解“加什么，去什么；去什么，加什么加什么，去什么；去什么，加什么”？v判断一个回归方程估计的好坏，是否主要看可调判断一个回归方程估计的好坏，是否主要看可调整的决定系数？整的决定系数？第42页，共43页，编辑于2022年，星期一作业作业v需要上交的作业需要上交的作业P35：习题：习题5P37：习题：习题13P50：习题：习题9 v建议选做的作业建议选做的作业P35：习题：习题6P36：习题：习题10P50：习题：习题7第43页，共43页，编辑于2022年，星期一