《多元线性回归模型的参数估计 (2).ppt》由会员分享，可在线阅读，更多相关《多元线性回归模型的参数估计 (2).ppt（26页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、练习亚洲各国人均寿命（Y）、人均GDP（X1）、成人识字率（X2）、一岁儿童疫苗接种率（X3）数据1.填空填空2.写出样本回归函数写出样本回归函数3.分析各国人均寿命与人均分析各国人均寿命与人均GDP、成、成人识字率、一岁儿童疫苗接种率的数人识字率、一岁儿童疫苗接种率的数量关系量关系4.对所建回归模型进行检验对所建回归模型进行检验第六讲第六讲 多元线性回归模型的参数估计多元线性回归模型的参数估计4引子引子:中国已成为世界汽车产销第一大国中国已成为世界汽车产销第一大国 中国社会科学院中国社会科学院中国汽车社会发展报告中国汽车社会发展报告2012-2013显示，中国国内汽车产销量已近显示，中国国内
2、汽车产销量已近2000万辆。从万辆。从2000年开始，中国汽车市场进入到黄金年开始，中国汽车市场进入到黄金10年。汽车保有年。汽车保有量从量从1600万辆攀升到万辆攀升到1亿多辆。亿多辆。2010年成为全球第一大年成为全球第一大汽车市场，中国的汽车保有量已经超过日本，成为仅低于汽车市场，中国的汽车保有量已经超过日本，成为仅低于美国的世界第二大汽车保有国。业内预计，美国的世界第二大汽车保有国。业内预计，2020年我国年我国汽车保有量将突破汽车保有量将突破2亿辆。亿辆。是什么因素导致中国汽车数量的增长是什么因素导致中国汽车数量的增长?影响中国汽车行业发展的因素并不是单一的，经济增影响中国汽车行业发
3、展的因素并不是单一的，经济增长、消费趋势、市场行情、业界心态、能源价格、道路发长、消费趋势、市场行情、业界心态、能源价格、道路发展、内外环境，都会使中国汽车行业面临机遇和挑战。展、内外环境，都会使中国汽车行业面临机遇和挑战。5分析中国汽车行业未来的趋势，应具体分析这样一些问题：分析中国汽车行业未来的趋势，应具体分析这样一些问题：中国汽车市场发展的状况如何？中国汽车市场发展的状况如何？（用销售量观测）（用销售量观测）影响中国汽车销量的主要因素是什么？影响中国汽车销量的主要因素是什么？（如收入、价格、费用、道路状况、能源、政策环境等）（如收入、价格、费用、道路状况、能源、政策环境等）各种因素对汽车
4、销量影响的性质怎样？各种因素对汽车销量影响的性质怎样？（正、负）（正、负）各种因素影响汽车销量的具体数量关系是什么？各种因素影响汽车销量的具体数量关系是什么？所得到的数量结论是否可靠？所得到的数量结论是否可靠？中国汽车行业今后的发展前景怎样？应当如何制定汽车中国汽车行业今后的发展前景怎样？应当如何制定汽车的产业政策？的产业政策？很明显，只用很明显，只用一个解释变量一个解释变量已很难分析汽车产业的发展，已很难分析汽车产业的发展，还需要寻求有更多个解释变量情况的回归分析方法。还需要寻求有更多个解释变量情况的回归分析方法。怎样分析多种因素的影响？怎样分析多种因素的影响？6多元线性回归模型及古典假定多
5、元线性回归模型及古典假定多元线性回归模型的估计多元线性回归模型的估计多元线性回归模型的检验多元线性回归模型的检验多元线性回归模型的预测多元线性回归模型的预测 第三章多元线性回归第三章多元线性回归主要讨论主要讨论:7 一般形式：对于有一般形式：对于有K-1个解释变量的线性回归模型个解释变量的线性回归模型 注意：注意：模型中的模型中的 （j=1,2,-k）是是偏回归系数偏回归系数 样本容量为样本容量为n 偏回归系数偏回归系数：控控制制其其它它解解释释量量不不变变的的条条件件下下，第第j j个个解解释释变变量量的的单单位位变变动动对对被被解解释释变变量量平平均均值值的的影影响响，即即对对Y Y平平均
6、均值值“直直接接”或或“净净”的影响。的影响。一、多元线性回归模型的基本概念一、多元线性回归模型的基本概念8 多元线性回归中的多元线性回归中的“线性线性”指对各个指对各个回归系数回归系数而言是而言是“线性线性”的，对变量则的，对变量则可以是线性的，也可以是非线性的可以是线性的，也可以是非线性的例如：生产函数例如：生产函数取对数取对数这也是这也是多元线性回归模型多元线性回归模型，只是这时变量为，只是这时变量为lnY、lnL、lnK9 多元总体回归函数多元总体回归函数 条件期望表现形式：条件期望表现形式：将将Y Y的总体条件期望表示为多个解释变量的函数，如的总体条件期望表示为多个解释变量的函数，如
7、:注意：这时注意：这时Y总体条件期望的轨迹是总体条件期望的轨迹是K维空间的一条线维空间的一条线个别值表现形式：个别值表现形式：引入随机扰动项引入随机扰动项或表示为或表示为 10 多元样本回归函数多元样本回归函数 Y 的样本条件均值可表示为多个解释变量的函数的样本条件均值可表示为多个解释变量的函数 或回归剩余（残差）：或回归剩余（残差）：其中其中 11多个解释变量的多元线性回归模型的多个解释变量的多元线性回归模型的n组样本观测值，可组样本观测值，可表示为表示为 用矩阵表示用矩阵表示 11二、多元线性回归模型的矩阵表示二、多元线性回归模型的矩阵表示12总体回归函数总体回归函数 或或样本回归函数样本
8、回归函数 或或 其中：其中：都是有都是有n个元素的列向量个元素的列向量 是有是有k 个个 元素的列向量元素的列向量 （k=解释变量个数解释变量个数+1）是第一列为是第一列为1的的nk阶解释变量阶解释变量数据矩阵数据矩阵，(截距项可视为解释变量总是取值为截距项可视为解释变量总是取值为1）矩阵表示方式多元线性回归模型与回归方程的表达式14 假定假定1：零均值假定零均值假定 （i=1，2，-n）或 E(u)=0 假定假定2和假定和假定3：同方差和无自相关假定同方差和无自相关假定：或用方差或用方差-协方差矩阵表示为协方差矩阵表示为:(i=j)(ij)0三、多元线性回归模型的基本假定三、多元线性回归模型
9、的基本假定15假定假定5:无多重共线性假定无多重共线性假定 (多元中增加的多元中增加的)假假定定各各解解释释变变量量之之间间不不存存在在线线性性关关系系，或或各各个个解解释释变变量量观观测测值值之之间间线线性性无无关关。或或解解释释变变量量观观测测值值矩矩阵阵X的秩为的秩为K(注意注意X为为n行K列列)。Ran(X)=k+1 Ran(XX)=k+1 即即 (XX)可逆可逆 假定假定6:正态性假定正态性假定15假定假定4：随机扰动项与解释变量不相关随机扰动项与解释变量不相关普通最小二乘法普通最小二乘法（OLSOLS）原则：原则：寻求寻求剩余平方和最小的参数估计式剩余平方和最小的参数估计式 即求偏
10、导，并令其为0 其中即 16四、多元线性回归模型的估计四、多元线性回归模型的估计17 用矩阵表示的正规方程偏导数偏导数因为样本回归函数为因为样本回归函数为 两边左乘两边左乘根据最小二乘原则根据最小二乘原则则正规方程为则正规方程为18由正规方程由正规方程 多元回归的多元回归的OLS估计量为估计量为当只有两个解释变量时为：当只有两个解释变量时为：注意：注意：为为X、Y的离差的离差对比对比简单线性回归中简单线性回归中OLSOLS估计式估计式 样本容量要求样本容量要求 最小样本容量最小样本容量 样本容量必须不少于模型中解释变量的数目（包括常数项）nk+1。基本要求的样本容量基本要求的样本容量 经验认为
11、：当n30或n3(k+1)时，才能说满足模型估计的基本要求。20 1、线性线性特征 是是Y的的线线性性函函数数，因因 是是非非随随机机或或取取固固定值的矩阵定值的矩阵 2、无偏无偏特性 3、最小方差最小方差特性 在在 所有的线性无偏估计中，所有的线性无偏估计中，OLS估计估计 具有最小方差具有最小方差 结结论论：在在古古典典假假定定下下，多多元元线线性性回回归归的的 OLS估估计计式式是最佳是最佳线线性无偏估性无偏估计计式（式（BLUE）五、五、OLSOLS估计式的统计性质估计式的统计性质21其中：其中：(由无偏性由无偏性)(由同方差性由同方差性)(由由OLS估计式估计式)21注意注意 是向量
12、是向量的方差的方差-协方差协方差22 六六、OLSOLS估计的分布性质估计的分布性质基本思想基本思想：是是随随机机变变量量，必必须须确确定定其其分分布布性性质质才才可可能能进进行行区区间间估计和假设检验估计和假设检验 是服从正态分布的随机变量，是服从正态分布的随机变量，决定了决定了Y也是服从正态分布的随机变量也是服从正态分布的随机变量 是是Y的的线线性性函函数数，决决定定了了 也也是是服服从从正正态态分分布布的的随机变量随机变量23 的期望的期望 的方差和标准误差：的方差和标准误差：可以证明可以证明 的方差的方差协方差矩阵为协方差矩阵为 这里的这里的（其中（其中 是矩阵是矩阵 中中第第 j 行
13、第行第 j 列列的元素）的元素）所以所以 （j=1,2,-k）的期望与方差24 一般未知，可证明多元回归中一般未知，可证明多元回归中 的无偏的无偏 估计为：估计为：或表示为或表示为 将将 作标准化变换：作标准化变换：24对比对比:一元回归中一元回归中七、随机扰动项方程七、随机扰动项方程 的估计的估计25因因 是未知的，是未知的，可用可用 代替代替 去估计参数的去估计参数的标准误差标准误差:当为大样本时，用估计的参数标准误差对当为大样本时，用估计的参数标准误差对 作标作标准化变换，所得准化变换，所得 Z 统计量仍可视为服从正态分布统计量仍可视为服从正态分布当为小样本时，用估计的参数标准误差对当为小样本时，用估计的参数标准误差对 作标作标准化变换，所得的准化变换，所得的 t 统计量服从统计量服从 t 分布：分布：25未知时未知时 的标准化变换的标准化变换26八、八、回归系数的区间估计回归系数的区间估计 由于由于给定给定 ，查，查t分布表的自由度为分布表的自由度为 n-k 的临界值的临界值或或或表示为或表示为26