《一元线性回归模型的参数估计.pptx》由会员分享，可在线阅读，更多相关《一元线性回归模型的参数估计.pptx（29页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2023/3/18 22:57:45一元线性回归模型的参数一元线性回归模型的参数估计估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计5.估计量概率分布估计量概率分布u 线性回归模型的基本假定：线性回归模型的基本假定：假假设设1 1：线线性性回回归归模模型型（linearity),linearity),回回归归模模型型对对参参数数而言是线性的而言是线性的假设假设2 2：解释变量是确定性的，不是随机变量解释变量是确定性的，不是随机变量假设假设3 3：随机扰动项：随机扰动项 具有零均值：具有零均值：i
2、=1,2,n假设假设4：随机扰动项随机扰动项 具有同方差（具有同方差（homoscedasticity)：i=1,2,n假设假设5 5：随机扰动项无自相关（：随机扰动项无自相关（nonautocorrelation)nonautocorrelation)；ij i,j=1,2,n计量经济学第1页/共29页2023/3/18 22:57:45一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计5.估计量概率分布估计量概率分布u 线性回归模型的基本假定：线
3、性回归模型的基本假定：假设假设7 7：观测次数观测次数 n n 必须大于解释变量的个数必须大于解释变量的个数假设假设6 6：随机误差项与解释变量：随机误差项与解释变量 X X 之间不相关：之间不相关：假设假设8 8：X X 值要有变异性值要有变异性假设假设9 9：模型设定是正确的模型设定是正确的假设假设1010：随机误差项服从正态分布随机误差项服从正态分布假设假设1111：解释变量之间没有完全的多重共线性解释变量之间没有完全的多重共线性计量经济学第2页/共29页2023/3/18 22:57:46一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估
4、计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计5.估计量概率分布估计量概率分布u普通最小二乘法普通最小二乘法 (OLS)的基本原理的基本原理计量经济学第3页/共29页2023/3/18 22:57:46一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计5.估计量概率分布估计量概率分布u普通最小二乘法普通最小二乘法(ols)(ols)的基本原理的基本原理即在给定即在给定的条件下，寻求的条件下，寻求 使
5、使达到最小达到最小计量经济学第4页/共29页2023/3/18 22:57:46一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计5.估计量概率分布估计量概率分布u回顾回顾:函数极值函数极值计量经济学第5页/共29页2023/3/18 22:57:47一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型u普通最小二乘法普通最小二乘法 (OLS)的参数估计的参数估计即在给定即在给定的条件下，寻求的条件下，寻求 使使达到最小达到最
6、小计量经济学第6页/共29页2023/3/18 22:57:47一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型一阶条件：一阶条件：或或解得：解得：正规方程正规方程组（组（Nomalequations)计量经济学第7页/共29页2023/3/18 22:57:47一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型令：令：则：则：普通最小普通最小二乘法的二乘法的离差形式离差形式计量经济学第8页/共29页2023/3/18 22:57:47一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质
7、1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计4.估计量概率分布估计量概率分布u回顾：极大似然法回顾：极大似然法（ML）总体总体极大似然法的基本原理就是：一个事件如果极大似然法的基本原理就是：一个事件如果发生了，则它发生的概率应最大。发生了，则它发生的概率应最大。即：寻求即：寻求 使使计量经济学第9页/共29页2023/3/18 22:57:48一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型u一元线性回归的极大似然估计一元线性回归的极大似然估计（ML）由于由于即概率密度函数（即概率密度函数（PDF）：）：计量经济学第10
8、页/共29页2023/3/18 22:57:48一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型u一元线性回归的极大似然估计一元线性回归的极大似然估计（ML）极大似然函数：极大似然函数：对数极大似然函数：对数极大似然函数：计量经济学第11页/共29页2023/3/18 22:57:49一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型u一元线性回归的极大似然估计一元线性回归的极大似然估计（ML）一阶条件：一阶条件：计量经济学第12页/共29页2023/3/18 22:57:49一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元
9、线性回归模型u一元线性回归的极大似然估计一元线性回归的极大似然估计（ML）解得：解得：结论：结论：在满足一系列基本假设的情况下，模型结构参数在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。的最大或然估计量与普通最小二乘估计量是相同的。计量经济学第13页/共29页2023/3/18 22:57:49一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型 例例 在在上上述述家家庭庭可可支支配配收收入入-消消费费支支出出例例中中，对对于于所所抽抽出出的的一一组组样本数，参数估计的计算可通过下面的表样本数，参数估计的计算可通过下面的表2.2
10、.12.2.1进行。进行。计量经济学第14页/共29页2023/3/18 22:57:50一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型 例例 在在上上述述家家庭庭可可支支配配收收入入-消消费费支支出出例例中中，对对于于所所抽抽出出的的一一组组样本数，参数估计的计算可通过下面的表样本数，参数估计的计算可通过下面的表2.2.12.2.1进行。进行。因此，由该样本估计的回归方程为：因此，由该样本估计的回归方程为：计量经济学第15页/共29页2023/3/18 22:57:50一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性
11、质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计4.估计量概率分布估计量概率分布u考考察察总总体体的的估估计计量量，可可从从如如下下几几个个方方面面考察其优劣性：考察其优劣性：l线线性性性性(linearity)(linearity)，即即它它是是否否是是另另一一随随机机变量的线性函数变量的线性函数l无无偏偏性性(unbiased(unbiased estimation estimation)，即即它它的的均均值或期望值是否等于总体的真实值值或期望值是否等于总体的真实值l有有效效性性(efficient(efficient estimati
12、on)estimation)，即即它它是是否否在在所有线性无偏估计量中具有最小方差所有线性无偏估计量中具有最小方差这这三三个个准准则则也也称称作作估估计计量量的的小小样样本本性性质质。拥拥有有这这类类性性质质的的估估计计量量称称为为最最佳佳线线性性无无偏偏估估计计量（量（the best linear unbiased estimator,BLUE）计量经济学第16页/共29页2023/3/18 22:57:51一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计
13、极大似然估计4.估计量概率分布估计量概率分布u当当不不满满足足小小样样本本性性质质时时，需需进进一一步步考考察察估计量的大样本或渐近性质估计量的大样本或渐近性质l渐渐近近无无偏偏性性，即即样样本本容容量量趋趋于于无无穷穷大大时时，是否它的均值序列趋于总体真值是否它的均值序列趋于总体真值l一一致致性性，即即样样本本容容量量趋趋于于无无穷穷大大时时，它它是否依概率收敛于总体的真值是否依概率收敛于总体的真值l渐渐近近有有效效性性，即即样样本本容容量量趋趋于于无无穷穷大大时时，是是否否它它在在所所有有的的一一致致估估计计量量中中具具有有最最小小的的渐近方差渐近方差计量经济学第17页/共29页2023/
14、3/18 22:57:51一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型u线性性线性性(linearity)(linearity)，即它是否是另一随机变量的线性函数，即它是否是另一随机变量的线性函数证明：证明：令：令：得：得：计量经济学第18页/共29页2023/3/18 22:57:51一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型u无无偏偏性性(unbiased(unbiased estimation estimation)，即即它它的的均均值值或或期期望望值值是是否否等等于总体的真实值于总体的真实值证明：证明：由于：由于：故：故
15、：同理：同理：计量经济学第19页/共29页2023/3/18 22:57:52一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型u有有效效性性(efficient(efficient estimation)estimation)，即即它它是是否否在在所所有有线线性性无无偏偏估估计计量中具有最小方差量中具有最小方差证明：证明：（1 1）先求）先求 和和 的方差的方差计量经济学第20页/共29页2023/3/18 22:57:52一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型u有有效效性性(efficient(efficient estima
16、tion)estimation)，即即它它是是否否在在所所有有线线性性无无偏偏估估计计量中具有最小方差量中具有最小方差证明：证明：（1 1）先求）先求 和和 的方差的方差计量经济学第21页/共29页2023/3/18 22:57:52一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型证明：证明：（2 2）证明方差最小性）证明方差最小性假设假设 是其他估计方法得到的关于是其他估计方法得到的关于 的线性无偏估计量的线性无偏估计量:要保证要保证 是是 的无偏估计量，要求：的无偏估计量，要求：计量经济学第22页/共29页2023/3/18 22:57:52一元线性回归模型的参
17、数估计一元线性回归模型的参数估计第二章 一元线性回归模型证明：证明：（2 2）证明方差最小性）证明方差最小性为使为使 最小最小,唯有唯有此时此时 ,因此因此 计量经济学第23页/共29页2023/3/18 22:57:53一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计4.估计量概率分布估计量概率分布u高高斯斯-马马尔尔可可夫夫定定理理（Gauss-markov)theorem)在给定经典线性回归假设下，普通最在给定经典线性回归假设下，普通最小二乘
18、估计量（小二乘估计量（ordinary least squares estimators)具有线性性、无偏性和最小具有线性性、无偏性和最小方差性等优良性质，是最佳线性无偏估方差性等优良性质，是最佳线性无偏估计量。计量。计量经济学第24页/共29页2023/3/18 22:57:53一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计4.估计量概率分布估计量概率分布u参数估计量的概率分布参数估计量的概率分布普通最小二乘估计量普通最小二乘估计量 、分别是分
19、别是 的线性的线性组合；因此组合；因此 、的概率分布取决于的概率分布取决于 的分布。的分布。在在 服从正态分布的假设条件下，服从正态分布的假设条件下，服从正态服从正态分布，另外，分布，另外，非自相关，因此非自相关，因此 之间也不之间也不相关。相关。计量经济学第25页/共29页2023/3/18 22:57:54一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计4.估计量概率分布估计量概率分布u随机误差项的方差估计随机误差项的方差估计由于由于 和和 的
20、方差中都含有未知参数的方差中都含有未知参数 ，要想知道要想知道 和和 的分布，就必须知道的分布，就必须知道 的值，因此对的值，因此对 的估计就显得极其重要。的估计就显得极其重要。可以证明可以证明:的的OLS估计量是：估计量是：计量经济学第26页/共29页2023/3/18 22:57:54一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计4.估计量概率分布估计量概率分布u 极大似然估计极大似然估计对数似然函数为：对数似然函数为：一阶条件：一阶条件：解
21、得：解得：计量经济学第27页/共29页2023/3/18 22:57:54一元线性回归模型的参数估计一元线性回归模型的参数估计第二章 一元线性回归模型4.OLS估计量性质估计量性质1.模型的基本假设模型的基本假设2.参数的参数的OLS估计估计3.极大似然估计极大似然估计4.估计量概率分布估计量概率分布u 估估计计出出 后后，可可以以得得到到 和和 的的方方差差和标准差和标准差l 的样本方差：的样本方差：l 的样本标准差：的样本标准差：l 的样本方差：的样本方差：l 的样本标准差：的样本标准差：计量经济学第28页/共29页2023/3/18 22:57:55吉林大学军需科技学院谢谢您的观看！第29页/共29页