《最新双变量回归模型估计问题 (2)精品课件.ppt》由会员分享，可在线阅读，更多相关《最新双变量回归模型估计问题 (2)精品课件.ppt（49页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、3.1 method of ordinary least squares 普通最小二乘法-德国 C.F.Gauss12iiiYXu回顾双变量PRF：无法直接观测到 我们可通过SRF去估计它：12iiiiiYXuYu3.1 method of ordinary least squares 估计量的数值性质 是指运用OLS方法而得以成立的性质，不管数据是怎样产生的。 估计量的统计性质 仅在数据产生的方式满足一定的假设下才得以成立的性质。3.1 method of ordinary least squares OLS估计量是纯粹由可观测的样本表达的，易于计算。 OLS estimator 是点估计量
2、 point estimator 后续将介绍 区间估计量，即对未知的总体参数的可能值提供一个范围。 一旦从样本数据得到OLS估计值，便容易画出样本回归线。3.1 method of ordinary least squares 回归线的一些性质： 它通过Y和X的样本均值。 估计的Y的均值等于实测的Y的均值 残差 的均值为零 残差 和预测的Y值不相关 残差 和X值不相关iuiuiu数值性质YXY YXY12iiYXYXSRF性质1的说明性质2的说明12222iiiiYXYXXYXXYY性质3的说明1220iiYX在求解最小化问题时，微分得到20iu性质4的说明由性质3，5直接可得。性质5的说明1
3、220iiiYXX在求解最小化问题时，微分得到20iiu X3.2 CLRM:OLS的基本假定 假定 1：线性回归模型。 即回归模型在参数上是线性的，这是CLRM 的起点，全书将保持这种线性性假定。 假定2：在重复抽样中，X值是固定的，非随机的。 这个假定的根本意思就是，我们的回归分析是条件回归分析，以给定的解释变量x 值为条件。3.2 CLRM:OLS的基本假定 假定 3：干扰项具有零均值。|0iiE uX12(|)iiiE YXXYXY YXY12|iiE Y XXiuPRF条件均值iuX1X2X3X4iuiu3.2 CLRM:OLS的基本假定 假定 4：干扰项具有同方差（Homosced
4、asticity）2var|iiuX2var|iiY X条件方差2Y无条件方差X1X2X3 f uY2var|iiuXX1X2X3 f uY2var|iiiuX3.2 CLRM:OLS的基本假定 假定 5：干扰项之间不存在自相关（No autocorrelation between the disturbances）。 给定任意两个 X 值，对应的两个干扰项之间的相关（correlation）等于0。cov,|,0ijiju uX Xiuiuiuiuiuiuiuiuiuiuiuiuiuiuiuiuiuiuiuiuiuiucov,|,0ijiju uX X3.2 CLRM:OLS的基本假定 假定
5、 6： ui和Xi 之间的协方差等于0。cov,0iiu X3.2 CLRM:OLS的基本假定 假定 7：观察值的个数n 必须大于要估计的参数的个数。 假定 8：X 值的变化必须足够大。3.2 CLRM:OLS的基本假定 假定 9：回归模型正确设定 设定偏误 Specification bias or error12121iiiiiiYXuYuX 12iE YX货币工资变化率失业率 121iE YX3.2 CLRM:OLS的基本假定假定 10：不存在多重共线性（multicollinearity）。也就是说，在解释变量之间不存在完全的线性关系。这实际上是多元回归中的假定。这里先提一下。3.3最
6、小二乘估计的精度或标准误差 Var 代表方差，se 代表标准误，222var()ix22()isex2212var()iiXnx212()iiXsenx 222iun上述公式，除方差外，都有数据，那么方差如何计算？22OLS2RSSinu2其中是真正的但未知的的估计量，是自由度，是残差平方和。 22iunstandard error of the estimate估计的标准误 的特点 1、 的方差与 成正比，与 成反比。 2、 的方差与 成正比， 与 , n 成反比。 3、由于 和 是估计量，它们是互相依赖的。12var(), var()222ix2iX1222ix1122cov(,)var(
7、)X 3.4 最小二乘估计量的性质：高斯马尔科夫定理 Gauss-Markov Theorem: Given the assumptions of the classical linear regression model, the least-squares estimators, in the class of unbiased linear estimators, have minimum variance, that is, they are BLUE.最优线性无偏估计量（best linear unbiased estimator, BLUE），即：1. It is linear.2
8、. It is unbiased.3. It has minimum variance in the class of all such linear unbiased estimators; an unbiased estimator with the least variance is known as an efficient estimator. 22222()E22()E22 3.5 判定系数r2 :拟合优度的一个度量 样本回归线 样本点全部落在SRL上？太完美了 必然有正负的残差 我们希望这些围绕在回归线的残差尽可能小。 判定系数r2就是告诉我们这条回归线对数据拟合的到底好不好的一
9、个度量。 YXYXYXYXYXYX iiiYYuiiiyyu222222222 2iiiiiiiiiyyuyuyuxuTSSESSRSSXY 12SRF:iiYXYXiXiYiYYiYYiuiY TSS=ESS+RSS2222ESSRSS1=+TSSTSS+iiiiYYuYYYY222ESS=TSSiiYYrYY222RSS11TSSiiurYY 定义： 3.5 判定系数r2 如上定义的r2，我们称之为判定系数。 它是对回归线拟合优度最为常用的度量 r2测度了在Y的总变异中由回归模型解释的那个部分所占的比例或百分比。 r2 的两个性质：1、非负；2、0 r2 1。 2222222222222E
10、SS=TSSiiiiiiiiYYrYYyxyyxyr2的快捷计算公式 2222222222222222222211iiiiiiixiiyiiiixxnryynx yxSxySx yxy r2的快捷计算公式22222ESSTSS=RSS=(1)iirryry22222=(1)iiiyryryTSS=ESS+RSS 22iiiix yrxy 一个与判定系数r2 紧密相关但是概念上却不同的统计量是样本相关系数r（coefficient of correlation），它用来测量两个变量之间的（线性）相关程度。样本相关系数 它可正可负它可正可负 -1r 1 具有对称性具有对称性 与原点尺度无关与原点尺度无关 独立与零相关独立与零相关 线性关联的度量，不一定有因果关系。线性关联的度量，不一定有因果关系。 2222222iiiiiiiiYYYYrYYYYy yyy