计量经济学讲义第一讲(共十讲).doc

\\ 第一讲 普通最小二乘法的代数 一、 问题 假定y与x具有近似的线性关系：，其中是随机误差项。我们对这两个参数的值一无所知。我们的任务是利用样本数据去猜测的取值。现在，我们手中就有一个样本容量为N的样本，其观测值是：。问题是，如何利用该样本来猜测的取值？ 为了回答上述问题，我们可以首先画出这些观察值的散点图（横轴x，纵轴y）。既然y与x具有近似的线性关系，那么我们就在图中拟合一条直线：。该直线是对y与x的真实关系的近似，而分别是对的猜测（估计）。问题是，如何确定与，以使我们的猜测看起来是合理的呢？ 笔记： 1、为什么要假定y与x的关系是呢？一种合理的解释是，某一经济学理论认为x与y具有线性的因果关系。该理论在讨论x与y的关系时认为影响y的其他因素是不重要的，这些因素对y的影响即为模型中的误差项。 2、被称为总体回归模型。由该模型有：。既然代表其他不重要因素对y的影响，因此标准假定是：。故进而有：，这被称为总体回归方程（函数），而相应地被称为样本回归方程。由样本回归方程确定的与是有差异的，被称为残差。进而有：，这被称为样本回归模型。 二、 两种思考方法 法一： 与是N维空间的两点，与的选择应该是这两点的距离最短。这可以归结为求解一个数学问题： 由于是残差的定义，因此上述获得与的方法即是与的值应该使残差平方和最小。 法二： 给定，看起来与越近越好（最近距离是0）。然而，当你选择拟合直线使得与是相当近的时候，与的距离也许变远了，因此存在一个权衡。一种简单的权衡方式是，给定，拟合直线的选择应该使与、与、...、与的距离的平均值是最小的。距离是一个绝对值，数学处理较为麻烦，因此，我们把第二种思考方法转化求解数学问题： 由于N为常数，因此法一与法二对于求解与的值是无差异的。 三、 求解 定义，利用一阶条件，有： 由（1）也有： 在这里、 笔记： 这表明：1、样本回归函数过点，即穿过数据集的中心位置；2、（你能证明吗？），这意味着，尽管的取值不能保证，但的取值能够保证的平均值与的平均值相等；3、虽然不能保证每一个残差都为0，但我们可以保证残差的平均值为0。从直觉上看，作为对的一个良好的猜测，它们应该满足这样的性质。 笔记： 对于简单线性回归模型：，在OLS法下，由正规方程（1）可知，残差之和为零【注意：只有拟合直线带有截距时才存在正规方程（1）】。由正规方程（2），并结合正规方程（1）有： 无论用何种估计方法，我们都希望残差所包含的信息价值很小，如果残差还含有大量的信息价值，那么该估计方法是需要改进的！对模型利用OLS，我们能保证（1）：残差均值为零；（2）残差与解释变量x不相关【一个变量与另一个变量相关是一个重要的信息】。 方程（1）与（2）被称为正规方程，把带入（2），有： 上述获得的方法就是普通最小二乘法（OLS）。 练习： （1）验证： 提示：定义的离差为，则离差之和必为零。利用这个简单的代数性质，不难得到： 笔记： 定义y与x的样本协方差、x的样本方差分别为： ， 则。 上述定义的样本协方差及其样本方差分别是对总体协方差及其总体方差的有偏估计。相应的无偏估计是： 基于前述对与的定义，可以验证： 其中a，b是常数。值得指出的是，在本讲义中，在没有引起混淆的情况下，我们有时也用、来表示总体方差与协方差，不过上述公式同样成立。 （2）假定，用OLS法拟合一个过原点的直线：，求证在OLS法下有： 并验证： 笔记： 1、现在只有一个正规方程，该正规方程同样表明。然而，由于模型无截距，因此在OLS法下我们不能保证恒成立。所以，尽管成立，但现在该式并不意味着成立。 2、无截距回归公式的一个应用： 定义、、，则。按照OLS无截距回归公式，有： （3）假定，用OLS法拟合一水平直线，即：，求证。 笔记： 证明上式有两种思路，一种思路是求解一个最优化问题，我们所获得的一个正规方程同样是；另外一种思路是，模型是模型的特例，利用的结论，注意到此时，因此同样有。 （4）对模型进OLS估计，证明残差与样本不相关，即。 四、 拟合程度的判断 （一）方差分解及其R2的定义 可以证明，。 证明： 方差表示一个变量波动的信息。方差分解亦是信息分解。建立样本回归函数时，从直觉上看，我们当然希望关于的波动信息能够最大程度地体现关于的波动信息。因此，我们定义判定系数，显然，。如果R2大，则的波动信息就越能够被的波动信息所体现。R2也被称为拟合优度。当时，，而残差均值又为零，因此着各残差必都为零，故样本回归直线与样本数据完全拟合。 （二）总平方和、解释平方和与残差平方和 定义： 其中TSS、ESS、RSS分别被称为总平方和、解释平方和与残差平方和。根据方差分解，必有：TSS=ESS+RSS。因此， （三）关于R2的基本结论 1、R2也是与的样本相关系数r的平方。 证明： 2、对于简单线性回归模型：， R2是y与x的样本相关系数的平方。 证明： 练习： （1）对于模型：，证明在OLS法下R2=0。 （2）对于模型：，证明在OLS法 警告！ 软件包通常是利用公式，其中来计算R2。应该注意到，我们在得到结论 时利用了的性质，而该性质只有在拟合直线带有截距时才成立，因此，如果拟合直线无截距，则上述结论并不一定成立，因此，此时我们不能保证R2为一非负值。总而言之，在利用R2时，我们的模型一定要带有截距。当然，还有一个大前提，即我们所采用的估计方法是OLS。 五、 自由度与调整的R2 如果在模型中增加解释变量，那么总的平方和不变，但残差平方和至少不会增加，一般是减少的。为什么呢？举一个例子。假如我们用OLS法得到的模型估计结果是：， 此时，OLS法估计等价于求解最小化问题： 令最后所获得的目标函数值（也就是残差平方和）为RSS1。现在考虑对该优化问题施加约束：并求解，则得到目标函数值RSS2。 比较上述两种情况，相对于RSS1， RSS2是局部最小。因此，RSS1小于或等于RSS2。应该注意到，原优化问题施加约束后对应于模型估计结果： 因此，如果单纯依据R2标准，我们应该增加解释变量以使模型拟合得更好。增加解释变量将增加待估计的参数，在样本容量有限的情况下，这并不一定是明智之举。这涉及到自由度问题。 什么叫自由度？假设变量x可以自由地取N个值，那么x的自由度就是N。然而，如果施加一个约束，，为常数，那么x的自由度就减少了，新的自由度就是N-1。 考虑在样本回归直线下残差的自由度问题。对残差有多少约束？根据正规方程（1）（2），有：，因此存在两个约束。故残差的自由度是N-2。如果当样本回归函数是： ，则残差的自由度为N-3。显然，待估计的参数越多，则残差的自由度越小。 自由度过少会带来什么问题？简单来说，自由度过少会使估计精度很低。例如，我们从总体中随机抽取来计算以作总体均值的估计，现在x的自由度是N，显然N越大则以作为总体均值的估计越精确。 根据正规方程，我们是通过残差来获得对参数的估计，因此，残差自由度过少意味着我们对参数的估计也是不精确的。 笔记： 举一个极端的例子，对简单线性回归模型，假定我们只有两次观测、。显然，我们可以保证R2=1，即完全拟合。但我们得到的这个拟合直线很可能与y与x的真实关系相去甚远，毕竟我们只有两次观测。事实上，此时残差的自由度为0！ 我们经常需要对估计方法进行自由度调整。 例如，当利用公式来估计总体方差时，我们实际上是对变量求样本均值。然而应该注意到，约束条件恒成立，这意味着变量的自由度是N-1而不是N。现在对估计方法进行自由度调整，利用作为对总体方差的估计。上述两种估计具有什么不同的后果呢？可以证明， 是有偏估计而是无偏估计。 笔记： 什么叫有偏估计？如果我们无限次重复抽取样本容量为N的样本，针对每一个样本都可以依据公式计算总体方差的一个估计值。然后，对这些方差的估计值计算平均值，如果该平均值不等于总体方差，那么我们就称是对总体方差的一个有偏估计。抽象一点，即。 R2忽视了自由度调整，这由下面的推导可以看出： 在这里，与都是对相应总体方差的有偏估计。现在我们对自由度作调整，重新定义一个指标，即所谓的调整的R2（）： 应该注意到，如果是针对多元线性回归模型，待估计的斜率参数有k个，另外还有1个截距（即总的待估计系数参数的个数为k+1个），那么上述公式就是： ,且可能为负数。 思考题： 如果用增加解释变量的方法来提高R2，这一定会提高吗？ 笔记： 假设甲同学的回归结果是，而乙同学的回归结果是。甲同学足够幸运，他获得的确实比乙同学所获得的高，但这是否就意味着，依据已有的样本，甲同学所选取的模型就一定优于乙同学所选取的呢？答案是“不一定！”。对模型的选取不能仅仅依靠这个指标，其他的因素应该被考虑，例如，模型是否符合经济学理论，估计参数是否有符合预期的符号，这些因素在模型选择时都十分重要。另外一点也特别要引起重视，即被解释变量不同的模型（例如一个模型的被解释变量是，而另一个模型其被解释变量是）其（或者）是不可比的。总而言之，初学者要坚决抵制仅仅依靠来进行模型选择的诱惑！ 六、 简单线性回归模型的拓展：多元线性回归模型 考虑，各系数的估计按照OLS是求解数学问题： 因此，存在三个正规方程： 第一个方程意味着残差之和为零，也意味着及其 笔记： 第一个正规方程可以被改写为。 第二个方程结合第一个正规方程意味着残差与x1样本不相关； 第三个方程结合第一个正规方程意味着残差与x2样本不相关。 根据上述三个方程，可以获得、、，在此不给出具体公式。 笔记： 对于估计结果，是不是的数值大于就一定意味着在解释变量时比更加重要呢？答案是“不一定！”。这是因为，通过对与取不同的测量单位，那么与前面的估计系数值将发生改变。有一种办法可以使估计系数不随解释变量的测度单位变化而变化，其基本原理如下： 在这里表示变量的样本标准差。定义： 则有：。 在新模型中，解释变量是原变量的标准化，它是无量纲的。保持其他因素不变，当时，。注意到，当样本容量很大时与分别和总体均值及其总体标准差近似，因此。类似，。意味着，因此对的一个翻译是，保持其他因素不变，当变化一个标准差时，约将变化个标准差。类似可以对进行翻译。 被称为标准化系数或者系数。在实践中，我们可以先利用标准化变量进行无截距回归得到标准化系数，然后反推出非标准化变量回归模型中的各个斜率系数的估计值。 七、 OLS的矩阵代数 （一）矩阵表示 总体多元回归模型是： 如果用矩阵来描述，首先定义下列向量与矩阵： 模型的矩阵表示： （二）如何得到OLS估计量？ 求解一个最小化问题：，有： 而根据矩阵微分的知识(见下面的笔记)，有： 故，，则 笔记： 1、。在这里，是向量，是对称矩阵，与都是标量。重要规则是：一个标量关于一个列向量的导数仍是列向量，并且维数保持不变。 2、矩阵微分规则与标准的微积分学中的微分规则具有一定的对应性。假定，则。注意到：，在这里之所以要取转置，是因为按照规则：一个标量关于一个列向量的导数仍是列向量，而是一个行向量。 注意，为了保证的存在，OLS法假设X列满秩，即解释变量不是完全共线的【应该注意，截距对应的解释变量取值恒为1】。 笔记： 1、为什么假设列满秩？是矩阵。为了保证的存在，那么。基于矩阵知识点：，因此这也要求。是矩阵，因此列满秩。 2、对于模型：，如果恒成立，则X不是列满秩的，因此不存在，故无法估计。换一种思路考虑：如果恒成立，则由可以推出： 其中a为任意常数。故此时我们无法对加以识别。 在研究简单线性回归模型时，我们似乎并没有关注解释变量完全共线问题。是不是“解释变量不能完全共线”仅仅是多元线性回归模型的标准假定呢？其实不然。考虑简单线性回归模型的矩阵表示： 如果X列满秩，这意味着，其中为常数，从而。注意到，而正是我们所要求的！ 思考题： 对于模型，如果我们只有2个观测值，我们能够得到吗？