《高级计量经济学线性回归模型扩展课件.ppt》由会员分享，可在线阅读，更多相关《高级计量经济学线性回归模型扩展课件.ppt（143页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第3章章 线性回归模型扩展线性回归模型扩展非线性模型基础非线性模型基础虚拟变量回归虚拟变量回归 变量标准化回归变量标准化回归学学案例分析案例分析 第一第一节 非非线性模型基性模型基础非线性模型的基本假定非线性模型的基本假定 非线性模型的参数估计非线性模型的参数估计 迭代算法的初值和收敛性迭代算法的初值和收敛性 非线性回归评价和假设检验非线性回归评价和假设检验 3.1.1非非线线性模型的基本假定性模型的基本假定 v非非线性回性回归分析是分析是线性回性回归分析的分析的扩展，也是展，也是传统计量量经济学的学的结构模型分析法。由于非构模型分析法。由于非线性回性回归的参数估的参数估计涉及非涉及非线性性
2、优化化问题，计算比算比较困困难，推断和，推断和预测的可靠性也要差一些，因此的可靠性也要差一些，因此传统计量量经济学学较少研究非少研究非线性回性回归。v20世世纪七八十年代以来，随着七八十年代以来，随着计算机技算机技术的的发展，展，非非线性回性回归的参数估的参数估计计算困算困难得到了克服，得到了克服，统计推断和推断和预测分析技分析技术也有很大也有很大发展。展。这些方面些方面的的变化使得非化使得非线性回性回归分析开始受到更多的重分析开始受到更多的重视，现在已在已经成成为计量量经济研究的研究的热点之一，基本形点之一，基本形成了与成了与线性回性回归分析相分析相对应的、比的、比较完整的回完整的回归分析和
3、分析和检验预测分析方法体系。分析方法体系。v此外，此外，计量量经济分析者分析者经常会忽略随机常会忽略随机误差差项的的作用方式作用方式问题，但，但实际上非上非线性模型的性模型的转换不不仅涉及到涉及到趋势性部分，也涉及随机性部分，也涉及随机误差部分，因此差部分，因此误差差项的作用方式的作用方式对于非于非线性模型的性模型的转化是非常化是非常重要的。有些非重要的。有些非线性关系就是因性关系就是因为误差差项是可加是可加而不是可乘的，从而而不是可乘的，从而导致不能利用致不能利用对数数变换进行行转化。例如，若常化。例如，若常见的柯布的柯布道格拉斯生道格拉斯生产函数函数中的随机中的随机误差差项是可加而不是可乘
4、的，即：是可加而不是可乘的，即：（3.2）式中式中,A,为未知参数，未知参数，为随机随机误差差项。则该模型就不能通模型就不能通过初等数学初等数学变换转化化为线性模型。性模型。v上述两种情况具有相当普遍的意上述两种情况具有相当普遍的意义，许多非多非线性性变量关系量关系都是因都是因为函数形式比函数形式比较复复杂，未知参数数量，未知参数数量较多且位置不多且位置不理想，或者随机理想，或者随机误差因素的作用方式不利，在非差因素的作用方式不利，在非线性性变量量关系上有加性的随机关系上有加性的随机扰动项，从而无法构造通，从而无法构造通过初等数学初等数学变换可以可以转化化为线性模型的非性模型的非线性模型。性模
5、型。对于于这些无法通些无法通过初等数学初等数学变换转化化为线性回性回归模型的非模型的非线性性经济变量关量关系，必系，必须直接用非直接用非线性性变量关系量关系进行分析。行分析。v 更更进一步一步说，即使非，即使非线性性变量关系可以通量关系可以通过初等数学初等数学变换转化化为线性模型，也可能造成模型随机性模型，也可能造成模型随机误差差项性性质的改的改变，如同方差性，如同方差性质不再成立等。不再成立等。对于于这种情况，常常也是种情况，常常也是直接作直接作为非非线性模型性模型进行分析比行分析比较有利。有利。v 虽然非然非线性模型在函数形式和参数位置等方面与性模型在函数形式和参数位置等方面与线性模性模型
6、有明型有明显差异，但它差异，但它们在代表在代表经济现象和数据背后的内在象和数据背后的内在规律性律性这一点上并没有很大的差一点上并没有很大的差别，因此非，因此非线性模型性模型计量量经济分析的基本思路与分析的基本思路与线性模型是相似的，仍然可以以回性模型是相似的，仍然可以以回归分析分析为基基础理理论。v也就是也就是说，仍然是在，仍然是在认定生成定生成经济数据的客数据的客观规律存在，律存在，经济现象是象是这些些规律表律表现形式的基形式的基础上，根据上，根据经济数据推数据推断生成它断生成它们的客的客观经济规律。具体来律。具体来说，就是确定非，就是确定非线性性模型的函数形式和估模型的函数形式和估计模型中
7、未知参数的数模型中未知参数的数值。因此，非。因此，非线性性计量量经济分析也称分析也称为“非非线性回性回归分析分析”，这是本章重是本章重点介点介绍的内容之一。的内容之一。v单方程非方程非线性性计量量经济模型的一般形式可以用下模型的一般形式可以用下列随机函数表示，即：列随机函数表示，即：（3.3）式中，式中，是模型的个解是模型的个解释变量，量，是是个未知参数；函数个未知参数；函数f是一个非是一个非线性函数，通常性函数，通常p大大于于k；是模型的随机是模型的随机误差差项。（。（3.3）式有矩）式有矩阵表示表示为 （3.4）v（3.3）和（）和（3.4）式表明，非）式表明，非线性模型同性模型同样也是也
8、是由确定性由确定性变量关系表示的量关系表示的趋势性部分和随机性部分和随机误差差项两个部分两个部分组成。成。v与与线线性模型相似，性模型相似，为为了保了保证证非非线线性回性回归归分析的价分析的价值值及分析工作的及分析工作的顺顺利利进进行等，也需要行等，也需要对对非非线线性回性回归归模型作一些基本假模型作一些基本假设设。非。非线线性模型关于模型函性模型关于模型函数形式和参数的假数形式和参数的假设设与与线线性模型相似，第一条假性模型相似，第一条假设设是模型具有上述非是模型具有上述非线线性的函数形式，关于随机性的函数形式，关于随机误误差差项项的假的假设设也是也是满满足足 ，而且也可以要求服从正，而且也
9、可以要求服从正态态分布，即分布，即 。，。v如果把非如果把非线性最小二乘估性最小二乘估计量量记为，那么非，那么非线性性最小二乘估最小二乘估计就是求符合如下残差平方和就是求符合如下残差平方和 （3.5）达到极小的达到极小的 值，即，即为 。为了了方便起方便起见，我，我们在下面的在下面的讨论中将把上述最中将把上述最优化化问题的目的目标函数函数 称称为“最小二乘函数最小二乘函数”。v当模型只有一个待估当模型只有一个待估计参数参数时，最小二乘函数是，最小二乘函数是模型唯一参数的一元函数；当待估模型唯一参数的一元函数；当待估计参数有多个参数有多个时，则是参数向量是参数向量 的向量函数。的向量函数。一、格
10、点搜索法一、格点搜索法v比直接搜索法效率更高，适用于参数的取比直接搜索法效率更高，适用于参数的取值值范范围围是是连续连续区区间间（区域）的一种搜索方法是（区域）的一种搜索方法是“格点搜索格点搜索法法”。格点搜索法不是。格点搜索法不是简单简单地把所有可能的参数水地把所有可能的参数水平平组组合都代入最小二乘函数合都代入最小二乘函数 中，来中，来计计算函数算函数值值，而是根据某种，而是根据某种规则选择规则选择部分参数水平（或部分参数水平（或组组合）代入最小二乘函数合）代入最小二乘函数进进行行试试算。算。v以只有一个参数以只有一个参数 的非的非线线性回性回归为归为例。例。为为了找出了找出使最小二乘函数
11、使最小二乘函数S取最小取最小值值的参数水平的参数水平 ，我，我们们可以运用下列方法可以运用下列方法进进行搜索：行搜索：v首先，把参数首先，把参数 的可能取的可能取值值区区间间a,b分分为为10等等分，它分，它们们的端点分的端点分别为别为a,a+0.1(b-a),a+0.2(b-a),a+0.9(b-a),b把把这这些端些端点坐点坐标标分分别别代入最小二乘函数算出函数代入最小二乘函数算出函数值值，找出，找出上述所有端点坐上述所有端点坐标标中使中使S取得最小取得最小值值的一个，的一个，设设为为 。v根据上述思路不根据上述思路不难发现，当非，当非线性模型的最小二乘函数在性模型的最小二乘函数在所考所考
12、虑的参数估的参数估计值范范围a,b内，是参数内，是参数 的的严格凸函格凸函数数时，上述搜索方法是有效的，会很快收，上述搜索方法是有效的，会很快收敛，找到基本符，找到基本符合最小二乘要求的参数估合最小二乘要求的参数估计值。而且每步。而且每步计算的函数算的函数值只只有有10个左右。如果通个左右。如果通过三五次反复三五次反复细分格点就能得到收分格点就能得到收敛结果（果（这在大多数情况下都能成立），那么最多只需要在大多数情况下都能成立），那么最多只需要计算几十个函数算几十个函数值，计算工作量不算很大。当然，如果最算工作量不算很大。当然，如果最小二乘函数的情况比小二乘函数的情况比较复复杂，不是，不是严格
13、凸函数格凸函数时，则上述上述搜索方法的有效性不一定有保搜索方法的有效性不一定有保证。因。因为此此时往往没有唯一往往没有唯一的极点和最的极点和最优点，不能保点，不能保证搜索一定会收搜索一定会收敛，或一定会收，或一定会收敛到整体最小到整体最小值。v上述方法很容易推广到两个或更多参数的情况。上述方法很容易推广到两个或更多参数的情况。v以两个参数以两个参数 的情况的情况为例，格点搜索法如例，格点搜索法如下：先把下：先把 和和 两个参数的取两个参数的取值范范围都做都做10等等分，分，这样我我们就得到了如就得到了如图4.1所示的所示的许多格点。多格点。把把这些格点坐些格点坐标参数水平代入最小二乘函数，参数
14、水平代入最小二乘函数，计算出相算出相应的函数的函数值，找出其中取得最小函数，找出其中取得最小函数值的的一一组参数水平，假参数水平，假设为图4.1中中 点。可再点。可再把把围绕 的周的周围4个小格构成的区域两个小格构成的区域两边各作各作10等分形成更小的格点，再把等分形成更小的格点，再把这些格点的坐些格点的坐标代入最小二乘函数代入最小二乘函数计算函数算函数值，再找出上述格点，再找出上述格点坐坐标中使最小二乘函数取最小中使最小二乘函数取最小值的点的点 。v上述步上述步骤骤可以反复可以反复进进行，直至达到需要的精度或行，直至达到需要的精度或收收敛标敛标准，最后得到的最小二乘函数最小准，最后得到的最小
15、二乘函数最小值值的格的格点坐点坐标标就是要找的参数估就是要找的参数估计值计值。v一般来一般来说说，格点搜索法也主要适用于参数个数，格点搜索法也主要适用于参数个数较较少和最小二乘函数是少和最小二乘函数是严严格凸函数的情况。当参数格凸函数的情况。当参数个数更多个数更多时时，需要搜索的格点数量会增加得很快。，需要搜索的格点数量会增加得很快。对对于有多个极于有多个极值值点的比点的比较较复复杂杂的最小二乘函数，的最小二乘函数，格点搜索法更不一定能格点搜索法更不一定能顺顺利找到最小二乘函数的利找到最小二乘函数的解。解。二、最陡爬坡法二、最陡爬坡法 v最陡爬坡法是常用的非最陡爬坡法是常用的非线线性最性最优优
16、化数化数值值方法之一。方法之一。最陡爬坡法的基本思路是：从一个初始参数最陡爬坡法的基本思路是：从一个初始参数值值出出发发，在一个，在一个给给定半径的定半径的圆圆周上找目周上找目标标函数最大函数最大（或最小）的一（或最小）的一组组参数参数值值，然后再以，然后再以该组该组参数参数值值为为出出发发点重复上述搜索点重复上述搜索过过程，直至收程，直至收敛敛。v设设需要估需要估计计的仍然是最小二乘函数的仍然是最小二乘函数 中的参数中的参数向量向量 ，那么最陡爬坡法就是先以某种，那么最陡爬坡法就是先以某种规则规则、方法，或者任意方法，或者任意设设定参数向量的一个初始估定参数向量的一个初始估计计 ，然后根据某
17、种，然后根据某种规则给规则给定一个搜索半径，找出在定一个搜索半径，找出在这这个搜索半径上个搜索半径上对对 的一个最的一个最优优改改进进作作为为 。这这意味着在意味着在满满足足 与与 之之间间距离固定的距离固定的约约束条件下，求使束条件下，求使 取最小取最小值值的的 。v表示表示为在条件在条件 （3.6）下，使得下，使得 （3.7）其中，其中，k为常数。常数。v求求这个个约束最小束最小值问题的解需要构造拉格朗日函数，即的解需要构造拉格朗日函数，即 （3.8）式中，式中，代表拉格朗日乘子。将拉格朗日函数代表拉格朗日乘子。将拉格朗日函数对 求偏求偏导数，并令数，并令为0，得到，得到 （3.9）v上述
18、方法的上述方法的问题问题是因是因为为 是未知的，因此是未知的，因此 无法得到。但是，如果我无法得到。但是，如果我们们每次只是想移每次只是想移动动一小一小步步(取很小的取很小的k)，那么，那么 可以很好地近似可以很好地近似 的的值值。v上述上述过过程程显显然可以反复然可以反复进进行。也就是行。也就是说说，可以把，可以把得到的得到的 作作为为新的新的 ，或新的出，或新的出发发点，再点，再在一个在一个给给定半径的定半径的圆圆周上重新周上重新进进行最行最优优改改进进搜索，搜索，找出目找出目标标函数最小的一函数最小的一组组参数参数值值 ，如此反复，如此反复直到收直到收敛敛。v 收收敛敛性一般有三个判断方
19、法：性一般有三个判断方法：对对于于给给定的收定的收敛标敛标准，准，(1)梯度向量梯度向量 离零向量充分近；离零向量充分近；(2)与与 之之间间距离充分小；距离充分小；(3)与与 之之间间差距充分小。当然差距充分小。当然对对于于给给定步定步长长的的搜索，第（搜索，第（2）条不能）条不能应应用。用。v一般来一般来说说，当函数有唯一的局部极，当函数有唯一的局部极值值的的时时候，从候，从任意初始任意初始值值出出发发都会收都会收敛敛，但当有多个局部极，但当有多个局部极值值时则时则有可能不会收有可能不会收敛敛到整体最大到整体最大值值。因此，在运。因此，在运用用这这种迭代算法种迭代算法时时必必须须要小心。要
20、小心。v当当f是是连续可微可微时，可以在某，可以在某组参数初始参数初始值处作一作一阶泰勒泰勒级数展开，得到数展开，得到f的的线性近似，把性近似，把这个个线性近似函数代入性近似函数代入最小二乘函数得到参数的二次函数，克服参数估最小二乘函数得到参数的二次函数，克服参数估计计算的算的困困难。但一。但一阶泰勒泰勒级数展开得到的近似函数与原函数是有数展开得到的近似函数与原函数是有差异的，用上述差异的，用上述级数展开近似的方法得到的参数估数展开近似的方法得到的参数估计也有也有偏差，偏差程度与泰勒偏差，偏差程度与泰勒级数展开的初始数展开的初始值与参数真与参数真实值的的偏差相关。偏差相关。v提高参数估提高参数
21、估计准确程度的途径是改准确程度的途径是改进泰勒泰勒级数展开的初始数展开的初始值，方法是把已，方法是把已经得到的参数估得到的参数估计作作为新的参数初始新的参数初始值，重新重新进行泰勒行泰勒级数展开和参数估数展开和参数估计。这种方法可以反复运种方法可以反复运用，直到得到比用，直到得到比较理想的参数估理想的参数估计值。这种种计算非算非线性回性回归参数估参数估计的迭代算法称的迭代算法称为“高斯牛高斯牛顿法法”。v在非在非线线性回性回归归分析中，高斯牛分析中，高斯牛顿顿法法实质实质上就是上就是非非线线性模型本身的反复性模型本身的反复线线性化和性化和线线性回性回归归，适用，适用对对象是不能通象是不能通过过
22、初等数学初等数学变换转变换转化化为线为线性模型，性模型，但具有但具有连续连续可微函数性可微函数性质质，可以利用一，可以利用一阶阶泰勒泰勒级级数展开数展开强强制制转换转换成成线线性模型的非性模型的非线线性模型。性模型。v对于非于非线性回性回归模型模型 高斯牛高斯牛顿法参数估法参数估计的具体方法如下：先取一的具体方法如下：先取一组参数参数初始初始值（初始（初始值选择方法后面方法后面讨论），然后把上述非，然后把上述非线性函数在性函数在 处对参数参数 做泰勒做泰勒级数展开，并只取其中的数展开，并只取其中的线性性项而忽略高次而忽略高次项，得，得到到 （3.12）式中式中误差差项 为原模型原模型误差差项
23、与泰勒与泰勒级数展开的数展开的高高阶项之和。整理上述展开式得到之和。整理上述展开式得到 （3.13）v若令若令 （3.15）（3.16）v将（将（3.15）和（）和（3.16）式代入（）式代入（3.13）式，模）式，模型型变为 （3.17）v显然然这是一个是一个M对 的的线性回性回归模型，模型，可以用可以用线性回性回归的最小二乘法估的最小二乘法估计其中参数其中参数 的估的估计值，我，我们记为 。v 把参数估把参数估计值 作作为新的初始新的初始值再次再次进行泰勒行泰勒级数展开，数展开，进行同行同样的的变换和和线性回性回归，得到一得到一组新的参数估新的参数估计值 。由于通常。由于通常 作作为参数初
24、始参数初始值比比带有有较大盲目性的原参数初始大盲目性的原参数初始值与真与真实性的近似程度要好，因此新参数估性的近似程度要好，因此新参数估计值 一般会是一一般会是一组更好的估更好的估计，也就是，也就是说参数估参数估计的精度得到了提高。的精度得到了提高。v反复运用上述方法反复运用上述方法进行行线性化近似和性化近似和线性回性回归，直到参数估直到参数估计值收收敛或或满足我足我们要求的精度，或要求的精度，或者不者不严格地格地说是直到参数估是直到参数估计值不再有大的不再有大的变化。化。我我们把最后得到的把最后得到的 作作为原非原非线性模型的参数估性模型的参数估计。四、牛四、牛顿顿一拉夫森法一拉夫森法v这这
25、种方法可以看作是高斯种方法可以看作是高斯牛牛顿顿法改法改进进方法的非方法的非线线性回性回归归迭代算法，称迭代算法，称为为牛牛顿顿拉夫森法拉夫森法（newtonraphson method）。牛）。牛顿顿拉拉夫森法的基本思想也是利用泰勒夫森法的基本思想也是利用泰勒级级数展开近似，数展开近似，通通过过迭代运算迭代运算寻寻找最小二乘函数最找最小二乘函数最优优解的数解的数值值解解法。不法。不过过牛牛顿顿拉夫森法不是拉夫森法不是对对模型非模型非线线性函数性函数f本身做本身做线线性近似，而是直接性近似，而是直接对对最小二乘函数最最小二乘函数最优优化的一化的一阶阶条件做一条件做一阶阶泰勒泰勒级级数展开近似。
26、数展开近似。v首先首先对单参数情形参数情形进行行讨论，单参数回参数回归模型模型为 （3.18）问题是如何找是如何找 的的值，使得，使得 （3.19）达到最小。达到最小。v在在讨论高斯牛高斯牛顿法法时，是从，是从 在初始在初始值 处的一的一阶泰勒泰勒级数逼近替代数逼近替代 开始的。开始的。v在牛在牛顿拉夫森法中，以拉夫森法中，以 在初始在初始值 处的二的二阶泰泰勒勒级数逼近替代数逼近替代 开始的，即开始的，即 （3.20）令令 并并对（3.20）式，关于）式，关于 求求导，得到，得到 （3.21）v令令这个个导数数为0，并解出，并解出 ，得到，得到 的第一的第一个个值，记为 ，即，即 （3.22
27、）v这里我里我们应该注意，如果注意，如果 是二次的，那么是二次的，那么 确确实是最小平方估是最小平方估计值。在通常的非。在通常的非线性情形中，性情形中，不是不是二次函数，二次函数，这样 也就不是最小也就不是最小值，因，因为（3.22）式）式表示的表示的仅仅是一个近似是一个近似值。继续上述的程序，上述的程序，的第的第n个个值可以表示可以表示为 （3.23）v如果此如果此过程在程在 的意的意义上收上收敛，那么那么 一定一定为真，真，这是取极小是取极小值（或极大（或极大值）的必要条件。然而，在）的必要条件。然而，在实际的中，我的中，我们如何如何知道（知道（3.23）式子是否收）式子是否收敛到极小到极
28、小值，既是得到了极小，既是得到了极小值，又如何知道所求得的极小，又如何知道所求得的极小值是局部是局部还是是总体的。体的。v实际上，如果二上，如果二阶导数数 等于零等于零时，则此此算法将使算法将使 点向极小点向极小值的方向逼近，的方向逼近，为了避免了避免在迭代的在迭代的过程中程中跃过极小极小值，可以引，可以引进一个可一个可变系数系数 来来调整步整步长，这样对（3.23）式）式进行修正，行修正，得到得到 （3.24）v在每一次迭代中，可以求得在每一次迭代中，可以求得 使使 .为了明确极小了明确极小值是局部是局部还是是总体的，必体的，必须试用大用大量不同的初始量不同的初始值。v多参数非多参数非线性模
29、型最小二乘估性模型最小二乘估计方法是相同的。方法是相同的。v设多参数非多参数非线性模型的参数向量性模型的参数向量为 ，参数参数 估估计向量向量为 ，那么非，那么非线性最性最小二乘估小二乘估计的残差平方和的残差平方和为 v以以 在初始在初始值 处的二的二阶泰勒泰勒级数逼近替代数逼近替代 展展 开，即开，即 其中其中（3.25）v最小二乘函数最小二乘函数 的梯度向量的梯度向量为 =v对（3.25）式，关于）式，关于 求求导，得到，得到 （3.26）其中其中 是是 在在 处的二的二阶导数矩数矩阵，为海塞海塞（Hessian）矩）矩阵，即，即v令（令（3.26）式）式为0，并解出，并解出 ，得到，得到
30、 的第一个的第一个值，记为 ，即，即 （3.27）v继续上述的程序，上述的程序，的第的第n个个值可以表示可以表示为 （3.28）v可以可以发现，牛，牛顿拉夫森法的迭代运算，相当于在前一个拉夫森法的迭代运算，相当于在前一个参数估参数估计向量的基向量的基础上，按上，按单位移位移动幅度（通常称幅度（通常称为“步步长”）搜索更好的参数估）搜索更好的参数估计值，因此牛，因此牛顿拉夫森法也是拉夫森法也是一种搜索法。牛一种搜索法。牛顿拉夫森法的拉夫森法的优点是搜索方向和步点是搜索方向和步长的的确定比确定比较科学，因此找到科学，因此找到满足精度要求最足精度要求最优水平的搜索次水平的搜索次数一般要小一些。数一般
31、要小一些。v 牛牛顿顿拉夫森方法的缺点是迭代运算中需要反复拉夫森方法的缺点是迭代运算中需要反复计计算梯度向量，特算梯度向量，特别别是海塞矩是海塞矩阵阵的逆矩的逆矩阵阵，因此，因此计计算工作量很大。事算工作量很大。事实实上，人上，人们们在在实际应实际应用中常用中常常并不按照牛常并不按照牛顿顿一拉夫森法一拉夫森法进进行搜索，而是根据行搜索，而是根据一些一些简单简单法法则则确定搜索的步确定搜索的步长长，如，如“双向双向线线性搜索性搜索法法”就是其中常用的方法之一。就是其中常用的方法之一。3.1.3 迭代算法的初迭代算法的初值值和收和收敛敛性性v 上面我上面我们们所介所介绍绍的泰勒的泰勒级级数展开近似
32、或其他迭代数展开近似或其他迭代运算，都涉及初始运算，都涉及初始值值的的选择选择和迭代收和迭代收敛敛性的性的问题问题。用迭代方法用迭代方法进进行参数估行参数估计时计时，这这两个两个问题问题也也显显得得有有为为重要。重要。一、初始一、初始值问题值问题v理理论论上在目上在目标标函数的性函数的性质质（凹凸性和（凹凸性和连续连续可微）可微）比比较较有利有利时时，不管初始，不管初始值值如何如何选择选择，非，非线线性性优优化化的迭代运算最的迭代运算最终终都会收都会收敛敛到唯一的最到唯一的最优优解。例如，解。例如，最小二乘函数具最小二乘函数具备备整体整体严严格凸函数的性格凸函数的性质质，则则不不管以哪一管以哪
33、一组组初始初始值值出出发发迭代都会收迭代都会收敛敛到到这这个唯一个唯一的最的最优优水平。水平。实际实际上，最小二乘函数并不一定都上，最小二乘函数并不一定都能能满满足整体唯一最足整体唯一最优优解的条件。在解的条件。在这这种情况下，种情况下，从不同的初始从不同的初始值值出出发发并不能保并不能保证证都会收都会收敛敛到同到同样样的的结结果。果。v因此，在利用迭代算法因此，在利用迭代算法进进行非行非线线性回性回归归参数估参数估计计时时，初始，初始值值的的选择选择是一个是一个值值得重得重视视的的问题问题，如果，如果我我们们想要得到想要得到较较好的好的结结果和提高工作效率，必果和提高工作效率，必须须认认真真
34、对对待参数估待参数估计值计值的的选择选择。但参数初始。但参数初始值值的的选选择择并没有一般法并没有一般法则则。尽量接近参数真。尽量接近参数真实值实值或最或最终终估估计值计值，最好是参数真，最好是参数真实值实值的一致估的一致估计计，是正确，是正确的初始的初始值选择值选择原原则则。但。但该该原原则则的的实实用价用价值值不大，不大，因因为为参数真参数真实值实值不可能知道，而一致估不可能知道，而一致估计计量正是量正是我我们们要求出的最小二乘估要求出的最小二乘估计计量。量。v在在实践中，人践中，人们常常运用的是如下的常常运用的是如下的经验方法。方法。、利用参数的、利用参数的经济意意义。一般。一般经济回回
35、归模型的模型的参数都有比参数都有比较明确的明确的经济意意义，它，它们通常的取通常的取值范范围可以作可以作为选择参数初始参数初始值的参考。例如，柯的参考。例如，柯布道格拉斯生布道格拉斯生产函数模型函数模型 中中 ，的取的取值，就可以根据它，就可以根据它们分分别是是资本和本和劳动的的产出出弹性的意性的意义，利用，利用现实经济中中这两个两个弹性性所所处的水平基本情况来确定并的水平基本情况来确定并设置初始置初始值。2、模型函数在特定点的性、模型函数在特定点的性质。非。非线性模型的函性模型的函数及其数及其导函数在原点或者其他特定点的形函数在原点或者其他特定点的形态和水和水平，常常也能帮助平，常常也能帮助
36、选择参数初始参数初始值。例如，。例如，对函函数数 ，X=10时 ，当，当 时函数有函数有渐近近线 （设 ）。可以根据）。可以根据这些特定函数些特定函数值或函数性或函数性质所所隐含含的模型参数取的模型参数取值范范围或数或数值等，确定非等，确定非线性回性回归迭代运算的参数初始迭代运算的参数初始值。3、降、降维法。所法。所谓降降维法，就是根据某些先法，就是根据某些先验的的信息和信息和经验，先令模型中的某个参数取特定数，先令模型中的某个参数取特定数值，从而得到可以从而得到可以进行行线性回性回归的的线性模型，然后把性模型，然后把对其其进行行线性回性回归得到的其他参数估得到的其他参数估计值，加上，加上前述
37、某参数的特定前述某参数的特定值，一起作，一起作为非非线性回性回归的初的初始始值。v例如，例如，对消消费函数：函数：式中，式中，Y是是总收入，收入，C是消是消费，是，是该模型的模型的三个参数，三个参数，相当于相当于“边际消消费倾向向”，则可理可理解解为“消消费的收入的收入弹性性”。v当参数当参数 时，上述非，上述非线性模型就退化性模型就退化为一个一个线性模型：性模型：v对这个个线性模型性模型进行回行回归，得到，得到 ，的参数估的参数估计值 和和 ，然后把然后把 ，作作为原非原非线性模型参数估性模型参数估计迭代运算的一迭代运算的一组初始初始值。这种方法称种方法称为“降降维法法”，因，因为令原模型的
38、一令原模型的一个参数个参数 使得模型的未知参数数量减少了一个。使得模型的未知参数数量减少了一个。v这里我里我们需要需要说明的是，由于初始明的是，由于初始值选择不当可不当可能会能会导致迭代运算收致迭代运算收敛的困的困难，而且在最小二乘，而且在最小二乘函数非整体凹函数函数非整体凹函数时可能会收可能会收敛于局部而非整体于局部而非整体最最优解，并且理解，并且理论上也没有上也没有选择好的参数初始好的参数初始值和避免上述和避免上述问题的一般方法，因此从几的一般方法，因此从几组不同的不同的初始初始值出出发，重复，重复进行迭代运算行迭代运算进行相互印行相互印证和和验算，可能是避免算，可能是避免导致失致失误的重
39、要方法。如果从的重要方法。如果从某某组参数初始参数初始值出出发无法得到收无法得到收敛的的结果，或者果，或者从不同的初始从不同的初始值出出发得到的收得到的收敛值不同，那么一不同，那么一方面可能是我方面可能是我们选择的算法有的算法有问题，不适合所分，不适合所分析的模型，此析的模型，此时可考可考虑改用其他方法估改用其他方法估计参数；参数；另一方面另一方面则可能是模型本身存在可能是模型本身存在问题，即模型不，即模型不符合数据的情况，此符合数据的情况，此时就必就必须改用其他模型。改用其他模型。二、迭代算法的收二、迭代算法的收敛敛性性v非非线线性性优优化迭代运算的收化迭代运算的收敛敛性也是性也是值值得分析
40、的得分析的问问题题，这这里我里我们们作作简单简单介介绍绍。理。理论论上，非上，非线线性性优优化化的迭代运算的迭代运算应该应该在梯度向量等于在梯度向量等于0，也就是，也就是满满足足最最优优化的一化的一阶阶条件条件处终处终止。但止。但实际实际上上这这通常做不通常做不到，因到，因为为函数和函数和导导数的数的计计算都由累算都由累积积的舍入的舍入误误差，差，而且理而且理论论上要上要实现实现真正的最真正的最优优往往需要多次，甚往往需要多次，甚至无至无穷穷次反复迭代。次反复迭代。v因此，迭代算法一般是以某种收因此，迭代算法一般是以某种收敛标敛标准作准作为终为终止止迭代的信号，而不是真正迭代的信号，而不是真正
41、满满足一足一阶阶条件。条件。v判断收判断收敛和和终止迭代并没有一致接受的共同止迭代并没有一致接受的共同标准。常用的准。常用的标准主要有：准主要有：第一，目第一，目标函数（最小二乘函数）的改函数（最小二乘函数）的改进已小于已小于给定的定的小正数，即小正数，即 ，即任意小正数；即任意小正数；第二，参数第二，参数值的的变化小于化小于给定的小正数。当模型只有一定的小正数。当模型只有一个参数个参数时即即 ；第三，梯度向量的模小于第三，梯度向量的模小于给定的小正数，即定的小正数，即 。v这些些标准都有合理性，也可替代使用。但准都有合理性，也可替代使用。但问题是，是，这些不些不同同标准相互之准相互之间没有明
42、没有明显的的优劣关系，在不同情况下的使劣关系，在不同情况下的使用情况也不同。一般来用情况也不同。一般来说，同，同时用用这几个几个标准加以判断是准加以判断是比比较有利的。有利的。v高斯牛高斯牛顿顿法、牛法、牛顿顿拉夫森法和其他各种非拉夫森法和其他各种非线线性回性回归归参数估参数估计计方法，都包含迭代搜索方法，都包含迭代搜索过过程。程。这这些迭代搜索法并没有些迭代搜索法并没有严严格的格的优优劣关系，有些方法劣关系，有些方法可能收可能收敛敛要好一些，收要好一些，收敛敛速度速度较较快，但另一些方快，但另一些方法法则计则计算量算量较较小。有小。有时时候一种算法不收候一种算法不收敛敛，而另，而另一种算法却
43、能一种算法却能轻轻易找出最有解，甚至在理易找出最有解，甚至在理论论上相上相当不当不严严密的方法有密的方法有时时候也可能相当有效，而且我候也可能相当有效，而且我们们往往无法知道一种方法之所以有效的往往无法知道一种方法之所以有效的实际实际原因，原因，也很也很难难事先知道事先知道对对于某个具体于某个具体问题问题究竟哪种方法究竟哪种方法最有效。因此在大多数情况下，最有效。因此在大多数情况下，尝试尝试不同的迭代不同的迭代搜索方法通常是有价搜索方法通常是有价值值的。的。3.1.4非非线线性回性回归评归评价和假价和假设检验设检验v非非线线性回性回归归在得到参数估在得到参数估计值计值和回和回归归方程以后，方程
44、以后，也必也必须对须对回回归结归结果和模型假果和模型假设设的正确性的正确性进进行行评评价价和判断。和判断。评评判非判非线线性回性回归归的基本思路也包括回的基本思路也包括回归归拟拟合度合度评评价，以及模型价，以及模型总总体和参数体和参数显显著性著性检验检验等。等。非非线线性模型参数的性模型参数的显显著性著性检验检验常常常常隐隐含模型非含模型非线线性性的性性的检验检验。由于即使非。由于即使非线线性回性回归归模型的模型的误误差差项项有好的性有好的性质质，参数估，参数估计计量也不具量也不具备备BLUE估估计计等等理想性理想性质质，因此，因此对对非非线线回回归归的的评评价和价和检验检验，除了，除了不涉及
45、参数估不涉及参数估计计量分布性量分布性质质的决定系数以外，一的决定系数以外，一般要麻般要麻烦烦一些，而且可靠性一些，而且可靠性较较差。差。一、决定系数一、决定系数v由于反映由于反映线性回性回归模型的决定系数模型的决定系数 （3.29）和和调整的决定系数整的决定系数 （3.30）其中其中p为参数个数。参数个数。这里不涉及参数估里不涉及参数估计量的分量的分布性布性质，也不需要做以，也不需要做以这些分布性些分布性质为基基础的假的假设检验，因此非，因此非线性性导致的致的问题并不影响并不影响该统计量在量在评价回价回归方程方程拟合度方面的作用，仍然是合度方面的作用，仍然是评价非价非线性模型合理程度的基本指
46、性模型合理程度的基本指标，或者，或者说最重最重要的基本指要的基本指标之一。它之一。它们在非在非线性回性回归分析中的分析中的使用方法仍然是与在使用方法仍然是与在线性回性回归分析中相同的。分析中相同的。二、二、t检验检验和和总总体体显显著性著性F检验检验v一般在一般在线性回性回归分析中分析中检验参数参数显著性的著性的标准的准的检验方法，以及用于方法，以及用于评价价线性回性回归总体体显著性的著性的F统计量，在非量，在非线性回性回归中都会遇到困中都会遇到困难。v因因为我我们无法利用回无法利用回归残差得到残差得到误差差项方差方差 的的无偏估无偏估计。即使非。即使非线性模型的性模型的误差差项 服从服从0均
47、均值的正的正态 分布，非分布，非线性回性回归的参数估的参数估计量，以及量，以及残差：残差：也不像在也不像在线性回性回归中的参数估中的参数估计和回和回归残差那残差那样服从正服从正态分布，因此残差平房和不服从分布，因此残差平房和不服从 分布，分布，参数估参数估计量不服从正量不服从正态分布，所以分布，所以标准的准的t检验和和F检验都无法都无法应用。用。v这这里我里我们应该们应该注意到，注意到，对对于参数估于参数估计计运用高斯运用高斯牛牛顿顿法的非法的非线线性回性回归归，可以把，可以把线线性回性回归归的的t和和F检检验应验应用到上述迭代用到上述迭代过过程中的最后一次程中的最后一次线线性近似性近似（3.
48、17）式。一般来）式。一般来说说，经过经过反复迭代从而得到反复迭代从而得到的的线线性化模型性化模型应该应该能提供非能提供非线线性模型的一个比性模型的一个比较较好的近似，因此用好的近似，因此用对对最后的最后的线线性近似模型的性近似模型的检验检验替代替代对对非非线线性模型本身的性模型本身的检验检验是有合理性的。事是有合理性的。事实实上，运用上，运用线线性化方法的非性化方法的非线线性估性估计计的的计计算机程算机程序，通常会序，通常会计计算最后一次算最后一次线线性化的性化的t统计统计量、量、F统统计计量等指量等指标标。v此外，此外，虽虽然非然非线线性回性回归归参数估参数估计计没有没有线线性回性回归归参
49、参数估数估计计的性的性质质，但由参数估，但由参数估计值计值构造的相似的构造的相似的t统统计计量在大量在大样样本本时时，还还是是渐渐近服从近服从t分布的。因此如分布的。因此如果利用上述果利用上述线线性近似最后一次迭代得到的残差性近似最后一次迭代得到的残差标标准差作准差作为为非非线线性回性回归误归误差差项项方差的近似，也能利方差的近似，也能利用用该统计该统计量量进进行参数的行参数的显显著性著性检验检验，或者参数取，或者参数取特定特定值值得假得假设检验设检验。三、参数三、参数显显著性的著性的F检验检验v除了除了对高斯牛高斯牛顿法非法非线性回性回归可以利用最后一可以利用最后一次次线性近似函数性近似函数
50、线性回性回归的的t检验以外，以外，检验非非线性模型参数的性模型参数的显著性著性还有多种其他方法。有多种其他方法。v下面下面这个个渐近近F分布的分布的统计量就是其中的一种方法，量就是其中的一种方法，即即 （3.31）这个个统计量分子、分母中量分子、分母中 的是未的是未对非非线性模性模型参数施加型参数施加约束束时的参数估的参数估计，则是是对模型的模型的某些参数施加某些参数施加0假假设约束后的参数估束后的参数估计，和和 分分别是是对应两种参数估两种参数估计的残差平方和，的残差平方和，g是是0约束参数的数量。束参数的数量。v很很显显然，如果施加然，如果施加0约约束的参数本身束的参数本身对对模型的影响模