《部分线性模型基于参数信息的统计推断.pdf》由会员分享，可在线阅读，更多相关《部分线性模型基于参数信息的统计推断.pdf（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第3 9 卷第1 9 期数学的实践与认识2 0 0 9 年1 0 月M A T H E M A T I C SI NP R A C T I C EA N DT H E O R YV o I 3 9N o 1 9O c t o b e r，2 0 0 9部分线性模型基于参数信息的统计推断魏传华1，李静2，吴喜之3(1 中央民族大学理学院，北京1 0 0 0 8 1)(2 中国劳动关系学院基础部，北京1 0 0 0 4 4)(3 中国人民大学统计学院，北京1 0 0 8 7 2)摘要：针对部分线性模型提出了一种新的估计方法一P r o f i l e 局部最小二乘估计。方法结合了非参数部分的参数信
2、息另外对于部分线性模型中非参数部分是否为某一参数函数的检验问题，基于比较原假设与备择假设下模型拟合的残差平方和的思想构造了检验统计量，并给出了计算检验P 一值的精确方法和三阶矩z 2 逼近方法关键词：部分线性模型；P r o f i l e 局部最小二乘估计；残差平方和；三阶矩z 2 逼近1引言数据分析中，大量问题涉及两组变量间的关系的研究回归分析作为解决此类问题的一个有效的统计方法而得到十分广泛的应用，然而其主要理论大都是关于参数回归模型的由回归分析的经典理论可知，回归函数的不正确设定会导致推断的严重错误为了更好的探求变量之间蕴涵的复杂关系，近二十年来，借助于计算机强大计算能力而发展起来的非
3、参数和半参数模型得到了人们的广泛关注其中得到研究最多的一类半参数模型是E n g l ee ta l 在研究气温与用电量之间关系时提出的部分线性模型这类半参数模型的一般形式为Y。一z 卢+厂(丁，)+；，i=1，2，z(1)其中Y 为因变量观测值。z，=(z n，z，z 咖)T 和t。为自变量观测值，不失一般性。我们假定t 为一维变量p=(卢。，卢：，良)T 为p 维未知待估参数向量，()为未知函数，为模型误差对于模型(1)，已经有多种方法提出用以估计其中的未知参数p 和未知函数厂()，具体内容可参考文 2 7 值得注意的是现有方法在模型中的估计中都是假定非线性部分厂()完全未知，从而对其利用
4、某种非参数光滑方法进行估计利用回归分析处理实际数据时，若我们主观的将因变量与自变量之间的关系设定为参数关系，那么很多情况下我们对问题的分析要冒较大的风险，甚至得出不合实际的结论但如果置经验于不顾而利用非参数回归模型，那么对回归函数假设放宽的代价是拟合相应的非参数回归模型的计算量的增加，以及当某个参数模型适合于所分析的数据时，非参数模型收稿日期：2 0 0 7 0 3 2 8基金项目：中央民族大学“2 1 1 工程”项目(0 2 1 2 1 1 0 3 0 3 1 2)I 国家社会科学基金(0 7 c T J 0 0 3)；国家自然科学基金重点资助项目(1 0 4 3 1 0 1 0)、-；，究
5、一研一-t 万方数据1 9 期魏传华，等：部分线性模型基于参数信息的统计推断1 6 3便没有参数模型那么有效针对这一两难问题，很多作者提出了将参数估计与非参数估计相结合的方法，一些具体的方法可参考文 8 1 0 其中G o z a l o 和L i n t o n 9 3 提出的局部最小二方法以其良好的性质得到了人们的重视。该方法以局部多项式估计(包括核估计)为特例，而且未知函数的估计为白适应估计为了能更好的分析数据，本文将针对部分线性模型(1)提出P r o f i l e 局部最小二乘估计方法，该方法的特点是首先根据数据本身或者经验将未知函数厂()设定为参数形式，然后结合G o z a l
6、 o 和L i n t o n 9 3 提出的局部最小二乘法来估计未知参数p 和未知函数厂()本文第2 节将给出模型(1)的P r o f i l e 局部最d x-乘估计，第3 节将利用这种估计方法讨论非参数部分的检验问题2P r o f i l e 局部最d x-乘估计对于部分线性模型(1)中的未知非参数部分，()，首先根据经验或者数据本身提供的信息，我们将其设定为如下的参数形式f(T，)一g l(7 i)口l+9 2(丁i)0 z+g。(T，)0 q g T(7 T，)曰(2)其中g。(丁，)，g。(7 i)是一列线性无关的已知函数，这保证了模型是可识别的另外有g(丁i)=(g l(7
7、1 f)，g。(丁，)。，0=(口l，以)首先假定模型(1)中p 已知，则模型(1)转化为如下形式的非参数回归模型Y i。=(丁i)+白，i 一1，2，z(3)其中Y i*一Y r x f p 对于非参数回归模型(3)，结合厂()的参数设定(2)，利用G o z a l o 和L i n t o n 9 的局部加权最d x-乘法可得厂(丁，)的估计值为f(7)=g T(丁，)移(丁i)其中0(T i)为针对0(7 i)使 y，一g T(丁，)曰(7 ，)2 K 一(T j T。)(4)J=1达到最小得到其中K 一()一K(肛)h，K 是核函数，h 是窗宽为了叙述方便，我们采用下面的矩阵形式，记
8、X=f-g T(丁1)r、I g T(丁。)一一l；b T(丁。)，f=丁17 1 2；丁。l2：矗以及y=(y l，Y 2，弘)T；L=d i a g(K h(T 1 一T i)，K (丁2 一E)，K (丁。一T i)从而模型(2)可写为如下的矩阵形式Y x 8 一f+基于问题(4)，由广义最t b _-乘法可得0(T i)=(G T 丁。G)一1 G T W 一(y x p)(5)(6)万方数据1 6 4数学的实践与认识3 9 卷从而有则厂的估计为其中，(7，)一9 7(丁，)多(丁，)一g T(7 i)(G 丁W r G)一1 G 1、W T?(y x p)(7)S=，一S(Y x 卢
9、)奢丁(7 1)(G T W r l G)“G T r。g T(7 2)(G T，。G)一1 G。w 7。g T(丁。)(G，r r。G)一1 G 7 w r。(8)将上面厂的估计带入模型(5)，整理可得如下的线性回归模型(，一S)y 一(，一S)X 卢+E(9)利用最小二乘法估计上面的模型，则得J 9 的P r o f i l e 局部加权最小二乘估计为p E x T(J s)T(J S)x 3 1 X+。(，一S)T(，一S)y(1 0)得厂的估计为，=5(y x p)(1 1)从而y 的拟合值为P 一，+x p=L Y(1 2)其中L S+(，一S)X E X T(J S)T(，一S)x
10、 7 1 X 7(J 一5)7(，一S)进一步，基于该拟合方法所得残差平方和为R 5 5=Y T(，一L)T(，一L)y=Y 1、M Y(1 3)其中M 一(，一L)T(，一L)为实对称矩阵对于前面所得到的P r o f i l e 局部最t b-乘估计，我们有如下的性质定理1如果未知函数厂()的参数设定(2)是正确的，那么参数部分和非参数部分的P r o f i l e 局部最小二乘估计都是无偏的即有E p=卢。E l(1 i)一f(T，)=9 7(7，)扩另外，此时对于残差平方和R S S 有R S S=E T M E证明首先当(2)式正确时，我们有Y G 6+e经过简单的计算可知S G=
11、G基于上面的式子，可得当(2)式正确时有E p p+E x T(J 一5)T(J 一5)x 一1 X T(，一5)T(，一S)G a p与E 一E S(Y x 各、一E S G O=G O=f 万方数据1 9 期魏传华，等：部分线性模型基于参数信息的统计推断1 6 5即p 和，在(2)式成立时都是无偏的另外由上面估计的无偏性，我们有E(y)=E(+X 口)=E(y)令；一(三。，三。，邑)T 为模型(1)基于P r o f i l e 局部最d x-乘估计的拟合残差，显然有E(三)一E(y)一E(P)一0则在(2)式为真时，对于残差平方和R S S 有下面式子成立R S S。一主T 三=三一E
12、(；)T ；一E(三)一E Y E(P)T(J L)T(f L)y E(P)一c T(，一L)7(，一L)e证毕在此需要说明的是，如果将未知函数厂()设定为f(7，)一a，那么上面的估计就是文E 6 3 中的核最小二乘估计如果将未知函数，()设定为厂(丁，)一a。+a l T，+口。了，那么上面的估计就是局部多项式最d x Z 乘估计所以说本文的P r o f i l e 局部最小二乘估计方法包括了常见的几种估计方法3 非参数部分线性关系的检验目前文献中对于部分线性模型(1)的研究大都集中在估计问题上，关于该模型的假设检验问题的结果相对来说非常少众所周知，回归函数的设定检验是统计学与计量经济学
13、的一个重要问题本文感兴趣的是检验非参数部分厂()能否用一参数形式(比如多项式函数)刻画不失一般性，为了叙述的方便，原假设记为H。：f(7)=9 1(了)口l+9 2(7)口2+g。(7 1)岛=g。(丁)口VT(1 4)显然该检验问题包括变量丁的显著性检验H。：厂(丁)=以，以及一些文献中研究的线性关系检验H。：厂(T，)=a。+n，T。关于上述形式的部分线性模型非参数部分的检验问题，F a n&H u a n g 1 1j 提出了A d a p t i v eN e y m a n 检验，G o n z a l e z M a n t e i g a A n e i r o s R e r
14、e z 12 1 研究了C r a m e r v o n M i s e s 类型的检验统计量，C r a i n i c e a n ue ta l 1 纠基于惩罚样条(P e n a l i s e dS p l i n e s)方法构造了似然比与限制似然比检验统计量下面我们将针对检验问题(1 4)提出一个新的检验方法基本思想如下：分别拟合原假设与备择假设所对应的模型，然后基于残差平方和比较两种拟合结果，显然二者差距越大，我们越倾向于拒绝原假设其中备择假设下我们对部分线性模型结合原假设采用上一节介绍的P r o f i l e 局部最小二乘方法进行估计，显然对应的参数部分和非参数部分的估
15、计在原假设成立的情况下都是无偏的当原假设成立时，我们有f(T f)一g l(T，)口l+9 2(T i)秽2+g p(T i)岛一g(丁。)伊那么部分线性模型(1)变为如下的线性模型Y i=9 1(丁。)护+z?p+s；(1 6)我们记Z=27 l丁217 1。g q(丁1)毋(7 2)g。(了。),-T i pZ 2 pZ p一屯；矗 万方数据1 6 6数学的实践与认识3 9 卷则由线性模型的估计理论可知，模型(1 6)利用最小二乘估计方法所得残差平方和为R S S。=Y 7 ，一Z(Z 7 z)_ 1 2 7 y=Y T M。Y(17，)其中眠=I Z(Z 7 z)叫Z T 为对称幂等矩阵
16、备择假设下，利用前面提出的P r o f i l e 局部加权最小二乘估计方法得到的残差平方和为R S S，具体定义见(1 3)式类似于线性回归模型的F 检验，基于方差分析的思想，我们直接构造如下的检验统计量T=R S S。一R S SY 7 M。Y Y T M YR S 5一y。M y(1 8)检验统计量丁的分子R S S。一R S S 反映了原假设与备择假设下模型的拟合效果的差异若二者无显著差异，则说明假设H。是可以接受的否则，没有理由认为未知函数厂()为(1 5)这种参数形式因此，大的7 值趋于拒绝原假设日。令t 为丁的观测值，则7 的检验P 一值为P o=P J f，7 t(1 9)即
17、在H。之下，事件 7 1 t)发生的概率对于给定的显著水平口，若P o a，则拒绝H o 为求P。，需要知道F。在H。为真时的分布由于(1 8)式中的M 一般不是幂等阵，且分子与分母不独立，因此与一般线性回归模型理论不同，即使在y 服从正态分布的假定下，检验统计量丁一般也不服从F 分布但是，在H。之下，由定理1 以及线性模型的理论可知T=T M l o 矿-e T M e(2 0)由(1 9)和(2 0)式，我们有p。一(丁)一P(塑铲)=P e T V M。一(1+删 o)(2 1)若假定N(O，a 2 I。)，则P。转化为正态变量的二次型取正值的概率正态变量二次型的分布可利用其二次型矩阵的
18、特征值得到精确的计算公式，也有一些十分有效的逼近方法具体的内容可参考A z z a l i n i&B o w m a n E l 4 3 与H a r t 例以及梅m 下面就(2 1)式，我们给出计算此概率的精确方法和三阶矩Z 2 逼近方法I m h o f 1 7 1 给出了非中心妒变量代数和分布的精确表达式，利用此结果可得到检验P 一值P。的精确计算公式，即有如下结论：定理2 设模型(1)中误差项e。，：，厶为独立同分布的随机变量，均服从均值为零方差为盯2 的正态分布，则检验统计量n 的检验P 一值P o(见(2 1)式)有户。=P H。c 7，t，一号+专f 堕券警芦d c其中l 伊(
19、f)一了1 F h。t a n。1(2 k t)-l 扣1l J D(f)一1-(1+砖f 2)6 7 4A。，九，k 为矩阵M。一(1+t)M 的互不相同的非零特征值，而h。，h：，h。分别为，A：，k 的重数由于上面的精确计算公式其计算量很大，因此实际应用中。一般都采取逼近方法下面我们将使用三阶矩Z 2 逼近方法理论研究t 8 3 与大量的模拟实验m 3 都表明该方法不但能大大降低计算量，而且具有很高的精度将该方法用于(2 1)式中P 一值的计算，基本思想如下：选 万方数据1 9 期魏传华，等：部分线性模型基于参数信息的统计推断1 6 7择常数a，b 和d，使a+6 彤和Q E T E M
20、 o 一(1+t)M e 具有相同的前三阶矩，以a+6 赡的分布逼近Q 的分布，这里残表示自由度为d 的中心Z 2 变量经过简单的计算，我们有如下的结论：定理3 设模型(1)中误差项s。，。，厶为独立同分布的随机变量，均服从均值为零方差为盯2 的正态分布，若利用三阶矩Z 2 逼近求取检验P 一值P。(见(2 1)式)，则有P。=P H。(丁 z)一P e 7 W e O)其中W M。一(1+t)M，()参考文献：i ft r(3)oi ft r(3)一oi ft r(3)似一撕赡一船尸I e IP 万方数据1 6 8数学的实践与认识3 9 卷 19 梅长林，张文修利用局部加权拟合方法检验线性回
21、归关系E J l 系统科学与数学，2 0 0 3，2 2(4)。4 6 7 4 8 0S t a t i s t i c a lI n f e r e n c eo nP a r t i a l l yL i n e a rM o d e l sw i t hP a r a m e t r i cI n f o r m a t i o nW E IC h u a n h u a1，L Ij i n 9 2，W UX i z h i 3(1 S c h o o lo fS c i e n c e。M i n z uU n i v e r s i t yo fC h i n a。B e i j i
22、 n g1 0 0 0 8 1，C h i n a)(2 S e c t i o no fF u n d a m e n t a lS t u d i e s，C h i n aI n s t i t u t eo fI n d u s t r i a lR e l a t i o n s B e i j i n g1 0 0 0 4 4，C h i n a)(3 S c h o o lo fS t a t i s t i c s，R e n m i nU n i v e r s i t yo fC h i n a。B e i j i n g1 0 0 8 7 2 C h i n a)A b
23、s t r a c t：W ep r o p o s ean e wa p p r o a c h p r o f i l el o c a l l e a s ts q u a r e sm e t h o dw h i c hu s i n gp a r a m e t r i ci n f o r m a t i o nt Oe s t i m a t ep a r t i a l l yl i n e a rm o d e l s I nt h ep r o b l e mo ft e s t i n gw h e t h e rn o n p a r a m e t r i cc o
24、 m p o n e n to fap a r t i a l l yl i n e a rm o d e li sac e r t a i np a r a m e t r i cf u n c t i o n w ep r o p o s eat e s ts t a t i s t i cw h i c hi sb a s e do nc o m p a r i n gt h er e s i d u a ls u mo fs q u a r e su n d e rn u l la n da l t e r n a t i v eh y p o t h e s i s Ap r o c
25、 e d u r ef o rc o m p u t i n gt h ee x a c tP v a l u eo ft h et e s ti sp r o p o s e d F o rc o m p u t a t i o n a lc o n s i d e r a t i o ni np r a c t i c e，am e t h o dt Oa p p r o x i m a t et h eP v a l u ei sd e r i v e db ye m p l o y i n gt h et h r e e m o m e n tZ 2a p p r o x i m a
26、t i o n K e y w o r d s：p a r t i a l l yl i n e a rm o d e l s；p r o f i l el o c a ll e a s t s q u a r e se s t i m a t i o nlr e s i d u a ls u mo fs q u a r e s；t h r e e-m o m e n tZ 2a p p r o x i m a t i o n 万方数据部分线性模型基于参数信息的统计推断部分线性模型基于参数信息的统计推断刊名：数学的实践与认识英文刊名：MATHEMATICS IN PRACTICE AND TH
27、EORY年，卷(期)：2009,39(19)被引用次数：1次 参考文献(19条)参考文献(19条)1.Speckman P Kernel smoothing in partial linear models 19882.Robinson P Root-n-consistent semiparametric regression 19883.Heckman N Spline smoothing in a partially linear model 19864.Crainiceanu C;Ruppert D;Claeskens G;Wand W P Exact likelihood ratio
28、tests for penalised splines外文期刊 2005(01)5.Gonzalez-Manteiga W;Aneiros-Perez G Testing in partial linear regression models with dependenterrors 20036.Fan J;Huang L Goodness-of-fit tests for parametric regression models 20017.Hjort N L;Jones M C Locally parametric nonparametric density estimation 1996
29、8.Gozalo P;Linton O Local nonlinear least squares;using parametric information in nonparametricregressin 20009.Fan Y;Ullah A Asymptotic Normality of a combined regression estimator 199910.Yatchew A An elementary estimator of the partial linear mdoel 199711.Donald G;Newey K Series estimation of semil
30、inear models 199412.Chen H Convergence rates for parametric components in a partially linear model外文期刊 198813.Engle R F;Granger W J;Rice J;Weiss A Semiparametric estimates of the relation between weather andelectricity sales 198614.梅长林;张文修 利用局部加权拟合方法检验线性回归关系期刊论文-系统科学与数学 2003(04)15.Buckley M J;Eagles
31、on G K An application to distribution of quadratic forms in normal variables1988(A)16.Imhof J P Computing the distribution of quadratic forms in normal variables 196117.梅长林 泛函系数回归模型的研究及其应用 200018.Hart J D Nonparametric Smoothing and Lack-of-Fit Tests 199719.Azzalini A;Bowman A On the use of nonparametric regression for checking linear relationships 1993 引证文献(1条)引证文献(1条)1.周俊祥 基于Excel的样本均值统计特征模拟期刊论文-电脑知识与技术 2010(18)本文链接：http:/