《一元线性回归原理.ppt》由会员分享，可在线阅读，更多相关《一元线性回归原理.ppt（23页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、一元线性回归原理一元线性回归原理（一）问题的提出（一）问题的提出例例1 1 假定需要研究化肥施用量与粮食产量的关系，以便准确地定出化肥施用量的单位变化如何影响粮食产量的平均单位变化，进而确定合理的化肥施用量。表表1 化肥施用量与粮食化肥施用量与粮食产产量量化肥施用量x(万吨)4541.054541.053637.872287.493056.894883.73779.34021.09粮食产量y(万吨)48526.6948526.6945110.8740753.7943824.5850890.1146370.8846577.91化肥施用量x(万吨)2989.062989.063021.93953.
2、973212.133804.761598.281998.56粮食产量y(万吨)42947.4442947.4441673.2147244.3443061.5347336.7837127.8939515.07化肥施用量x(万吨)3710.563710.563269.031017.121864.232797.241034.09粮食产量y(万吨)46598.0446598.0444020.9234866.9137184.1441864.7733717.78图图1 化肥施用量与粮食产量的散点图化肥施用量与粮食产量的散点图上述变量间关系的特点：1.变量间关系不能用函数关系精确表达2.一个变量的取值不能由
3、另一个变量唯一确定3.当变量 x 取某个值时，变量 y 的取值可能有几个4.各观测点分布在直线周围 x xy y问题问题两个变量之间有着密切的关系，但它们之间密切的程度并不能由一个变量唯一确定另一个变量，即它们间的关系是一种非确定性的关系。它们之间到底有什么样的关系呢?u例1中由20组数据，粮食产量与化肥施用量的关系式 是如何得到的？解决方案运用模型来拟合这些数据点。观测值分解成两部分：y=0 0+1 1 x +l一元线性回归模型 x xy y观测项观测项 =+结构项结构项随机项随机项 =+（二）一元线性回归模型1.描描述述因因变变量量 y 如如何何依依赖赖于于自自变变量量 x 和和误误差差项
4、项 的的方程称方程称为为回回归归模型模型2.一元线性回归模型可表示为一元线性回归模型可表示为 y=0 0+1 1 x +y 是是 x 的的线线性函数性函数(部分部分)加上加上误误差差项项线线性部分反映了由于性部分反映了由于 x 的的变变化而引起的化而引起的 y 的的变变化化误差项误差项 是随机变量是随机变量反反映映了了除除 x 和和 y 之之间间的的线线性性关关系系之之外外的的随随机机因因素素对对 y 的影响的影响是不能由是不能由 x 和和 y 之之间间的线性关系所解释的变异性的线性关系所解释的变异性 0 和和 1 称为模型的称为模型的参数参数 x xy y一元线性回归模型 (基本假定)1.因
5、因变变量量x与自与自变变量量y之之间间具有具有线线性关系性关系2.在重复抽在重复抽样样中，自中，自变变量量x的取的取值值是固定的，即假定是固定的，即假定x是是非随机的非随机的3.误误差差项项是一个期望是一个期望值为值为0的随机的随机变变量，即量，即E()=0。对对于于一个一个给给定的定的 x 值值，y 的期望的期望值为值为E(y)=0+1 x4.对对于所有的于所有的 x 值值，的方差的方差2 都相同都相同5.误误差差项项是是一一个个服服从从正正态态分分布布的的随随机机变变量量，且且相相互互独独立立。即即N(0,2)独独立立性性意意味味着着对对于于一一个个特特定定的的 x 值值，它它所所对对应应
6、的的与与其其他他 x 值值所所对应对应的的不相关不相关对对于于一一个个特特定定的的 x 值值，它它所所对对应应的的 y 值值与与其其他他 x 所所对对应应的的 y 值值也不相关也不相关回归方程(regression equation)1.描描述述 y 的的平平均均值值或或期期望望值值如如何何依依赖赖于于 x 的的方方程称程称为为回回归归方程方程2.一元一元线线性回性回归归方程的形式如下方程的形式如下 E(y)=0+1 x方方程程的的图图示示是是一一条条直直线线，也也称称为为直线回归方程直线回归方程 0 0是是回回归归直直线线在在 y 轴轴上上的的截截距距，是当是当 x=0 时时 y 的期望值的
7、期望值 1是是直直线线的的斜斜率率，称称为为回回归归系系数数，表表示示当当 x 每每变变动动一一个个单单位位时时，y 的平均变动值的平均变动值 x xy yxy(xn,yn)(x1,y1)(x2,y2)(xi,yi)问题：回归直线如何确定？Karl Gauss的最小化图x xy y(x xn n,y yn n)(x x1 1,y y1 1)(x x2 2,y y2 2)(x xi i,y yi i)e ei i=y yi i-y yi i目标：找一条直线尽可能的拟合这目标：找一条直线尽可能的拟合这n个样本点。个样本点。（三）最小二乘估计(least-squares estimation)1.1
8、.德国科学家德国科学家Karl Gauss(17771855)提出用提出用最小化图中垂直方向的误差平方和最小化图中垂直方向的误差平方和来估计参数来估计参数 2.2.使因变量的观察值与估计值之间的误差平方和使因变量的观察值与估计值之间的误差平方和达到最小来求得达到最小来求得 和和 的方法。即的方法。即3.3.用用最最小小二二乘乘法法拟拟合合的的直直线线来来代代表表x与与y之之间间的的关系与实际数据的误差比其他任何直线都小关系与实际数据的误差比其他任何直线都小问题如何估计 使得 最小解决方法根据微积分法求极值的原理，通过求偏导数并命其为0而得到：这组方程称为正规方程组经过整理，可得？其中，u记u可
9、以简写为经过整理，可得例例1 1 假定需要研究化肥施用量与粮食产量的关系，以便准确地定出化肥施用量的单位变化如何影响粮食产量的平均单位变化，进而确定合理的化肥施用量。表表1粮食粮食产产量与化肥施用量量与化肥施用量化肥施用量x(万吨)4541.054541.053637.872287.493056.894883.73779.34021.09粮食产量y(万吨)48526.6948526.6945110.8740753.7943824.5850890.1146370.8846577.91化肥施用量x(万吨)2989.062989.063021.93953.973212.133804.761598.2
10、81998.56粮食产量y(万吨)42947.4442947.4441673.2147244.3443061.5347336.7837127.8939515.07化肥施用量x(万吨)3710.563710.563269.031017.121864.232797.241034.09粮食产量y(万吨)46598.0446598.0444020.9234866.9137184.1441864.7733717.78最小二乘法求解回归方程实例最小二乘法求解回归方程实例解：回归方程为：直观来看，回归直线与20个样本数据点都很接近，说明回归直线对数据的拟合效果是好的。图图1 化肥施用量与粮食产量的散点图化肥
11、施用量与粮食产量的散点图最小二乘估计的软件实现、输出结果最小二乘估计的软件实现、输出结果回归方程为：小结：估计的回归方程小结：估计的回归方程3.3.一元线性回归中估计的回归方程为一元线性回归中估计的回归方程为2.2.用用样样本本统统计计量量 和和 代代替替回回归归方方程程中中的的未未知知参参数数 和和 ，就得到了，就得到了估计的回归方程估计的回归方程1.1.总总体体回回归归参参数数 和和 是是未未知知的的，必必须须利利用用样样本本数数据去估计据去估计其其中中：是是估估计计的的回回归归直直线线在在 y 轴轴上上的的截截距距，是是直直线线的的斜斜率率，它它表表示示对对于于一一个个给给定定的的 x
12、的的值值，是是 y 的的估估计计值值，也也表表示示 x 每每变变动一个单位时，动一个单位时，y 的平均变动值的平均变动值 .“回归”名称的由来十九世纪，英国生物学家兼统计学家高尔顿研究父母身高与其子女身高的遗传问题时，观察了1078对夫妇，以每对夫妇的平均身高作为x（单位：英寸，1英寸=2.54厘米），取他们的一个成年儿子的身高作为y，绘制散点图发现趋势近乎一条直线，计算出的直线方程为：这种趋势表明子代的身高向中心回向中心回归归，才使得人类的身高在一定时间内相对稳定，没有出现两极分化现象。其后研究变量x和变量y的统计关系时借用这个名词。进入夏天，少不了一个热字当头，电扇空调陆续登场，每逢此时，
13、总会想起进入夏天，少不了一个热字当头，电扇空调陆续登场，每逢此时，总会想起那一把蒲扇。蒲扇，是记忆中的农村，夏季经常用的一件物品。记忆中的故那一把蒲扇。蒲扇，是记忆中的农村，夏季经常用的一件物品。记忆中的故乡，每逢进入夏天，集市上最常见的便是蒲扇、凉席，不论男女老少，个个手持乡，每逢进入夏天，集市上最常见的便是蒲扇、凉席，不论男女老少，个个手持一把，忽闪忽闪个不停，嘴里叨叨着一把，忽闪忽闪个不停，嘴里叨叨着“怎么这么热怎么这么热”，于是三五成群，聚在大树，于是三五成群，聚在大树下，或站着，或随即坐在石头上，手持那把扇子，边唠嗑边乘凉。孩子们却在周下，或站着，或随即坐在石头上，手持那把扇子，边唠
14、嗑边乘凉。孩子们却在周围跑跑跳跳，热得满头大汗，不时听到围跑跑跳跳，热得满头大汗，不时听到“强子，别跑了，快来我给你扇扇强子，别跑了，快来我给你扇扇”。孩。孩子们才不听这一套，跑个没完，直到累气喘吁吁，这才一跑一踮地围过了，这时子们才不听这一套，跑个没完，直到累气喘吁吁，这才一跑一踮地围过了，这时母亲总是，好似生气的样子，边扇边训，母亲总是，好似生气的样子，边扇边训，“你看热的，跑什么？你看热的，跑什么？”此时这把蒲扇，此时这把蒲扇，是那么凉快，那么的温馨幸福，有母亲的味道！蒲扇是中国传统工艺品，在是那么凉快，那么的温馨幸福，有母亲的味道！蒲扇是中国传统工艺品，在我国已有三千年多年的历史。取材
15、于棕榈树，制作简单，方便携带，且蒲扇的表我国已有三千年多年的历史。取材于棕榈树，制作简单，方便携带，且蒲扇的表面光滑，因而，古人常会在上面作画。古有棕扇、葵扇、蒲扇、蕉扇诸名，实即面光滑，因而，古人常会在上面作画。古有棕扇、葵扇、蒲扇、蕉扇诸名，实即今日的蒲扇，江浙称之为芭蕉扇。六七十年代，人们最常用的就是这种，似圆非今日的蒲扇，江浙称之为芭蕉扇。六七十年代，人们最常用的就是这种，似圆非圆，轻巧又便宜的蒲扇。蒲扇流传至今，我的记忆中，它跨越了半个世纪，圆，轻巧又便宜的蒲扇。蒲扇流传至今，我的记忆中，它跨越了半个世纪，也走过了我们的半个人生的轨迹，携带着特有的念想，一年年，一天天，流向长也走过了我们的半个人生的轨迹，携带着特有的念想，一年年，一天天，流向长长的时间隧道，袅长的时间隧道，袅结束