数学简单线性回归模型.pptx

《数学简单线性回归模型.pptx》由会员分享，可在线阅读，更多相关《数学简单线性回归模型.pptx（89页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、引子引子关于计量经济学关于计量经济学 定义定义 “用数学方法探讨经济学可以从好几个方面着手，但任何一个方面都不能和计量经济学混为一谈。计量经济学与经济统计学绝非一码事；它也不同于我们所说的一般经济理论，尽管经济理论大部分具有一定的数量特征；计量经济学也不应视为数学应用于经济学的同义语。经验表明，统计学、经济理论和数学这三者对于真正了解现代经济生活的数量关系来说，都是必要的，但本身并非是充分条件。三者结合起来，就是力量，这种结合便构成了计量经济学。”第1页/共89页第2页/共89页第3页/共89页 第一节第一节 计量经济学的研究方法计量经济学的研究方法 需要做的工作 选择变量和数学关系式 模型设

2、定模型设定 确定变量间的数量关系 估计参数估计参数 检验所得结论的可靠性 模型检验模型检验 作经济分析和经济预测 模型应用模型应用第4页/共89页 一、模型设定一、模型设定经济模型及设定经济模型及设定模型：对经济现象或过程的一种数学模拟对经济现象或过程的一种数学模拟设定（Specification）:模模型型只只能能抓抓主主要要因因素素和和主主要要特特征征,不不得得不不舍舍弃某些因素弃某些因素 对对所所研研究究经经济济变变量量之之间间的的关关系系选选用用适适当当的的数学关系式近似地、简化地表达出来数学关系式近似地、简化地表达出来 模型的设计和形式的取舍模型的设计和形式的取舍具有一定主观性具有一

3、定主观性 第5页/共89页 构成计量经济模型的基本要素构成计量经济模型的基本要素经济变量 不同时间、不同空间的表现不同，取值不同，是可以观测的因素。是模型的研究对象或影响因素。经济参数 表现经济变量相互依存程度的、决定经济结构和特征的、相对稳定的因素，通常不能直接观测。第6页/共89页 设定计量经济模型的基本要求设定计量经济模型的基本要求要有科学的理论依据要有科学的理论依据选择适当的数学形式选择适当的数学形式 类型类型:单一方程、联立方程单一方程、联立方程 线性形式、非线性形式线性形式、非线性形式 模型要兼顾真实性和实用性模型要兼顾真实性和实用性 两种不好的模型：两种不好的模型：太过复杂太过复

4、杂真实但不实用真实但不实用 过分简单过分简单不真实不真实 包含随机误差项包含随机误差项 经济模型与计量经济模型的重要区别经济模型与计量经济模型的重要区别 方程中的变量要具有可观测性方程中的变量要具有可观测性第7页/共89页 二、二、估计参数估计参数为什么要对参数作估计？为什么要对参数作估计？一般来说参数是未知的，又是不可直接观测的。由于随机项的存在，参数也不能通过变量值去精确计算。只能通过变量样本观测值选择适当方法去估计。（如如何何通通过过变变量量样样本本观观测测值值去去科科学学地地估估计计总总体体模型的参数是计量经济学的核心内容）模型的参数是计量经济学的核心内容）第8页/共89页两个概念两个

5、概念 参数的估计值：所估计参数的具体数值 参数的估计式：估计参数数值的公式参数估计的常用方法参数估计的常用方法 普通最小二乘、广义最小二乘、极大似然估计、二段最小二乘、三段最小二乘、其它估计方法第9页/共89页 三、模型检验三、模型检验为什么要检验？为什么要检验？建模的理论依据可能不充分 统计数据或其他信息可能不可靠 样本可能较小，结论只是抽样的某种偶然 结果 可能违反计量经济方法的某些基本假定对模型检验什么？对模型检验什么？对模型和所估计的参数加以评判，判定在理 论上是否有意义，在统计上是否可靠第10页/共89页 对计量经济模型检验的方式对计量经济模型检验的方式经济意义检验经济意义检验 所估

6、计的模型与经济理论是否相符所估计的模型与经济理论是否相符 统计推断检验统计推断检验 检验参数估计值是否抽样的偶然结果检验参数估计值是否抽样的偶然结果 计量经济学检验计量经济学检验 是否符合计量经济方法的基本假定是否符合计量经济方法的基本假定 预测检验预测检验 将模型预测的结果与经济运行的实际对比将模型预测的结果与经济运行的实际对比第11页/共89页四、模型应用四、模型应用 经济结构分析经济结构分析 分析变量之间的数量比例关系分析变量之间的数量比例关系（如：如：边际分析、弹性分析、乘边际分析、弹性分析、乘数分析）数分析）例：分析消费增加对例：分析消费增加对GDPGDP的拉动作用的拉动作用 经济预

7、测经济预测 由由预预先先测测定定的的解解释释变变量量去去预预测测应应变变量量在在样样本本以以外外的的数数据据 （动动态预测、空间预测）态预测、空间预测）例：预测股票市场价格的走势例：预测股票市场价格的走势第12页/共89页政策评价政策评价 用模型对政策方案作模拟测算，对政策方案作评价用模型对政策方案作模拟测算，对政策方案作评价把计量经济把计量经济模型作为经济活动的实验室）模型作为经济活动的实验室）例：分析道路收费政策对汽车市场的影响例：分析道路收费政策对汽车市场的影响第13页/共89页简单线性回归模型简单线性回归模型 主要讨论主要讨论:回归分析与回归函数回归分析与回归函数 简单线性回归模型参数

8、的估计简单线性回归模型参数的估计 拟合优度的度量拟合优度的度量 回归系数的区间估计和假设检验回归系数的区间估计和假设检验 回归模型预测回归模型预测第14页/共89页经济计量模型的一般形式第15页/共89页 1 1、回归分析与回归方程、回归分析与回归方程基本内容基本内容:回归与相关回归与相关 总体回归函数总体回归函数 随机扰动项随机扰动项 样本回归函数样本回归函数 第16页/共89页171.经济变量间的相互关系确定性的函数关系不确定性的统计关系相关关系(为随机变量)没有关系一、回归与相关（对统计学的回顾）第17页/共89页182.相关关系相关关系的描述相关关系最直观的描述方式坐标图（散布图）第1

9、8页/共89页193.相关程度的度量相关系数 总体线性相关系数：其中：X的方差；Y的方差 X和Y的协方差样本线性相关系数：其中：和分别是变量 和的样本观测值和分别是变量和样本值的平均值第19页/共89页20 和 都是相互对称的随机变量 线性相关系数只反映变量间的线性相关程度，不 能说明非 线性相关关系 样本相关系数是总体相关系数的样本估计值，由 于抽样波动，样本相关系数是个随机变量，其统 计显著性有待检验 相关系数只能反映线性相关程度，不能确定因果 关系，不能说明相关关系具体接近哪条直线 计量经济学关心：计量经济学关心：变量间的因果关系及隐藏在变量间的因果关系及隐藏在随机性后面的统计规律性，这

10、有赖于回归分析方随机性后面的统计规律性，这有赖于回归分析方法法 使用相关系数时应注意使用相关系数时应注意第20页/共89页214.回归分析回归的古典意义：高尔顿遗传学的回归概念(父母身高与子女身高的关系)回归的现代意义：一个应变量对若干解释变量依存关系的研究回归的目的（实质）：由固定的解释变量去估计应变量的平均值第21页/共89页22 的条件分布 当解释变量 取某固定值时（条件），的值不确定，的不同取值形成一定的分布，即 的条件分布。的条件期望 对于 的每一个取值，对 所形成的分布确 定其期望或均值，称 为 的条件期望或条 件均值 注意几个概念注意几个概念第22页/共89页23回归线:对于每一

11、个 的取值，都有 的条件期望与之对应，代表这些 的条件期望的点的轨迹所形成的直线或曲线，称为回归线。回归线与回归函数第23页/共89页24 回归函数：应变量 的条件期望 随解释变量 的的变化而有规律的变化，如果把 的条件期望 表现为 的某种函数 这个函数称为回归函数。回归函数分为：总体回归函数和样本回归函数举例：假如已知100个家庭构成的总体。回归线与回归函数回归线与回归函数第24页/共89页25每每 月月 家家 庭庭 可可 支支 配配 收收 入入 X X1000150020002500300035004000450050005500820962110813291632184220372275

12、24642824888102412011365172618742110238825893038932112112641410178619062225242627903150每每960121013101432183510682319248828563201月月125913401520188520662321258729003288家家132414001615194321852365265030213399庭庭1448165020372210239827893064消消1489171220782289248728533142费费1538177821792313251329343274支支16001

13、8412298239825383110出出17021886231624232567Y1900238724532610201224982487271025892586900115014001650190021502400265029003150例:100个家庭构成的总体(单位:元)第25页/共89页26 1.总体回归函数的概念 前提：假如已知所研究的经济现象的总体应变量 和解释变量 的每个观测值,可以计算出总体应变量 的条件均值，并将其表现为解释变量 的某种函数这个函数称为总体回归函数（PRF）二、总体回归函数（PRF）第26页/共89页27 （1）条件均值表现形式 假如 的条件均值 是解 释变

14、量 的线性函数，可表示为：（2）个别值表现形式 对于一定的 ，的各个别值 分布 在 的周围，若令各个 与条件 均值 的偏差为 ,显然 是随机变量,则有 或 2.总体回归函数的表现形式第27页/共89页28实实际际的的经经济济研研究究中中总总体体回回归归函函数数通通常常是是未未知知的的，只只能能根根据据经经济济理理论论和和实实践践经经验验去去设设定定。“计计量量”的目的就是寻求的目的就是寻求PRFPRF。总总体体回回归归函函数数中中 与与 的的关关系系可可是是线线性性的的，也也可是可是非线性非线性的。的。对线性回归模型的对线性回归模型的“线性线性”有两种解释有两种解释 就变量而言就变量而言是线性

15、的是线性的 的条件均值是的条件均值是 的线性函数的线性函数 就参数而言就参数而言是线性的是线性的 的条件均值是参数的条件均值是参数 的线性函数的线性函数 3.3.如何理解总体回归函数第28页/共89页29变量、参数均为变量、参数均为“线性线性”参数参数“线性线性”，变量，变量”非线非线性性”变量变量“线性线性”，参数，参数”非线非线性性”计量经济学中:线性回归模型主要指就参数而言是“线性”,因为只要对参数而言是线性的,都可以用类似的方法估计其参数。“线性”的判断第29页/共89页30三、随机扰动项三、随机扰动项概念:各个 值与条件均值 的偏差 代表 排除在模型以外的所有 因素对 的影响。性质：

16、是期望为0有一定分布的随机变量 重要性：随机扰动项的性质决定着计量经济方法的选择第30页/共89页31 未知影响因素的代表无法取得数据的已知影响因素的代表众多细小影响因素的综合代表模型的设定误差变量的观测误差变量内在随机性引入随机扰动项的原因第31页/共89页32四、样本回归函数（SRF）样本回归线：对于 的一定值，取得 的样本观测值，可计算其条件均值，样本观测值条件均值的轨迹称为样本回归线。样本回归函数：如果把应变量的样本条件均值表示为解释变量的某种函数，这个函数称为样本回归函数（SRF）。第32页/共89页33SRF 的特点每次抽样都能获得一个样本，就可以拟合一条样本回 归线，所以样本回归

17、线随抽样波动而变化，可以有许多条（SRF不唯一）。SRF2SRF1第33页/共89页34样本回归函数的函数形式应与设定的总体回归函数的函数形式一致。样本回归线还不是总体回归线，至多只是未知总体回归线的近似表现。第34页/共89页35样本回归函数如果为线性函数，可表示为其中：是与相对应的的样本条件均值和分别是样本回归函数的参数应变量的实际观测值不完全等于样本条件均值，二者之差用表示,称为剩余项或残差项：或者样本回归函数的表现形式第35页/共89页36 对样本回归的理解对样本回归的理解 如果能够获得 和 的数值，显然:和 是对总体回归函数参数 和 的估计 是对总体条件期望 的估计 在概念上类似总体

18、回归函数中的 ，可 视为对 的估计。第36页/共89页37样本回归函数与总体回归函数的关系SRFPRFA第37页/共89页38回归分析的目的用样本回归函数SRF去估计总体回归函数PRF。由于样本对总体总是存在代表性误差，SRF总会过高或过低估计PRF。要解决的问题：寻求一种规则和方法，使得到的SRF的参数和尽可能“接近”总体回归函数中的参数和。这样的“规则和方法”有多种，最常用的是最小二乘法第38页/共89页39 简单线性回归模型的最小二乘估简单线性回归模型的最小二乘估计计基本内容基本内容:简单线性回归的基本假定 普通最小二乘法 OLSOLS回归线的性质 参数估计式的统计性质第39页/共89页

19、40 一一、简单线性回归的基本假定简单线性回归的基本假定 1.为什么要作基本假定？模型中有随机扰动，估计的参数是随机变量，只有对随机扰动的分布作出假定，才能确定 所估计参数的分布性质，也才可能进行假设 检验和区间估计 只有具备一定的假定条件，所作出的估计才 具有较好的统计性质。第40页/共89页41 （1 1）对模型和变量的假定如假定解释变量 是非随机的，或者虽然是随机的，但与扰动项 是不相关的假定解释变量 在重复抽样中为固定值假定变量和模型无设定误差2、基本假定的内容第41页/共89页42又称高斯假定、古典假定假定假定1 1：零均值假定 在给定 的条件下，的条件期望为零假定假定2 2：同方差

20、假定 在给定 的条件下，的条件方差为某个常数（2）对随机扰动项 的假定第42页/共89页43 假定3：无自相关假定随机扰动项的逐次值互不相关假定4：随机扰动与解释变量不相关第43页/共89页44假定5：对随机扰动项分布的正态性假定即假定服从均值为零、方差为的正态分布（说明：正态性假定不影响对参数的点估计，但对确定所估计参数的分布性质是需要的。且根据中心极限定理，当样本容量趋于无穷大时，的分布会趋近于正态分布。所以正态性假定是合理的）第44页/共89页45的分布性质 由于 的分布性质决定了 的分布性质。对 的一些假定可以等价地表示为对 的假定：假定1：零均值假定 假定2：同方差假定 假定3：无自

21、相关假定 假定5：正态性假定第45页/共89页46OLS的基本思想 不同的估计方法可得到不同的样本回归参数不同的估计方法可得到不同的样本回归参数和和，所估计的，所估计的也不同。也不同。理想的估计方法应使理想的估计方法应使与与的差即剩余的差即剩余越小越好越小越好 因因可正可负，所以可以取可正可负，所以可以取最小最小即即二、普通最小二乘法（rdinaryLeastSquares）第46页/共89页47正规方程和估计式用克莱姆法则求解得观测值形式的OLS估计式：取偏导数为0，得正规方程第47页/共89页48为表达得更简洁，或者用离差形式OLS估计式：注意其中：而且样本回归函数可写为用离差表现的OLS

22、估计式第48页/共89页49三、三、OLSOLS回归线的性质回归线的性质可以证明：回归线通过样本均值估计值 的均值等于实 际观测值 的均值 第49页/共89页50剩余项的均值为零应变量估计值 与剩余项 不相关 解释变量 与剩余项 不相关第50页/共89页51 四、四、参数估计式的统计性质参数估计式的统计性质(一)参数估计式的评价标准 1.无偏性前提：重复抽样中估计方法固定、样本数不变、经 重复抽样的观测值，可得一系列参数估计值参数估计值 的分布称为 的抽样分布，密度函数记为 如果 ，称 是参数 的无偏估计式，否则称 是有偏的，其偏倚为 第51页/共89页52前提：样本相同、用不同的方法估计参数

23、，可以找到若干个不同的估计式目标：努力寻求其抽样分布具有最小方差的估计式最小方差准则，或称最佳性准则 既是无偏的同时又具有最小方差的估计式，称为 最佳无偏估计式。2.最小方差性第52页/共89页534.渐近性质（大样本性质）思想:当样本容量较小时，有时很难找到最佳无偏估计，需要考虑样本扩大后的性质一致性：当样本容量n趋于无穷大时，如果估计式依概率收敛于总体参数的真实值，就称这个估计式是 的一致估计式。即或渐近有效性：当样本容量n趋于无穷大时，在所有的一致估计式中，具有最小的渐近方差。第53页/共89页54（二）OLS估计式的统计性质 由OLS估计式可以看出 由可观测的样本值 和 唯一表示。因存

24、在抽样波动，OLS估计 是随机变量 OLS估计式是点估计式 第54页/共89页551.线性特征是的线性函数2.无偏特性3.最小方差特性在所有的线性无偏估计中，OLS估计具有最小方差结论：在古典假定条件下,OLS估计式是最佳线性无 偏估计式（BLUE）OLS估计式的统计性质高斯定理第55页/共89页56拟合优度的度量拟合优度的度量本节基本内容:什么是拟合优度什么是拟合优度 总变差的分解总变差的分解 可决系数可决系数第56页/共89页57一、什么是拟合优度?概念：样本回归线是对样本数据的一种拟合，不同估计方法可拟合出不同的回归线，拟合的回归线与样本观测值总有偏离。样本回归线对样本观测数据拟合的优劣

25、程度拟合优度拟合优度的度量建立在对总变差分解的基础上第57页/共89页58二、总变差的分解二、总变差的分解 分析Y Y 的观测值、估计值与平均值的关系将上式两边平方加总，可证得 （TSSTSS）（ESSESS）（RSSRSS）第58页/共89页59 总变差 （TSSTSS）：应变量Y Y的观测值与其平均值的离差平方和（总平方和）解释了的变差 （ESSESS）：应变量Y Y的估计值与其平均值的离差平方和（回归平方和）剩余平方和 （RSSRSS）：应变量观测值与估计值之差的平方和（未解释的平方和）第59页/共89页60 变差分解的图示第60页/共89页61 三、可决系数三、可决系数 以TSS同除总

26、变差等式两边：或 定义：回归平方和（解释了的变差ESS）在总变 差（TSS）中所占的比重称为可决系数，用 表示:或 第61页/共89页62作用：可决系数越大，说明在总变差中由模型作出了解释的部分占的比重越大，模型拟合优度越好。反之可决系数小，说明模型对样本观测值的拟合程度越差。特点：可决系数取值范围：随抽样波动，样本可决系数 是随抽样 而变动的随机变量 可决系数是非负的统计可决系数的作用和特点第62页/共89页63运用可决系数时应注意 可决系数只是说明列入模型的所有解释变量对 因变量的联合的影响程度，不说明模型中每个 解释变量的影响程度（在多元中）回归的主要目的如果是经济结构分析，不能只追求高

27、的可决系数，而是要得到总体回归系数可信的估计量，可决系数高并不表示每个回归系数都可信任如果建模的目的只是为了预测因变量值，不是为了正确估计回归系数，一般可考虑有较高的可决系数第63页/共89页64 回归系数的区间估计和假设检验回归系数的区间估计和假设检验 本节基本内容：OLSOLS估计的分布性质估计的分布性质 回归系数的区间估计回归系数的区间估计 回归系数的假设检验回归系数的假设检验第64页/共89页65问题的提出 为什么要作区间估计？OLS估计只是通过样本得到的点估计，不一定等于真实参数，还需要找到真实参数的可能范围，并说明其可靠性为什么要作假设检验？OLS估计只是用样本估计的结果，是否可靠

28、？是否抽样的偶然结果？还有待统计检验。区间估计和假设检验都是建立在确定参数估计值概率分布性质的基础上。第65页/共89页66 一、一、OLSOLS估计的分布性质估计的分布性质 基本思想基本思想 是随机变量，必须确定其分布性质才可能进行区间估计和假设检验 是服从正态分布的随机变量,决定了 也是服从正态分布的随机变量，是 的线性函数，决定了 也是服从正态分布的随机变量，只要确定 的期望和方差，即可确定 的分布性质 第66页/共89页67的期望：(无偏估计）的方差和标准误差(标准误差是方差的算术平方根)注意：以上各式中 未知，其余均是样本观测值的期望和方差第67页/共89页68可以证明的无偏估计为(

29、n-2为自由度,即可自由变化的样本观测值个数)对随机扰动项方差的估计第68页/共89页69在 已知时将作标准化变换第69页/共89页70 （1）当样本为大样本时，用估计的参数标准误差对 作标准化变换，所得Z 统计量仍可视为标准正 态变量（根据中心极限定理）（2）当样本为小样本时，可用 代替 ，去估 计参数的标准误差，用估计的参数标准误差对 作标准化变换，所得的 t 统计量不再服从正态分布（这时分母也是随机变量），而是服从 t 分布：当未知时第70页/共89页71二、回归系数的区间估计二、回归系数的区间估计概念：对参数作出的点估计是随机变量，虽然是无偏估计，但还不能说明估计的可靠性和精确性，需要

30、找到包含真实参数的一个范围，并确定这个范围包含参数真实值的可靠程度。在确定参数估计式概率分布性质的基础上，可找到两个正数和（），使得区间 包含真实 的概率为 ，即 这样的区间称为所估计参数的置信区间。第71页/共89页72 一般情况下,总体方差 未知，用无偏估计 去代替，由于样本容量较小，统计量 t 不再服从正态分布，而服从 t 分布。可用 t 分布去建立参数估计的置信区间。回归系数区间估计的方法第72页/共89页73 选定，查 t 分布表得显著性水平为 ，自 由度为 的临界值，则有即 第73页/共89页74三、回归系数的假设检验1.假设检验的基本思想为什么要作假设检验？所估计的回归系数、和方

31、差都是通过样本估计的，都是随抽样而变动的随机变量，它们是否可靠？是否抽样的偶然结果呢？还需要加以检验。第74页/共89页75 对回归系数假设检验的方式对回归系数假设检验的方式计量经济学中，主要是针对变量的参数真值是否为零来进行显著性检验的。目的：对简单线性回归，判断解释变量 是否是被解释变量 的显著影响因素。在一元线性模型中，就是要判断 是否对 具有显著的线性影响。这就需要进行变量的显著性检验。第75页/共89页76一般情况下，总体方差 未知，只能用 去代替，可利用 t 分布作 t 检验给定,查t分布表得如果或者则拒绝原假设,而接受备择假设如果则接受原假设2.回归系数的检验方法第76页/共89

32、页77 P用 P 值判断参数的显著性假设检验的 p 值：p值是基于既定的样本数据所计算的统计量，是拒绝原假设的最低显著性水平。统计分析软件中通常都给出了检验的 p 值统计量 t由样本计算的统计量为:相对于显著性水平 的临界值:或注意：t检验是比较 和P值检验是比较 和 p 与 相对应 与 P 相对应第77页/共89页78用P 值判断参数的显著性假设检验的 p p 值：p p 值是根据既定的样本数据所计算的统计量，拒绝原假设的最小显著性水平。统计分析软件中通常都给出了检验的 p p 值。第78页/共89页79方法：将给定的显著性水平 与 值比较：若 值，则在显著性水平 下拒绝原假设 ，即认为 对

33、 有显著影响若 值，则在显著性水平 下接受原假设 ，即认为 对 没有显著影响规则：当 时，值越小，越能拒绝原 假设用P值判断参数的显著性的方法第79页/共89页80 小小 结结1、变量间的关系：函数关系相关关系 相关系数对变量间线性相关程度的度量2、现代意义的回归：一个被解释变量对若干个 解释变量依存关系的研究 实质：由固定的解释变量去估计被解释变量的平均值第80页/共89页813、总体回归函数（PRF）：将总体被解释变量Y的条件均值表现为解释变量X 的某种函数 样本回归函数（SRF）：将被解释变量Y 的样本条件均值表示为解释变量X 的某种函数。总体回归函数与样本回归函数的区别与联系4、随机扰

34、动项：被解释变量实际值与条件均值的偏差，代表排除在模型以外的所有因素对Y的影响。第81页/共89页825、简单线性回归的基本假定：对模型和变量的假定 对随机扰动项u的假定 零均值假定:同方差假定:无自相关假定:随机扰动与解释变量不相关假定:正态性假定:第82页/共89页836、普通最小二乘法（OLS）估计参数的基本思想及估计式；第83页/共89页84期望期望：方差：标准差：OLS估计式是最佳线性无偏估计式。OLS估计式的分布性质第84页/共89页857 7、的无偏估计8 8、对回归系数区间估计的思想和方法第85页/共89页869、拟合优度：样本回归线对样本观测数据拟合的优劣程度，可决系数：在总变差分解基础上确定的，模型解释了的变差在总变差中的比重 可决系数的计算方法、特点与作用。第86页/共89页8710、对回归系数的假设检验 假设检验的基本思想 对回归系数 t 检验的思想与方法 用 P 值判断参数的显著性 第87页/共89页88 结束了！第88页/共89页89感谢您的观看。第89页/共89页