《统计学课件-第八章相关与回归分析.ppt》由会员分享，可在线阅读，更多相关《统计学课件-第八章相关与回归分析.ppt（92页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、统 计 学STATISTICS高等学校应用型特色规划教材清华大学出版社4/14/20231课件第八章第八章 相关与回归分析相关与回归分析第一节第一节 相关与回归分析的基本概念相关与回归分析的基本概念 第三节 一元线性回归分析 第四节 多元线性回归分析【学习目标】通过对本章的学习，重点掌握回归分析的估计和检验方法；掌握相关分析的种类及三种相关系数的计算方法；在此基础上能够运用相关分析和回归分析的基本方法解释实际社会经济问题。重点与难点：相关系数的计算及其检验；多元线性回归分析。第五节 非线性回归分析 第二节 相关分析 4/14/20232课件第一节 相关与回归分析的基本概念 （一）函数关系 一、
2、相关关系与函数关系 第八章第八章 相关与回归分析相关与回归分析 函数关系是指现象之间存在着严格的依存关系，函数关系是指现象之间存在着严格的依存关系，亦即当其它条件不变时，对于某一自变量或几个自亦即当其它条件不变时，对于某一自变量或几个自变量的每一数值，都有因变量的一个的确定值与之变量的每一数值，都有因变量的一个的确定值与之相对应，并且这种关系可以用一个确定的数学表达相对应，并且这种关系可以用一个确定的数学表达式反映出来。式反映出来。4/14/20233课件第一节 相关与回归分析的基本概念 （二）统计关系 一、相关关系与函数关系 第八章第八章 相关与回归分析相关与回归分析统计关系不同于函数关系，
3、当重复观测时，观测点统计关系不同于函数关系，当重复观测时，观测点不是完全落在统计关系曲线上，而是围绕统计关系不是完全落在统计关系曲线上，而是围绕统计关系曲线散布。统计关系可以表示为确定部分和随机性曲线散布。统计关系可以表示为确定部分和随机性部分二者之和，这是回归分析的基础。部分二者之和，这是回归分析的基础。相关关系相关关系因果关系因果关系4/14/20234课件案例分析案例分析相关关系与因果关系相关关系与因果关系一家研究机构有一项惊一家研究机构有一项惊人的发现：统计数据显人的发现：统计数据显示，脚长的儿童拼写能示，脚长的儿童拼写能力比脚短的儿童强。力比脚短的儿童强。原来他们调查的是一原来他们调
4、查的是一群年龄不同的儿童，群年龄不同的儿童，脚长的儿童比脚短的脚长的儿童比脚短的儿童年龄大！儿童年龄大！赶快回去量一赶快回去量一下儿子的脚长下儿子的脚长我要把脚拉长我要把脚拉长一点！一点！4/14/20235课件按涉及变量的多少分为按涉及变量的多少分为相相关关关关系系的的种种类类按照表现形式不同分为按照表现形式不同分为按照变化方向不同分为按照变化方向不同分为直线相关直线相关曲线相关曲线相关负相关负相关正相关正相关二、相关分析的种类二、相关分析的种类复相关复相关单相关单相关偏相关偏相关第八章第八章 相关与回归分析相关与回归分析4/14/20236课件4.按相关的程度分为按相关的程度分为相相关关关
5、关系系的的种种类类5.按变量之间因果按变量之间因果 关系的方向分为关系的方向分为完全相关完全相关不完全相关不完全相关不相关不相关双向因果相关双向因果相关单向因果相关单向因果相关虚假相关虚假相关第八章第八章 相关与回归分析相关与回归分析4/14/20237课件第一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析三、相关分析与回归分析 回归分析是关于研究一个叫做因变量的变量回归分析是关于研究一个叫做因变量的变量对另一个或多个叫做解释变量的依赖关系。对另一个或多个叫做解释变量的依赖关系。相关分析是测度两个变量之间的线性关联相关分析是测度两个变量之间的线性关联度的，并用一些指数
6、度的，并用一些指数(相关系数相关系数)表示相关程度。表示相关程度。4/14/20238课件第一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析三、相关分析与回归分析三、相关分析与回归分析 q相关分析中相关分析中x与与y对等，回归分析中对等，回归分析中x与与y要要确定自变量和因变量；确定自变量和因变量；q相关分析中相关分析中x、y均为随机变量，回归分析均为随机变量，回归分析中只有中只有y为随机变量；为随机变量；q相关分析测定相关程度和方向，回归分析相关分析测定相关程度和方向，回归分析用回归模型进行预测和控制。用回归模型进行预测和控制。区别：区别：4/14/20239课件第
7、一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析三、相关分析与回归分析三、相关分析与回归分析联系：联系：q 相关分析是回归分析的基础和前提。相关分析是回归分析的基础和前提。q 回归分析是相关分析的深入和继续。回归分析是相关分析的深入和继续。4/14/202310课件第一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析四、相关表与相关图四、相关表与相关图 (一一)简单相关表简单相关表 将某一变量按其取值的大小排列，然后再将某一变量按其取值的大小排列，然后再将与其相关的另一变量的对应值平行排列，将与其相关的另一变量的对应值平行排列，便得到简单的相关
8、表。便得到简单的相关表。4/14/202311课件第一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析 企业编号企业编号月产量（千吨）月产量（千吨）X生产费用生产费用(万元万元)Y123456781.22.03.13.85.06.17.28.0628680110115132135160八个同类工业企业的月产量与生产费用八个同类工业企业的月产量与生产费用4/14/202312课件第一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析四、相关表与相关图四、相关表与相关图 (二二)分组相关表分组相关表 单变量分组表单变量分组表 双变量分组表双变量分组表
9、三变量分组表。三变量分组表。4/14/202313课件第一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析 1.单变量分组表单变量分组表 表表 某纺织厂工人看管织机台数和时劳动生产率相关表某纺织厂工人看管织机台数和时劳动生产率相关表 4/14/202314课件第一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析 2.双变量分组表双变量分组表 表居住时间与对百货商场的熟悉程度的双变量分组表表居住时间与对百货商场的熟悉程度的双变量分组表4/14/202315课件第一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析 3.三变量分
10、组表三变量分组表 假定对于某项私家车购买意向的调查，最初以教育水假定对于某项私家车购买意向的调查，最初以教育水平和私家车拥有情况进行分析，对平和私家车拥有情况进行分析，对1000人调查的结人调查的结果用二维列联表表示如：果用二维列联表表示如：4/14/202316课件第一节 相关与回归分析的基本概念 第八章第八章 相关与回归分析相关与回归分析 3.三变量分组表三变量分组表 表教育程度和私家车拥有状况的双变量分析表教育程度和私家车拥有状况的双变量分析4/14/202317课件第八章第八章 相关与回归分析相关与回归分析 从上表中可以看出，文化程度越高的人拥有私家车的比例从上表中可以看出，文化程度越
11、高的人拥有私家车的比例越高，这和实际情况不太相符，于是我们引入收入变量，作三越高，这和实际情况不太相符，于是我们引入收入变量，作三变量的交叉列表分析：变量的交叉列表分析：教育程度、收入与私家车拥有状况的三变量分析教育程度、收入与私家车拥有状况的三变量分析 私家私家车拥车拥有状况有状况收入水平收入水平低收入低收入高收入高收入教育程度教育程度教育程度教育程度本科及以上本科及以上本科以下本科以下本科及以上本科及以上本科以下本科以下有有没有没有20%（20）80%（80）20%（140）80%（560）40%（60）60%（90）40%（20）60%（30）列合列合计计100%100%100%100%
12、被被调查调查者人数者人数100700150504/14/202318课件正正 相相 关关负负 相相 关关曲线相关曲线相关不不 相相 关关xyxyxyxy第八章第八章 相关与回归分析相关与回归分析（三）相关图4/14/202319课件第八章第八章 相关与回归分析相关与回归分析 第二节第二节 相关分析相关分析 一、简单相关系数及其检验一、简单相关系数及其检验(一一)简单相关系数的定义简单相关系数的定义 简单简单相关系数相关系数简简称相关系数，是称相关系数，是测测量两个量两个变变量之量之间线间线性性相关的方向和程度的指相关的方向和程度的指标标。总体相关系数的表达式为：总体相关系数的表达式为：式中：式
13、中：为变量为变量X与变量与变量Y的的协协方差方差 为变为变量量Y的方差的方差为变为变量量X的方差的方差4/14/202320课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节 相关分析相关分析 一、简单相关系数及其检验一、简单相关系数及其检验 (一一)简单相关系数的定义简单相关系数的定义 样样本相关系数本相关系数是是总总体相关系数体相关系数的估的估计值计值。简单相关系数通常采用下面的计算公式：简单相关系数通常采用下面的计算公式：4/14/202321课件相关系数相关系数r r的取值范围：的取值范围：-1r1-1r1r0 为为正相关，正相关，r 0 为负相关；为负相关；|r|=0 表示
14、不存在表示不存在线性线性线性线性关系；关系；|r|1 表示表示完全完全线性线性线性线性相关；相关；0|r|10|r|1表示存在表示存在表示存在表示存在不同程度线性相关：不同程度线性相关：不同程度线性相关：不同程度线性相关：|r|0.4 为低度线性相关；为低度线性相关；0.4|r|0.7为显著性线性相关；为显著性线性相关；0.7|r|1.0为高度显著性线性相关。为高度显著性线性相关。第八章第八章 相关与回归分析相关与回归分析4/14/202322课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节 相关分析相关分析 一、简单相关系数及其检验一、简单相关系数及其检验 (二二)简单相关系数的
15、检验简单相关系数的检验样本相关系数的检验有两种方法：样本相关系数的检验有两种方法：直接检验法，直接检验法，检验法。检验法。4/14/202323课件相关系数的显著性检验（相关系数的显著性检验（t t检验法）检验法）提出假设：提出假设：目的目的检验检验总体总体两变量间线性相关性是否显著两变量间线性相关性是否显著步步骤骤构造检验统计量：构造检验统计量：第八章第八章 相关与回归分析相关与回归分析4/14/202324课件相关系数的显著性检验（相关系数的显著性检验（t t检验法）检验法）根据给定的显著性水平根据给定的显著性水平，确定临界值确定临界值 ；计算检验统计量并做出决策。计算检验统计量并做出决策
16、。确定原假设的拒绝规则确定原假设的拒绝规则:若若 ，则接受，则接受H H0 0,表示总体两表示总体两变量间线性相关性不显著变量间线性相关性不显著;若若 ，则拒绝，则拒绝H H0 0,表示总体两表示总体两变量间线性相关性显著变量间线性相关性显著步步骤骤第八章第八章 相关与回归分析相关与回归分析4/14/202325课件第八章第八章 相关与回归分析相关与回归分析【例】【例】【例】【例】检验生产量与生产费用之间的线性相关性是否显著。检验生产量与生产费用之间的线性相关性是否显著。检验生产量与生产费用之间的线性相关性是否显著。检验生产量与生产费用之间的线性相关性是否显著。当当 成立时，则统计量成立时，则
17、统计量4/14/202326课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节 相关分析相关分析 二、复相关系数 复相关系数是测量一个变量与其它多个变量之间线性相关复相关系数是测量一个变量与其它多个变量之间线性相关程度的指标。程度的指标。为了测定一个变量为了测定一个变量y与其它多个变量与其它多个变量 之间之间的相关系数，可以考虑构造一个关于的线性组合，通过计算的相关系数，可以考虑构造一个关于的线性组合，通过计算该线性组合与之间的简单相关系数作为变量与之间的复相关该线性组合与之间的简单相关系数作为变量与之间的复相关系数。具体计算过程如下：系数。具体计算过程如下：第一步，用第一步，用 y
18、 对对作回作回归归，得，得4/14/202327课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节 相关分析相关分析 ；第二步，第二步，计计算算 y 和的的简单简单相关系数，此相关系数，此简单简单相关系数即相关系数即为为y与与 之间的复相关系数。之间的复相关系数。复相关系数的计算公式为：复相关系数的计算公式为：4/14/202328课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节 相关分析相关分析 二、复相关系数 ；复相关系数与简单相关系数的区别是简单相关系数的复相关系数与简单相关系数的区别是简单相关系数的取值范围是取值范围是-1,1，而复相关系数的取值范围是，而复相关系
19、数的取值范围是0,1。这是因为，在两个变量的情况下，回归系数有正负之分，这是因为，在两个变量的情况下，回归系数有正负之分，所以在研究相关时，也有正相关和负相关之分；但在多个所以在研究相关时，也有正相关和负相关之分；但在多个变量时，偏回归系数有两个或两个以上，其符号有正有负，变量时，偏回归系数有两个或两个以上，其符号有正有负，不能按正负来区别，所以复相关系数也就只取正值。不能按正负来区别，所以复相关系数也就只取正值。4/14/202329课件第八章第八章 相关与回归分析相关与回归分析 当两个变量同时受其它变量影响时，有必要研究当控当两个变量同时受其它变量影响时，有必要研究当控制其它变量不变时，该
20、两个变量之间的相关关系。这种相制其它变量不变时，该两个变量之间的相关关系。这种相关关系被称为偏相关关系。关关系被称为偏相关关系。第五节第五节 相关分析相关分析 三、偏相关系数 ；计算偏相关系数的原因在于任何两个变量这间的相关计算偏相关系数的原因在于任何两个变量这间的相关关系都可能受其余变量的影响。要考察两个变量之间的纯关系都可能受其余变量的影响。要考察两个变量之间的纯相关关系，必须排除其余变量的影响，或者说必须使其余相关关系，必须排除其余变量的影响，或者说必须使其余变量保持不变。变量保持不变。4/14/202330课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节 相关分析相关分析
21、三、偏相关系数 偏相关系数的计算是以回归分析为基础的。以三个变量的情偏相关系数的计算是以回归分析为基础的。以三个变量的情形为例，此种情况下，的偏相关系数有三个，分别记作形为例，此种情况下，的偏相关系数有三个，分别记作 为为与与之之间间的相关系数；的相关系数；保持不保持不变时变时，、和和 之之间间的相关系数；的相关系数；与与为为保持不保持不变时变时，之之间间的相关系数；的相关系数；为为与与 保持不保持不变时变时，之之间间的相关系数；的相关系数；4/14/202331课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节 相关分析相关分析 计算残差计算残差此此时时中不再含有中不再含有对对的影
22、响。的影响。第二步，求第二步，求对对的回的回归归估估计计式式计算残差计算残差此此时时中不再含有中不再含有对对的影响。的影响。第一步，求第一步，求对对的回的回归归估估计计式式4/14/202332课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节 相关分析相关分析 第三步，第三步，计计算算和和的的简单简单相关系数相关系数由于由于和和中都不再包含中都不再包含的影响，因此的影响，因此和和的的简单简单相关系数就是相关系数就是保持不保持不变时变时，与与之之间间的相关系数。的相关系数。所以偏相关系数所以偏相关系数4/14/202333课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节
23、相关分析相关分析 三、偏相关系数 可以证明，可以证明，4/14/202334课件第八章第八章 相关与回归分析相关与回归分析 第五节第五节 相关分析相关分析 三、偏相关系数 类似的类似的 当变量个数多于当变量个数多于3个时，求偏相关系数的原则不变，即个时，求偏相关系数的原则不变，即应先排除其余变量对所考察两个变量的影响，然后求这两个应先排除其余变量对所考察两个变量的影响，然后求这两个变量之间的简单相关系数。只是变量越多，数学处理以及偏变量之间的简单相关系数。只是变量越多，数学处理以及偏相关系数的表达式就越复杂。相关系数的表达式就越复杂。4/14/202335课件第二节 一元线性回归分析第八章第八
24、章 相关与回归分析相关与回归分析一、一元线性回归分析随机误差项的基本假定 在回归分析中，最简单最基本的单方程模型为一元线性在回归分析中，最简单最基本的单方程模型为一元线性回归模型。回归模型。一元线性回归分析的总体回归模型为：一元线性回归分析的总体回归模型为：为常数项或截距项，为常数项或截距项，为斜率系数为斜率系数,是随机误差是随机误差项项,又称随机干扰项又称随机干扰项。4/14/202336课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析一、一元线性回归分析随机误差项的基本假定 第二，模型的设定误差。第二，模型的设定误差。在线性回归模型中加入随机误差项是基于以下原因：在线
25、性回归模型中加入随机误差项是基于以下原因：第一，模型不可能包含所有的解释变量。第一，模型不可能包含所有的解释变量。第三，测量误差的影响。第三，测量误差的影响。第四，其他随机因素的影响。第四，其他随机因素的影响。4/14/202337课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析一、一元线性回归分析随机误差项的基本假定 线性回归模型由两部分构成，确定性部分和随机性部分，线性回归模型由两部分构成，确定性部分和随机性部分，为确定性部分，称为对于给定值的期望值，可以写为：为确定性部分，称为对于给定值的期望值，可以写为：上式被称为总体线性回归方程。上式被称为总体线性回归方程。4/
26、14/202338课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析一、一元线性回归分析随机误差项的基本假定 满足以下假定的线性回归模型称为满足以下假定的线性回归模型称为古典（或经典）线性回归模型古典（或经典）线性回归模型 假定假定1：回归模型是正确设定的：回归模型是正确设定的假定假定2：解释变量是非随机的：解释变量是非随机的假定假定3：随机误差项的均值为零：随机误差项的均值为零假定假定4：随机误差项的方差为一个不变的常数（等方差假定）：随机误差项的方差为一个不变的常数（等方差假定）假定假定5：随机误差项的观测值互不相关（非序列相关假定）：随机误差项的观测值互不相关（非序列
27、相关假定）假定假定6：解释变量与随机误差项不相关：解释变量与随机误差项不相关假定假定7：随机误差项服从正态分布：随机误差项服从正态分布假定假定8：没有一个解释变量是其他任何解释变量的完全线性组合：没有一个解释变量是其他任何解释变量的完全线性组合（无多重共线性假定，只适用于多元线性回归模型）（无多重共线性假定，只适用于多元线性回归模型）4/14/202339课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析二、一元线性回归模型的估计 最小二乘法的意义在于使最小二乘法的意义在于使为了得到这些估计值而最为广泛使用的方法就是普通最小二乘法为了得到这些估计值而最为广泛使用的方法就是普
28、通最小二乘法 为样本回归方程。为样本回归方程。达到最小来确定达到最小来确定、一般用一般用、分别表分别表 分别表示参数的估计分别表示参数的估计称称为为回回归归残差残差4/14/202340课件残差残差(Residual):4/14/202341课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析二、一元线性回归模型的估计二、一元线性回归模型的估计 根据微积分的极值定理，对 求相应于 、的偏导数，并令其等于0，即可求得：4/14/202342课件b与与r的关系：的关系：r0 r0 r=0b0 b0 b=0第八章第八章 相关与回归分析相关与回归分析4/14/202343课件第二节
29、一元线性回归分析第八章第八章 相关与回归分析相关与回归分析二、一元线性回归模型的估计二、一元线性回归模型的估计 样本回归直线具有下述性质：样本回归直线具有下述性质：第一、它通过第一、它通过 y 和和 x 的样本平均数的样本平均数 和和 确定的那一点；确定的那一点；第二、第二、的平均值和的平均值和 的平均值相等；的平均值相等；第三、残差的平均值是零；第三、残差的平均值是零；第四、残差和第四、残差和 不相关；不相关；第五、残差与第五、残差与x不相关。不相关。4/14/202344课件【分析】【分析】因为工业总产值与能源消耗量之间存因为工业总产值与能源消耗量之间存在高度正相关关系（在高度正相关关系（
30、），），所以可以拟合工业总产值对能源消耗量的线性所以可以拟合工业总产值对能源消耗量的线性回归方程。回归方程。【例】【例】建立工业总产值对能源消耗量的线性回建立工业总产值对能源消耗量的线性回归方程归方程。解：设解：设线性回归方程为线性回归方程为第八章第八章 相关与回归分析相关与回归分析4/14/202345课件序号序号能源消耗量能源消耗量（十万吨）（十万吨）x工业总产值工业总产值（亿元）（亿元）yx2y2xy12345678910111213141516353840424952545962646568697172762425242832313740414047504951485812251444
31、16001764240127042916348138444096422546244761504151845776576625576784102496113691600168116002209250024012601230433648409509601176156816121998236025422560305534003381362134564408合计合计91662555086 26175378874/14/202346课件第八章第八章 相关与回归分析相关与回归分析即线性回归方程为：线性回归方程为：计算结果表明，在其他条件不变时，能源消耗计算结果表明，在其他条件不变时，能源消耗量每增加一个单
32、位（十万吨），工业总产值将量每增加一个单位（十万吨），工业总产值将增加增加0.79610.7961个单位（亿元）。个单位（亿元）。4/14/202347课件第二节节 一元线性回归分析一元线性回归分析第八章第八章 相关与回归分析相关与回归分析二、一元线性回归模型的估计二、一元线性回归模型的估计 在回归分析中，不要试着对常数项进行解释，原因有两点：在回归分析中，不要试着对常数项进行解释，原因有两点：首先，随机误差项部分地是由于忽略了许多边缘自变首先，随机误差项部分地是由于忽略了许多边缘自变量而生成的，这些变量的平均效应被置于常数项中。量而生成的，这些变量的平均效应被置于常数项中。其次，常数项是当所
33、有自变量与误差项为其次，常数项是当所有自变量与误差项为0时，因变时，因变量的值，但是自变量与随机误差项的值几乎从不等于量的值，但是自变量与随机误差项的值几乎从不等于0，因为用作经济分析的变量通常是正的。，因为用作经济分析的变量通常是正的。4/14/202348课件第二节第二节 一元线性回归分析一元线性回归分析第八章第八章 相关与回归分析相关与回归分析二、一元线性回归模型的估计二、一元线性回归模型的估计 2.大样本性质大样本性质 无偏性无偏性(二二)一元线性回归模型最小二乘估计量的性质一元线性回归模型最小二乘估计量的性质1.小样本性质小样本性质线性线性 有效性有效性 渐近无偏性渐近无偏性 一致性
34、一致性 4/14/202349课件第二节第二节 一元线性回归分析一元线性回归分析第八章第八章 相关与回归分析相关与回归分析三、一元线性回归模型的拟合程度分析三、一元线性回归模型的拟合程度分析 (一一)一元线性回归模型的判定系数一元线性回归模型的判定系数4/14/202350课件第八章第八章 相关与回归分析相关与回归分析剩余离差平方和剩余离差平方和回归离差回归离差平方和平方和总离差平方和总离差平方和4/14/202351课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析三、一元线性回归模型的拟合程度分析三、一元线性回归模型的拟合程度分析 可以证明，对上式两边分别平方加总后等式
35、仍然成立，即：可以证明，对上式两边分别平方加总后等式仍然成立，即：(一一)一元线性回归模型的判定系数一元线性回归模型的判定系数 可简写为：可简写为：TSSESSRSS4/14/202352课件第二节第二节 一元线性回归分析一元线性回归分析第八章第八章 相关与回归分析相关与回归分析三、一元线性回归模型的拟合程度分析三、一元线性回归模型的拟合程度分析 判定系数测度了回归直线对观测数据的拟合程度判定系数测度了回归直线对观测数据的拟合程度,记为记为 (一一)一元线性回归模型的判定系数一元线性回归模型的判定系数 4/14/202353课件判定系数与相关系数的关系判定系数与相关系数的关系第八章第八章 相关
36、与回归分析相关与回归分析4/14/202354课件判定系数与相关系数的区别：判定系数与相关系数的区别：q判定系数无方向性，相关系数则有方向，判定系数无方向性，相关系数则有方向，其方向与样本回归系数其方向与样本回归系数 b 相同；相同；q判定系数说明变量值的总离差平方和中判定系数说明变量值的总离差平方和中可以用回归线来解释的比例，相关系数可以用回归线来解释的比例，相关系数只说明两变量间关联程度及方向；只说明两变量间关联程度及方向；第八章第八章 相关与回归分析相关与回归分析4/14/202355课件第二节第二节 一元线性回归分析一元线性回归分析第八章第八章 相关与回归分析相关与回归分析三、一元线性
37、回归模型的拟合程度分析三、一元线性回归模型的拟合程度分析 估计标准误差是指实际值与估计值的平均离差。估计标准误差是指实际值与估计值的平均离差。其定义公式如下：其定义公式如下：(二二)一元线性回归模型的估计标准误一元线性回归模型的估计标准误估计标准差越小，则变量间相关程度越高，回归估计标准差越小，则变量间相关程度越高，回归估计标准差越小，则变量间相关程度越高，回归估计标准差越小，则变量间相关程度越高，回归线对线对线对线对Y Y的解释程度越高。的解释程度越高。的解释程度越高。的解释程度越高。4/14/202356课件第二节 一元线性回归分析一元线性回归分析第八章第八章 相关与回归分析相关与回归分析
38、四、一元线性回归模型的显著性检验四、一元线性回归模型的显著性检验 根据正态分布下最小二乘估计量的性质，可求出的抽样分布为：根据正态分布下最小二乘估计量的性质，可求出的抽样分布为：(一一)回归系数的显著性检验回归系数的显著性检验 回回归归系数的系数的显显著性著性检验检验就是要就是要检验检验自自变变量量对对因因变变量的影响量的影响程度是否程度是否显显著的著的问题问题。若。若总总体回体回归归系数系数 ，则总体回归则总体回归线就是一条水平线，说明两个变量之间没有线性关系，即自线就是一条水平线，说明两个变量之间没有线性关系，即自变量的变化对因变量没有影响。变量的变化对因变量没有影响。4/14/20235
39、7课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析四、一元线性回归模型的显著性检验四、一元线性回归模型的显著性检验 （1）建立原假设）建立原假设假设样本从一个没有线性关系的总体中选出，即假设样本从一个没有线性关系的总体中选出，即 (一一)回归系数的显著性检验回归系数的显著性检验（2）计计算算检验统计检验统计量量t值值其中，其中，4/14/202358课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析四、一元线性回归模型的显著性检验四、一元线性回归模型的显著性检验 （4）得出检验结果）得出检验结果 (一一)回归系数的显著性检验回归系数的显著性检验 （3）
40、确定显著性水平）确定显著性水平(一般取一般取0.05)，并根据自，并根据自由度由度 查查 分布表，找出相应的临界值分布表，找出相应的临界值,表明自变量表明自变量x对因变量对因变量y的影响是显著的。的影响是显著的。，拒，拒绝绝若若,表明自变量表明自变量x对因变量对因变量y的影响是显著的。的影响是显著的。,拒拒绝绝若若4/14/202359课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析四、一元线性回归模型的显著性检验四、一元线性回归模型的显著性检验 (二二)回归方程总体显著性的回归方程总体显著性的F检验检验 F检验的基本步骤为：检验的基本步骤为：（1）建立原假设备择假设）建
41、立原假设备择假设由于备择假设和原假设是对立的，所以备择假设为：由于备择假设和原假设是对立的，所以备择假设为：至少有一个至少有一个不不为为0。（2）计算）计算F 统计量统计量 4/14/202360课件第二节 一元线性回归分析第八章第八章 相关与回归分析相关与回归分析四、一元线性回归模型的显著性检验四、一元线性回归模型的显著性检验 在原假设成立的条件下，在原假设成立的条件下，F 统计量服从第一个自由度统计量服从第一个自由度为为 ，第二个自由度为，第二个自由度为 的的 F 分布。分布。在一元回在一元回归归下，下，F 统计量简化为：统计量简化为：4/14/202361课件第二节 一元线性回归分析第八
42、章第八章 相关与回归分析相关与回归分析四、一元线性回归模型的显著性检验四、一元线性回归模型的显著性检验 （3）确定显著性水平）确定显著性水平a(一般取一般取a=0.05)，并根据两个自由，并根据两个自由度查度查F 分布表，得到相应的临界值分布表，得到相应的临界值 。，则接受原假设，说明回归方程在整体上不显著。，则接受原假设，说明回归方程在整体上不显著。（4）得出检验结果）得出检验结果若若,则则拒拒绝绝，说明回归方程在整体上是显著的；，说明回归方程在整体上是显著的；若若 4/14/202362课件第八章第八章 相关与回归分析相关与回归分析 多元线性回归模型的一般表示式为：多元线性回归模型的一般表
43、示式为：与多元线性回归模型相对应的总体回归方程为：与多元线性回归模型相对应的总体回归方程为：样本回归模型为：样本回归模型为：第三节第三节 多元线性回归分析多元线性回归分析一、多元线性回归模型一、多元线性回归模型(一一)多元线性回归模型的矩阵表示多元线性回归模型的矩阵表示样本回归方程为：样本回归方程为：4/14/202363课件第八章第八章 相关与回归分析相关与回归分析 第三节第三节 多元线性回归分析多元线性回归分析假假设为设为了得到未知参数的估了得到未知参数的估计值计值，我，我们对们对被解被解释变释变量和解量和解释变释变量量进进行了行了n次观测，代入多元线性回归模型，可得次观测，代入多元线性回
44、归模型，可得n个随机模型：个随机模型：一、多元线性回归模型一、多元线性回归模型(一一)多元线性回归模型的矩阵表示多元线性回归模型的矩阵表示4/14/202364课件第八章第八章 相关与回归分析相关与回归分析 为了使多元线性回归分析和计算更方便、更简洁，可以用矩为了使多元线性回归分析和计算更方便、更简洁，可以用矩阵形式表示：阵形式表示：第三节第三节 多元线性回归分析多元线性回归分析一、多元线性回归模型一、多元线性回归模型(一一)多元线性回归模型的矩阵表示多元线性回归模型的矩阵表示4/14/202365课件第八章第八章 相关与回归分析相关与回归分析 第三节第三节 多元线性回归分析多元线性回归分析定
45、义定义依照矩阵运算法则，上式可表示为：依照矩阵运算法则，上式可表示为：类似的，定义类似的，定义4/14/202366课件第八章第八章 相关与回归分析相关与回归分析 我们把基本假定用矩阵的形式表示出来：我们把基本假定用矩阵的形式表示出来：第三节第三节 多元线性回归分析多元线性回归分析一、多元线性回归模型一、多元线性回归模型(二二)多元线性回归模型的基本假定多元线性回归模型的基本假定1.零均值假定可以表示为：零均值假定可以表示为：4/14/202367课件第八章第八章 相关与回归分析相关与回归分析 第三节第三节 多元线性回归分析多元线性回归分析2.同方差和无序列相关可以表示为：同方差和无序列相关可
46、以表示为：4/14/202368课件第八章第八章 相关与回归分析相关与回归分析4.解释变量与随机误差项不相关假定可表示为：解释变量与随机误差项不相关假定可表示为：或或 第三节第三节 多元线性回归分析多元线性回归分析 3.随机误差项服从正态分布可以表示为随机误差项服从正态分布可以表示为：解释变量之间不存在多重共线性可表示为：解释变量之间不存在多重共线性可表示为：如果上成立，如果上成立，至少有k+1阶阶子式不子式不为为零，表明解零，表明解释变释变量之量之间间也就是要求系数行列式也就是要求系数行列式不存在线性相关关系。不存在线性相关关系。等价于等价于4/14/202369课件第八章第八章 相关与回归
47、分析相关与回归分析 由样本回归模型由样本回归模型 和样本回归方程和样本回归方程 ，可，可得残差向量为：得残差向量为：第三节第三节 多元线性回归分析多元线性回归分析 二、多元线性回归模型的估计二、多元线性回归模型的估计 (一一)参数的普通最小二乘估计参数的普通最小二乘估计 对对上式两上式两边边分分别对别对求一求一阶导阶导数，并令一数，并令一阶阶偏偏导导数数为为零，得零，得 由假定由假定，可以得到参数估，可以得到参数估计计量量为为：4/14/202370课件第八章第八章 相关与回归分析相关与回归分析 第三节第三节 多元线性回归分析多元线性回归分析 二、多元线性回归模型的估计二、多元线性回归模型的估
48、计 (一一)参数的普通最小二乘估计参数的普通最小二乘估计 对对上式两上式两边边分分别对别对求一求一阶导阶导数，并令一数，并令一阶阶偏偏导导数数为为零，得零，得 由假定由假定，可以得到参数估，可以得到参数估计计量量为为：4/14/202371课件第八章第八章 相关与回归分析相关与回归分析 第三节第三节 多元线性回归分析多元线性回归分析二、多元线性回归模型的估计二、多元线性回归模型的估计(二二)参数普通最小二乘估计量的性质和分布参数普通最小二乘估计量的性质和分布在多元线性回归条件下，参数的最小二乘估计仍然具有线性、在多元线性回归条件下，参数的最小二乘估计仍然具有线性、无偏性和最小方差性。无偏性和最
49、小方差性。由于由于,可以可以看出看出具有线性特性，具有线性特性，稍加变换，它还是稍加变换，它还是的线性组合。的线性组合。由此可见由此可见是无偏的。是无偏的。4/14/202372课件第八章第八章 相关与回归分析相关与回归分析 在无偏性的基础上，我们可以得到在无偏性的基础上，我们可以得到 的方差的方差-协方差矩阵：协方差矩阵：第三节第三节 多元线性回归分析多元线性回归分析二、多元线性回归模型的估计二、多元线性回归模型的估计(二二)参数普通最小二乘估计量的性质和分布参数普通最小二乘估计量的性质和分布4/14/202373课件第八章第八章 相关与回归分析相关与回归分析 第三节第三节 多元线性回归分析
50、多元线性回归分析二、多元线性回归模型的估计二、多元线性回归模型的估计(二二)参数普通最小二乘估计量的性质和分布参数普通最小二乘估计量的性质和分布由于由于的线性组合，而的线性组合，而假定是服从正态分布的，所以也是服从正态分布的，即也是服从正态分布的，即由于由于是不可观测的，所以其方差是不可观测的，所以其方差没有办法计算出来，没有办法计算出来，因此因此的方差-协方差矩阵的估计值为：是是只能进行估计。可以证明：只能进行估计。可以证明：4/14/202374课件第八章第八章 相关与回归分析相关与回归分析 在多元线性回归模型中，总平方和仍可分解为回归平方和和残差平方和.第三节第三节 多元线性回归分析多元