《MINITAB应用质量管理技术系列培训A阶段回归分析.pptx》由会员分享，可在线阅读，更多相关《MINITAB应用质量管理技术系列培训A阶段回归分析.pptx（48页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、6 6-回归分析回归分析回归分析回归分析（RegressionRegression）第1页/共48页 某种合成纤维的强度与其拉伸倍数有某种合成纤维的强度与其拉伸倍数有关。下表是关。下表是2424个纤维样品的强度与相应的个纤维样品的强度与相应的拉伸倍数的实测记录。试求拉伸倍数的实测记录。试求y y关于关于x x的线性的线性回归方程。回归方程。引例引例1一元线性回归分析（一元线性回归分析（Simple Linear RegressionSimple Linear Regression）第2页/共48页一元线性回归分析（一元线性回归分析（Simple Linear RegressionSimple
2、Linear Regression）第3页/共48页一元线性回归分析（一元线性回归分析（Simple Simple Linear RegressionLinear Regression）引例引例2 在改进某合金强度的项目中，在改进某合金强度的项目中，6西格玛小组认为西格玛小组认为在某合金加工过程中影响其强度的可能的关键影响因在某合金加工过程中影响其强度的可能的关键影响因素是碳含量，为了调查碳含量对合金强度的影响，小素是碳含量，为了调查碳含量对合金强度的影响，小组在生产现场一对一地收集了碳含量与合金强度的数组在生产现场一对一地收集了碳含量与合金强度的数据。数据见（引用据。数据见（引用1）问：碳含
3、量对合金强度是否有影响？其影响强问：碳含量对合金强度是否有影响？其影响强度有多大？度有多大？6 6-第4页/共48页一元线性回归分析（一元线性回归分析（Simple Linear RegressionSimple Linear Regression）第5页/共48页分析阶段分析阶段定量分定量分析工具析工具6 6-单样本单样本T-检验检验双样本双样本T-检验检验F-检验检验方差分析方差分析一般线性模型一般线性模型一元线性回归一元线性回归多元线性回归多元线性回归一般线性模型一般线性模型卡方检验卡方检验二项逻辑回归二项逻辑回归二项逻辑回归二项逻辑回归连续连续连续连续非连续非连续非连续非连续YX回归分
4、析（回归分析（Regression）第6页/共48页6 6-回归分析回归分析（RegressionRegression）l回归分析是根据试验或观测得到的数据结果，分析、回归分析是根据试验或观测得到的数据结果，分析、推断哪些因素对过程的推断哪些因素对过程的Y Y有着显著的影响，以及影响有着显著的影响，以及影响大小的常用工具大小的常用工具l回归分析研究的是在一项观测或实验中，回归分析研究的是在一项观测或实验中，X X的变化的变化是否对是否对Y Y产生影响及影响的大小。产生影响及影响的大小。l一元和多元线性回归分析中，一元和多元线性回归分析中，X X和和Y Y都是连续型数据。都是连续型数据。回归分析
5、的基本统计原理简介回归分析的基本统计原理简介第7页/共48页6 6-回归分析回归分析（RegressionRegression）l回归分析可以帮助我们寻找潜在的回归分析可以帮助我们寻找潜在的X X，以及确定它们，以及确定它们与与Y Y的关系。的关系。l通过回归分析，确定通过回归分析，确定X X对对Y Y是否有显著的影响是否有显著的影响(统计显统计显著性著性)，以及他们对，以及他们对Y Y的影响程度的影响程度实践显著性。实践显著性。l获得获得X X和和Y Y的线性模型（建模），用的线性模型（建模），用X X预测预测Y Y。第8页/共48页一元线性回归分析（一元线性回归分析（一元线性回归分析（一元
6、线性回归分析（Simple Simple Linear RegressionLinear Regression）l在回归分析中，我们假设在回归分析中，我们假设X对对Y的影响是线性的。的影响是线性的。l当只考虑一个当只考虑一个X对对Y的影响时，称为一元线性回归。的影响时，称为一元线性回归。（X与与Y都是连续型数据）都是连续型数据）l在收集数据时，将在收集数据时，将X与与Y一一对应，即：收集到一一对应，即：收集到每一个每一个X和与其对应的和与其对应的Y。一元线性回归分析（Simple Linear Regression）第9页/共48页一元线性回归分析（Simple Linear Regressi
7、on）例例1 在改进某合金强度的项目中，在改进某合金强度的项目中，6 6西格玛小组认为在西格玛小组认为在某合金加工过程中影响其强度的可能的关键影响因素某合金加工过程中影响其强度的可能的关键影响因素是碳含量，为了调查碳含量对合金强度的影响，小组是碳含量，为了调查碳含量对合金强度的影响，小组在生产现场一对一地收集了碳含量与合金强度的数据。在生产现场一对一地收集了碳含量与合金强度的数据。数据见（回归分析（引用数据见（回归分析（引用1 1）问：碳含量对合金强度是否有影响？其影响强问：碳含量对合金强度是否有影响？其影响强度有多大？度有多大？6 6-第10页/共48页数据输出结果数据输出结果第11页/共4
8、8页多元线性回归分析（Multiple Linear Regression）例例 在某平炉炼钢过程中，由于矿石和炉气的在某平炉炼钢过程中，由于矿石和炉气的氧化作用，铁水的总含炭量在不断降低。试氧化作用，铁水的总含炭量在不断降低。试分析一炉钢的去碳量分析一炉钢的去碳量Y Y与所加的两种矿石量与所加的两种矿石量X1X1、X2X2及融化时间及融化时间X3X3是否有关。数据见（回归是否有关。数据见（回归分析（引用分析（引用2 2）第12页/共48页多元回归分析多元回归分析1 1 多元线性回归分析基本理论多元线性回归分析基本理论2 2 标准的多元线性回归模型标准的多元线性回归模型3 3 多元线性回归模型
9、的估计多元线性回归模型的估计4 4 多元线性回归模型的检验多元线性回归模型的检验5 5 多元线性回归模型预测多元线性回归模型预测6 6 多元线性回归模型的多元线性回归模型的MinitabMinitab实现实现7 7 多元非线性回归多元非线性回归多元线性回归分析（多元线性回归分析（Multiple Linear Regression）第13页/共48页1 多元线性回归分析的基本理论 u 多元线性回归是简单线性回归的推广多元线性回归是简单线性回归的推广,指指的是多个因变量对多个自变量的回归的是多个因变量对多个自变量的回归(Multivariate Regression)(Multivariate
10、Regression)，最常用的是一，最常用的是一个因变量对多个自变量的回归。个因变量对多个自变量的回归。多元线性回归分析（Multiple Linear Regression）第14页/共48页因变量y自变量x1自变量x2自变量xk返回目录多元线性回归分析（Multiple Linear Regression）第15页/共48页计算估计多元回归方程计算估计多元回归方程u多元线性回归模型多元线性回归模型u u多元线性回归方程多元线性回归方程u 样本数据：样本数据：x x1 1 x x2 2 x xk k y y.b b1 1,b,b2 2,b,bk k是是 1 1,2 2,k k的估计值的估计
11、值2 2 标准的多元线性回归模型标准的多元线性回归模型多元线性回归分析（Multiple Linear Regression）第16页/共48页多元线性回归模型的性质截距截距偏回归系数偏回归系数例例二元线性回归模型：二元线性回归模型：b b2 2：假定：假定x x2 2固定时固定时x x1 1每变动每变动1 1个单位引起的个单位引起的y y的增量。的增量。b b3 3：假定：假定x x1 1固定时固定时x x2 2每变动每变动1 1个单位引起的个单位引起的y y的增量。的增量。是是x x1 1和和x x2 2共同变动引起的共同变动引起的y y的平均的平均 变动，反映一组自变量与因变量的平均变动
12、关系。变动，反映一组自变量与因变量的平均变动关系。是给定是给定x x1 1、x x2 2计算得到的估计值，是计算得到的估计值，是y y的实际值的的实际值的数学期望。数学期望。多元线性回归分析（Multiple Linear Regression）第17页/共48页（实际值)一组自变量对一组自变量对y y的线性影响的线性影响而形成的系统部分，反映而形成的系统部分，反映x x与与y y变动关系的本质特征。变动关系的本质特征。随机干扰：随机干扰：各种偶然因素观察误差和各种偶然因素观察误差和其他被忽视因素的影响。其他被忽视因素的影响。多元线性回归分析（Multiple Linear Regressio
13、n）第18页/共48页3 3 多元线性回归模型的估计多元线性回归模型的估计u（一）回归系数的估计（一）回归系数的估计u u（二）随机误差方差的估计（二）随机误差方差的估计uu u（三）最小二乘估计量的性质（三）最小二乘估计量的性质u 标准的多元线性回归模型中，高斯标准的多元线性回归模型中，高斯.马尔马尔可夫定理同样成立。可夫定理同样成立。多元线性回归分析（Multiple Linear Regression）第19页/共48页u一一.拟合程度的评价拟合程度的评价u调整可决系数调整可决系数 u uu式中，式中，n n是样本容量；是样本容量；k k是模型中回归系数的个数。是模型中回归系数的个数。u
14、调整可决系数调整可决系数 的特点。的特点。4 多元线性回归模型的检验多元线性回归分析（Multiple Linear Regression）第20页/共48页多元线性回归模型的显著多元线性回归模型的显著性检验性检验u回归系数回归系数 b b 的检验的检验u1 1提出假设。提出假设。HH0 0：j j=0=0；H H1 1：j j00 u2.2.确定显著水平确定显著水平。u3.3.计算回归系数的计算回归系数的t t 值。值。u 式中式中,是的标准差的估计值。是的标准差的估计值。按下式计算：按下式计算：u u式中，式中，是是(XX)(XX)-1-1 的第的第 j j 个对角线元素，个对角线元素，S
15、 S 2 2 是随是随机误差项方差的估计值。机误差项方差的估计值。多元线性回归分析（Multiple Linear Regression）第21页/共48页多元线性回归模型的显著性检验(续一)4.4.确定临界值。确定临界值。双侧检验查双侧检验查t t分布表所确定的临界值是分布表所确定的临界值是(-(-t t/2/2)和和(t t/2/2)；单侧检；单侧检验所确定的临界值是（验所确定的临界值是（t t）。）。5.5.做出判断。做出判断。拒绝域拒绝域接受域双侧检验图示:多元线性回归分析（Multiple Linear Regression）第22页/共48页u回归方程的显著性检验回归方程的显著性检
16、验l具体的方法步骤具体的方法步骤 l回归模型方差分析表回归模型方差分析表lF F统计量统计量 多元线性回归模型的显著性检验(续二)离差名称平方和自由度均 方 差回归平方和k-1SSR/(k-1)残差平方和 n-kSSE/(n-k)总离差平方和 n-1多元线性回归分析（Multiple Linear Regression）第23页/共48页5 多元线性回归模型预测u基本公式：基本公式：u u 式中，式中，x xjf jf(j=2,3,k)(j=2,3,k)是给定的是给定的x xj j 在预测在预测期的具体数值；期的具体数值；是已估计出的样本回归系数；是已估计出的样本回归系数；是是x xj j 给
17、定时给定时y y 的预测值。的预测值。返回目录多元线性回归分析（Multiple Linear Regression）第24页/共48页6 多元线性回归模型的MinitabMinitab实现u 在研究多元回归问题时可能感到比较复杂，下在研究多元回归问题时可能感到比较复杂，下面我们用统计软件帮助大家实现多元线性回归模型面我们用统计软件帮助大家实现多元线性回归模型的建立、估计、检验以及预测问题。的建立、估计、检验以及预测问题。u 多元回归模型在建立过程中可采用两种不同的多元回归模型在建立过程中可采用两种不同的方法，分别为：方法，分别为：实现方法实现方法直接回归法直接回归法逐步线性回归逐步线性回归向
18、前加入变量法向前加入变量法逐步回归法逐步回归法向后淘汰变量法向后淘汰变量法多元线性回归分析（Multiple Linear Regression）第25页/共48页u例例1 1：在研究某超市顾客人数：在研究某超市顾客人数y y与该超市促销费用与该超市促销费用x x1 1 、超市面积、超市面积x x2 2 、超市位置、超市位置x x3 3之间关系时，选取变量之间关系时，选取变量如下：如下：Y Y-某超市某一周六顾客人数（千人）某超市某一周六顾客人数（千人）X X1 1-该超市上周促销所花的费用（万元该超市上周促销所花的费用（万元)X X2 2 该超市的面积（百平方米）该超市的面积（百平方米）X
19、X3 3 超市所处位置超市所处位置(0(0表示市区、表示市区、1 1表示郊区表示郊区)u 按照按照y y变量排序后的原始数据是：变量排序后的原始数据是：y y2 23 35 57 78 8101017172424252530303131353536364242444445454848505052525555x x1 11 11.1.5 52 22 22 22.2.3 32.2.5 52.2.5 52.2.4 42.2.6 62.2.5 52.2.5 54 44.4.1 14 44.4.3 34.4.5 54.4.4 44 44.4.1 1x x2 22 21 11.1.3 31.1.3 31.
20、1.5 51.1.5 52 22.2.5 52 22 24 43 34 43.3.5 53.3.5 53.3.5 55 55 57 78 8x x3 31 11 11 11 10 01 11 11 10 00 01 10 01 10 00 00 01 10 00 00 0多元回归案例分析:多元线性回归分析（Multiple Linear Regression）第26页/共48页定性分析过程：定性分析过程：数据分析之前，我们要先考虑各个自变数据分析之前，我们要先考虑各个自变量与因变量之间是否存在相关关系。量与因变量之间是否存在相关关系。分别绘制顾客人数分别绘制顾客人数y y与促销费用与促销费用x
21、 x1 1、超、超市面积市面积x x2 2 的散点图，直观上测定其是否存在的散点图，直观上测定其是否存在线性关系。通过散点图可以看出，因变量线性关系。通过散点图可以看出，因变量y y与与自变量自变量x x1 1、x x2 2 之间确实存在较明显的线性相之间确实存在较明显的线性相关关系，而关关系，而x x3 3 超市位置是虚拟二元变量，我超市位置是虚拟二元变量，我们无法从散点图中看出其中的线性关系，但们无法从散点图中看出其中的线性关系，但经验所知其一定影响着因变量经验所知其一定影响着因变量y y，所以我们同所以我们同时将其纳入分析模型。时将其纳入分析模型。模型建立过程如下：模型建立过程如下：多元
22、线性回归分析（Multiple Linear Regression）第27页/共48页数据见数据见多变量回归多变量回归(例例1)1)1 1、直接回归法、直接回归法:多元线性回归分析（Multiple Linear Regression）2、最优回归实现：、最优回归实现：若我们上面的预测方程不显著，但确实知道其中几个变若我们上面的预测方程不显著，但确实知道其中几个变量存在着一定的线性关系，我们也可以运用逐步回归的方量存在着一定的线性关系，我们也可以运用逐步回归的方法对变量进行分析处理法对变量进行分析处理 。第28页/共48页多元线性回归分析（Multiple Linear Regression）
23、例例1 在某平炉炼钢过程中，由于矿石和炉气的氧在某平炉炼钢过程中，由于矿石和炉气的氧化作用，铁水的总含炭量在不断降低。试分化作用，铁水的总含炭量在不断降低。试分析一炉钢的去碳量析一炉钢的去碳量Y Y与所加的两种矿石量与所加的两种矿石量X1X1、X2X2及融化时间及融化时间X3X3是否有关。数据见（回归分是否有关。数据见（回归分析（引用析（引用2 2）第29页/共48页多元线性回归分析（Multiple Linear Regression）练习练习 六西格玛项目小组为了调查影响熊的六西格玛项目小组为了调查影响熊的重量因素，他们收集到了这样一组数据。重量因素，他们收集到了这样一组数据。数据见数据见
24、:试分析试分析:熊的重量熊的重量Y与这些因素是否有关及与这些因素是否有关及其影响程度有多大其影响程度有多大?第30页/共48页7 7 多元非线性回归多元非线性回归u 多元非线性回归是一元非线性回归多元非线性回归是一元非线性回归的多元扩展，其理论基础建立在多元回归的多元扩展，其理论基础建立在多元回归与非线性回归的基础上。与非线性回归的基础上。u 在实际工作中，多元非线性回归的在实际工作中，多元非线性回归的应用非常广泛，大多数生产函数和需求函应用非常广泛，大多数生产函数和需求函数都需要用到多元非线性拟合。常用的有数都需要用到多元非线性拟合。常用的有C-DC-D生产函数、产品的需求弹性分析。生产函数
25、、产品的需求弹性分析。u 下面我们用需求弹性分析实例介绍下面我们用需求弹性分析实例介绍此类模型的估计方法及结果处理解释。此类模型的估计方法及结果处理解释。xy第31页/共48页u例例2 2：厂商想研究其产品销售量与居民月：厂商想研究其产品销售量与居民月平均收入、商品价格之间的变化关系，平均收入、商品价格之间的变化关系，现调查某城市有关此商品需求的数据如现调查某城市有关此商品需求的数据如下：下：年年 次次12345678910销售量销售量y y(百件百件)居民人均收入居民人均收入x x2 2(百百元元)单价单价x x3 3(10(10元元)1052107315821395149420103181
26、04241231913523154试根据数据建立销售量试根据数据建立销售量 y y 与居民人均收入与居民人均收入 x x2 2 及商及商品单价品单价 x x3 3 之间的关系。之间的关系。第32页/共48页数据变换分析：数据变换分析：u1.1.根据我们对经济规律的分析可知：产品销售量根据我们对经济规律的分析可知：产品销售量与居民人均收入、商品单价呈现幂函数形式的关与居民人均收入、商品单价呈现幂函数形式的关系，即：系，即：u2.2.利用双对数变换法，同时加入随机误差项，可得利用双对数变换法，同时加入随机误差项，可得以下线性回归函数：以下线性回归函数：u3.3.这样我们就得到一般的多元线性回归模型
27、，可以这样我们就得到一般的多元线性回归模型，可以利用软件对其进行参数估计、检验，然后通过两个利用软件对其进行参数估计、检验，然后通过两个方程之间的关系，写出原方程的形式。数据见方程之间的关系，写出原方程的形式。数据见(多多元非线性回归例元非线性回归例1)1)第33页/共48页数据的初步变换：数据的初步变换：第34页/共48页原数据与新产生数据列原数据与新产生数据列:原始数据:原始数据与三次变量变换后的数据:第35页/共48页对变换后的数据进行对变换后的数据进行建模建模:第36页/共48页对变换后的数据进行对变换后的数据进行建模建模:第37页/共48页计算结果：计算结果：变换过的数据产生的回归方
28、程根据两个方程间的变换关系，对产生的回归方程进行反对数根据两个方程间的变换关系，对产生的回归方程进行反对数变换，得变量间的回归方程如下：变换，得变量间的回归方程如下：第38页/共48页结果解释及预测分析：结果解释及预测分析：由上式可知：居民收入的需求弹性约由上式可知：居民收入的需求弹性约为，而价格的需求弹性约为。也就是说，在为，而价格的需求弹性约为。也就是说，在其他情况不变的条件下，居民人均收入每增其他情况不变的条件下，居民人均收入每增加加1%1%会使此商品的需求增加会使此商品的需求增加1.16%1.16%，价格，价格每提高每提高1%1%会使此商品的需求减少会使此商品的需求减少0.4%0.4%
29、。若此时我们要预测居民人均收入为若此时我们要预测居民人均收入为22002200元，商品单价为元，商品单价为5050元时该商品的需求元时该商品的需求量量y y，只需将，只需将x x2 2=22=22，x x3 3=5=5代入方程即得：代入方程即得：第39页/共48页一般线性模型（一般线性模型（General General Linear ModelLinear Model）例例 某化工产品的不纯度可能受到多种因素的影响。现收某化工产品的不纯度可能受到多种因素的影响。现收集到数据见（集到数据见（GLMGLM（练习（练习3 3）1 1、不纯度、不纯度Y Y是连续型数据；是连续型数据；2 2、有多个、
30、有多个X X为可能的影响因素这些为可能的影响因素这些X X中既有连续型的中既有连续型的又有非连续型的；又有非连续型的；3 3、故此它们适用于、故此它们适用于GLMGLM分析方法。分析方法。第40页/共48页一般线性模型（一般线性模型（一般线性模型（一般线性模型（General General Linear ModelLinear Model）l在回归分析中，我们假设在回归分析中，我们假设X X对对Y Y的影响是线性的。的影响是线性的。l当考虑多个当考虑多个X X（此时（此时X X可以是连续型数据也可以是连续型数据也可以是非连续型数据可以是非连续型数据的）的）对对Y Y的影响的影响但但Y Y都都
31、是连续型数据时，是连续型数据时，可以采用一般线性模型分析可以采用一般线性模型分析法。法。l在收集数据时，将在收集数据时，将X X与与Y Y一一对应，即：收集到一一对应，即：收集到每一个每一个X X和与其对应的和与其对应的Y Y。一般线性模型（General Linear Model）第41页/共48页一般线性模型（一般线性模型（General General Linear ModelLinear Model）例例1 某化工产品的不纯度可能受到多种因素的影响。现收某化工产品的不纯度可能受到多种因素的影响。现收集到数据见（集到数据见（GLMGLM（练习（练习3 3）1 1、不纯度、不纯度Y Y是连
32、续型数据；是连续型数据；2 2、有多个、有多个X X为可能的影响因素这些为可能的影响因素这些X X中既有连续型的中既有连续型的又有非连续型的；又有非连续型的；3 3、故此它们适用于、故此它们适用于GLMGLM分析方法。分析方法。第42页/共48页第43页/共48页分析阶段分析阶段小结小结6 6-单样本单样本T-T-检验检验双样本双样本T-T-检验检验F-F-检验检验方差分析方差分析一般线性模型一般线性模型一元线性回归一元线性回归多元线性回归多元线性回归一般线性模型一般线性模型卡方检验卡方检验二项逻辑回归二项逻辑回归二项逻辑回归二项逻辑回归连续连续连续连续非连续非连续非连续非连续YX常用定量分析
33、工具常用定量分析工具常用定量分析工具常用定量分析工具第44页/共48页分析阶段分析阶段小结小结u 识别影响识别影响 的波动源的波动源u 通过数据分析识别和确认关键通过数据分析识别和确认关键 及其影响程度及其影响程度u通过通过MINI-TAB MINI-TAB 软件的数据分析方法来实现软件的数据分析方法来实现6 6-第45页/共48页分析阶段分析阶段小结小结u 确认因果分析列出所有可能的确认因果分析列出所有可能的u 用图形分析工具对潜在的关键用图形分析工具对潜在的关键 初步分析初步分析u 用统计分析工具验证潜在的关键用统计分析工具验证潜在的关键 和他们的和他们的 影影响程度响程度u 最终识别并排除关键的最终识别并排除关键的6 6-分析阶段的分析阶段的重点重点：通过数据分析确定关键的通过数据分析确定关键的 及其影响程度及其影响程度第46页/共48页再再 见见 !谢谢谢谢!合作愉快！合作愉快！第47页/共48页感谢您的观看！第48页/共48页