《(3.3)--3.3 线性回归机器学习与模式识别.ppt》由会员分享，可在线阅读，更多相关《(3.3)--3.3 线性回归机器学习与模式识别.ppt（24页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Linear Regression线性回性回归CHAPTER ONE线性回归基础Foundation of LR一、线性回归基础一、线性回归基础分类任务分类任务与回归任务-定义：根据观测数据判断一个对象的类别-示例：根据医疗大数据判别恶性肿瘤，垃圾邮件区分。回归任务-定义：根据某一种变量的观测数据，预测与该对象相 关的另一个变量的精确数值。-策略：根据数据去拟合一个函数来预测输出-示例1：根据气象数据预测PM2.5的数值-示例2：二手车网站根据车的各项参数估计成交价格一、线性回归基础一、线性回归基础问题概述示例-波士顿房价问题-美国波士顿房地产经纪人，如何运用已知的房产相关信息建立一个模式识别
2、算法，帮助客户为自己的房产定下最佳售价。数据集介绍-源于美国某经济学杂志，用于分析研究波士顿房价的数据集。-主要内容是波士顿周边或城镇房产信息和房价情况的记录。-数据集包括506个样本，13个输入变量及1个输出变量。-输入变量：住宅房间数、是否靠河、到市中心的距离、地区 犯罪率、地区房产税率、地区教育水平等13项属性。-输出变量：房产交易价格。一、线性回归基础一、线性回归基础示例-波士顿房价问题变量名量名说明明CRIM城镇人口犯罪率ZN超过25000平方英尺的住宅用地所占比例INDUS城镇非零售业务地区的比例CHAS查尔斯河虚拟变量(如果土地在河边=1；否则是0)NOX一氧化氮浓度(每1000
3、万份)RM平均每居民房数AGE1940 年之前建成的自用房屋比例DIS到五个波士顿就业中心的加权距离RAD辐射状公路的可达性指数TAX每10,000美元的全额物业税率RTRATIO城镇师生比例B城镇黑人比例LSTAT人口中地位较低人群的百分数MEDV自有住房的中位数报价（以千美元计）变量详述一、线性回归基础一、线性回归基础示例-波士顿房价问题变量详述输入：属性数值输出：估价一、线性回归基础一、线性回归基础问题假设线性回归问题原型线性回归模型一、线性回归基础一、线性回归基础优化对象（自变量）线性回归优化问题代价函数如何设计代价函数优化策略-梯度下降法一、线性回归基础一、线性回归基础均方误差函数线
4、性回归代价函数真实MSE的优势-等价于欧式距离的平方，易于理解-凸函数，不存在局部最小陷阱-导数形式简单，有封闭解CHAPTER TWO线性回归的梯度优化解Gradient-based Solution二、线性回归的梯度优化解二、线性回归的梯度优化解目标函数=121+220+310+41+50+6凸曲面二、线性回归的梯度优化解二、线性回归的梯度优化解基于梯度下降法的参数迭代公式根据梯度下降法，参数迭代公式CHAPTER THREE线性回归的最小二乘解Minimum Square Solution三、线性回归的最小二乘解三、线性回归的最小二乘解最小二乘法概述最小二乘法又称最小平方和法，目标是最小
5、化误差平方和最小二乘法得到的优化解简称为最小二乘解线性回归问题的最小二乘解逼近-线性回归问题是均方误差的最小化问题-线性回归的解是该问题的最小二乘解三、线性回归的最小二乘解三、线性回归的最小二乘解线性回归问题的最小二乘解推导代价函数代价函数的导数三、线性回归的最小二乘解三、线性回归的最小二乘解线性回归问题的最小二乘解推导令代价函数的导数等于零使用矩阵表达输入输出三、线性回归的最小二乘解三、线性回归的最小二乘解最小二乘解描述得出最小二乘解例题例题例题波士顿房价回归波士顿房价回归 利用波士顿房价数据集，训练一个包含所有特征的房价预测线性回归模型，分别利用封闭解和梯度下降两种方法，比较结果，分析两种
6、算法的差异与优劣点。例题例题波士顿房价回归波士顿房价回归封闭解w=np.dot(np.linalg.pinv(np.dot(X.transpose(),X),np.dot(X.transpose(),np.array(y)例题例题波士顿房价回归波士顿房价回归梯度下降迭代h=np.dot(x,w)diff=h-yfor j,theta in enumerate(w):wj=theta-row/x.shape0*np.sum(diff*x:,j)总结线性回归基础线性回归线性回归线性回归的梯度优化解目标函数基于梯度下降法的参数迭代公式标量形式图示最小二乘法概述线性回归问题的最小二乘解推导最小二乘解描述分类任务与回归任务示例：波士顿房价问题线性回归问题原型线性回归优化问题问题概述数据集介绍线性回归的最小二乘解理解线性回归矩阵论解释线性方程组解释几何解释过拟合于正则化LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听