《机器学习导论-第2章 回归模型.ppt》由会员分享，可在线阅读，更多相关《机器学习导论-第2章 回归模型.ppt（26页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第2章 回归模型n 熟悉线性回归模型的定义以及学习准则（策略）。n 熟悉最小二乘法和正规方程。n 掌握梯度下降法的原理。n 熟悉岭（Ridge）回归和套索（Lasso）回归的原理。n 掌握逻辑斯谛回归和Softmax 回归的原理以及两者的区别与联系。本章学习目标n 2.1 线性回归n 2.2 多项式回归n 2.3 线性回归的正则化岭回归和套索回归n 2.4 逻辑斯谛回归n 2.5 Softmax 回归第2章 回归模型2.1 线性回归2.1.1 线性回归模型的定义线性回归（Linear Regression）的目标旨在找到可以描述目标值（输出变量）与一个或多个特征（输入变量）之间关系的一个线性方
2、程或函数。线性回归模型的表达式为在有监督学习中，将求解线性回归模型参数的问题称为线性回归问题，求解线性回归模型参数的算法统称为线性回归算法。2.1 线性回归2.1.2 线性回归模型的建立线性回归模型表达式的“齐次”形式为2.1 线性回归2.1.3 线性回归模型的学习准则（策略）模型的训练即寻找最佳参数向量，以使模型能够尽可能好地拟合所有的样本数据。定义代价函数为：学习的目标就是选择出使 的取值最小的模型参数向量2.1 线性回归2.1.4 线性回归模型参数的极大似然估计的的极大似然估计为：2.1 线性回归2.1.5 最小二乘法和正规方程最小二乘法（Least Square Method，LSM）
3、，又称最小平方法，是解决回归拟合问题最常用的一种优化方法。它通过最小化每个观测数据与预测值之间误差的平方和来寻找数据的最佳函数拟合。正规方程（Normal Equation），它是最小二乘法的矩阵形式。最小二乘估计2.1 线性回归2.1.6 梯度下降法梯度下降法的基本思想是一直朝着函数梯度向量相反方向不断地迭代更新模型参数，可以使函数值得到最快的下降，从而能够尽可能快速地逼近函数极小值点直至收敛，得到最小化的代价函数和最优的模型参数值。2.1 线性回归2.1.6 梯度下降法n 批量梯度下降（Batch Gradient Descent,BGD）n 在每次迭代更新参数时，都需要用到全部的训练样本
4、数据来计算目标函数的梯度。n 随机梯度下降（Stochastic Gradient Descent，SGD）n 在每次迭代更新参数时，从训练样本集中随机选取一个训练样本来计算目标函数的梯度。n 小批量梯度下降（Mini-Batch Gradient Descent，MBGD）n 在每次迭代更新参数时，选取训练样本集中给定数量（一般取值为 2 100）的训练样本来计算目标函数的梯度。2.1 线性回归2.1.6 梯度下降法n 2.1 线性回归n 2.2 多项式回归n 2.3 线性回归的正则化岭回归和套索回归n 2.4 逻辑斯谛回归n 2.5 Softmax 回归第2章 回归模型2.2 多项式回归（
5、a）0 阶多项式拟合（b）2 阶多项式拟合（c）4 阶多项式拟合（d）10 阶多项式拟合图 四种不同的多项式的拟合效果（图中小圆圈表示样本，虚线表示真实情况，实线表示拟合曲线，使用的多项式形式为，deg表示多项式的阶数，四张子图分别使用不同的阶数）2.2 多项式回归二元二次多项式回归模型为多项式回归问题可以通过变量转换化为多元线性回归问题来解决。则二元二次多项式回归模型就转化为五元线性回归模型：n 2.1 线性回归n 2.2 多项式回归n 2.3 线性回归的正则化岭回归和套索回归n 2.4 逻辑斯谛回归n 2.5 Softmax 回归第2章 回归模型2.3 线性回归的正则化岭回归和套索回归2.
6、3.1 岭回归线性回归的 L2范数正则化通常称为岭回归（Ridge Regression）。岭回归的目标函数表达式为改写成矩阵形式是在岭回归中的最优估计为 2.3 线性回归的正则化岭回归和套索回归2.3.2 套索回归与稀疏解线性回归的 L1范数正则化通常称为套索回归（Lasso Regression）。套索回归的目标函数表达式为改写成矩阵形式是套索回归的求解方法一般有坐标下降法（Coordinate Descent）和最小角回归法（Least Angle Regression）。2.3 线性回归的正则化岭回归和套索回归2.3.3 弹性网络弹性网络（Elastic Net）是岭回归和套索回归的结
7、合，同时使用L2范数和L1范数正则化。弹性网络的目标函数表达式为改写成矩阵形式是与岭回归相比，弹性网络能够得到稀疏的模型系数向量；与套索回归相比，弹性网络能够更加有效地处理成组的高相关的变量。n 2.1 线性回归n 2.2 多项式回归n 2.3 线性回归的正则化岭回归和套索回归n 2.4 逻辑斯谛回归n 2.5 Softmax 回归第2章 回归模型2.4 逻辑斯谛回归2.4.1 逻辑斯谛回归模型逻辑斯蒂（Logistic）函数也称为Sigmoid 函数，其数学表达式为2.4 逻辑斯谛回归2.4.1 逻辑斯谛回归模型逻辑斯蒂（Logistic）回归，是线性回归的推广，属于广义线性回归模型的一种。
8、虽然逻辑斯谛回归被称为回归，但其实际上是在线性回归的基础上构造的一种分类模型，常用于二分类。逻辑斯谛回归模型的形式为对其进行变形，得到2.4 逻辑斯谛回归2.4.2 逻辑斯谛回归的极大似然估计逻辑斯蒂回归模型的学习目标（策略）是使每个训练样本属于其真实类别的概率越大越好，我们所要估计的最佳参数向量 为n 2.1 线性回归n 2.2 多项式回归n 2.3 线性回归的正则化岭回归和套索回归n 2.4 逻辑斯谛回归n 2.5 Softmax 回归第2章 回归模型2.5 Softmax 回归Softmax 回归模型是逻辑斯谛回归模型在多分类问题上的推广。当类别数 时，Softmax 回归退化为逻辑斯谛回归。Softmax 回归模型的代价函数为Question?