《优化算法-梯度下降法PPT课件.ppt》由会员分享，可在线阅读，更多相关《优化算法-梯度下降法PPT课件.ppt（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、山东经济学院 计算机科学与技术学院刘兆广 1梯度下降法梯度下降法山东经济学院 计算机科学与技术学院刘兆广 2梯度下降法又称最速下降法。函数梯度下降法又称最速下降法。函数J J(a a)在某点在某点a ak k的梯度的梯度 是一个向量，其方向是是一个向量，其方向是J J(a a)增长最快的方增长最快的方向。显然，负梯度方向是向。显然，负梯度方向是J J(a a)减少最快的方向。减少最快的方向。在梯度下降法中，求某函数极大值时，沿着梯度方向走，在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极
2、小点。快地达到极小点。山东经济学院 计算机科学与技术学院刘兆广 3山东经济学院 计算机科学与技术学院刘兆广 4求函数求函数J J(a a)极小值的问题，可以选择任意初始点极小值的问题，可以选择任意初始点a a0 0,从从a a0 0出发沿着负梯度方向走，可使得出发沿着负梯度方向走，可使得J J(a a)下降最快。下降最快。s s(0)(0)：点：点a a0 0的搜索方向。的搜索方向。山东经济学院 计算机科学与技术学院刘兆广 5对于任意点对于任意点a ak k，可以定义，可以定义a ak k点的负梯度搜索方向的单位点的负梯度搜索方向的单位向量为向量为:从从a ak k点出发，沿着点出发，沿着 方
3、向走一步，步长为方向走一步，步长为 ,得到新点得到新点a ak k+1+1,表示为：表示为：山东经济学院 计算机科学与技术学院刘兆广 THANK YOUSUCCESS2023/2/166可编辑山东经济学院 计算机科学与技术学院刘兆广 7山东经济学院 计算机科学与技术学院刘兆广 8因此，在新点因此，在新点a ak k+1+1，函数，函数J J(a a)的函数值为：的函数值为：所有的所有的a ak k组成一个序列，该序列由迭代算法生成组成一个序列，该序列由迭代算法生成 a a0 0,a a1 1,a a2 2,.,.,a ak k,a ak k+1+1,.该序列在一定条件下收敛于使得该序列在一定条
4、件下收敛于使得J J(a a)最小的解最小的解a a*迭代算法公式：迭代算法公式：山东经济学院 计算机科学与技术学院刘兆广 9迭代算法公式：迭代算法公式：关键问题：如何设计步关键问题：如何设计步关键问题：如何设计步关键问题：如何设计步 长长长长如果选得太小，则算法收敛慢，如果选得太大，如果选得太小，则算法收敛慢，如果选得太大，可能可能会导致发散。会导致发散。山东经济学院 计算机科学与技术学院刘兆广 10梯度法的迭代过程：梯度法的迭代过程：1)1)选取初始点选取初始点a a0 0，给定允许误差，给定允许误差00,00,并令并令k k=0=0。2)2)计算负梯度计算负梯度 及其单及其单位向量位向量 。3)3)检查是否满足条件检查是否满足条件 ，若满足则转，若满足则转8 8，否则继续。否则继续。4)4)计算最佳步长计算最佳步长 。5)5)令：令：6)6)计算并检验另一判据：计算并检验另一判据：，满足转，满足转8 8，否则继续。，否则继续。7)7)令令k k=k k+1,+1,转转2 2。8)8)输出结果，结束。输出结果，结束。山东经济学院 计算机科学与技术学院刘兆广 THANK YOUSUCCESS2023/2/1611可编辑