《第四章-最优化方法和最优化设计ppt课件.ppt》由会员分享，可在线阅读，更多相关《第四章-最优化方法和最优化设计ppt课件.ppt（132页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用第四章第四章 最优化方法与最优化设计最优化方法与最优化设计LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用第四章第四章 最优化方法与最优化设计最优化方法与最优化设计v第一节：最优化设计的基本原理第一节：最优化设计的基本原理v第二节：目标函数第二节：目标函数v第三节：最优化方法概述第三节：最优化方法概述v第四节：一维搜索法第四节：一维搜索法v第五节：无约束最优化的梯度方法
2、第五节：无约束最优化的梯度方法v第六节：无约束最优化的直接方法第六节：无约束最优化的直接方法v第七节：约束最优化问题第七节：约束最优化问题1 1、最优化设计的基本流程和分类如何？、最优化设计的基本流程和分类如何？2 2、什么是目标函数？、什么是目标函数？3 3、如何使用最速下降法、牛顿法和单纯形法优化电路？、如何使用最速下降法、牛顿法和单纯形法优化电路？4 4、如何使用外罚函数法和内罚函数法优化电路？、如何使用外罚函数法和内罚函数法优化电路？LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.1 4.1
3、最优化设计的基本原理最优化设计的基本原理传统计算机设计传统计算机设计v人工改变电路参数。人工改变电路参数。v计算机：快速计算。计算机：快速计算。v人：分析判断结果，修改电路。人：分析判断结果，修改电路。v一种半自动的方法。一种半自动的方法。v主要问题：在设计中，每次电路修改都必主要问题：在设计中，每次电路修改都必须有一次输入和输出，再加上设计者对每须有一次输入和输出，再加上设计者对每次输出结果的分析判断，使整个设计时间次输出结果的分析判断，使整个设计时间延长，延长，机器的使用效率很低机器的使用效率很低，造成很大的，造成很大的机器时间浪费。机器时间浪费。最优化设计最优化设计v计算机改变电路参数。
4、计算机改变电路参数。v在给定电路拓扑情况下优化其元件参数，在给定电路拓扑情况下优化其元件参数，使电路性能使电路性能“最优最优”，或达到预定的目标，或达到预定的目标值值 。（。（CADCAD）v对电路拓扑和元件参数都进行优化，使电对电路拓扑和元件参数都进行优化，使电路性能达到路性能达到“最优最优”。（。（EDAEDA）LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用计算机最优化设计流程计算机最优化设计流程1 1、根据设计指标，确定电路的初始拓扑、根据设计指标，确定电路的初始拓扑 滤波器（低通、高通、带通）、
5、滤波器（低通、高通、带通）、功分器、定向耦合器、混频器、倍频功分器、定向耦合器、混频器、倍频器、放大器（器、放大器（LNALNA、PAPA）等。）等。传统上初始电路的选择，主要是传统上初始电路的选择，主要是依靠经验。现在很多常用的电路形式，依靠经验。现在很多常用的电路形式，在在ADSADS里都可以用里都可以用Design GuideDesign Guide，直，直接给定电路的初始拓扑，实现微波电接给定电路的初始拓扑，实现微波电路的路的EDAEDA。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用计算机最优
6、化设计流程计算机最优化设计流程2 2、给定初始值、给定初始值 初始值应尽量接近真实值，否则初始值应尽量接近真实值，否则会导致优化时间过长，或者得不到全会导致优化时间过长，或者得不到全局最优解。给定初始值的方法：局最优解。给定初始值的方法：u经验设计经验设计u编程综合编程综合u大型设计软件（大型设计软件（ADS Design ADS Design GuideGuide）LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用计算机最优化设计流程计算机最优化设计流程ADS Design GuideADS Design
7、 GuideLOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用计算机最优化设计流程计算机最优化设计流程3 3、电路分析、电路分析 利用电路模型和元件初值得到电利用电路模型和元件初值得到电路的特性参数路的特性参数 u传递矩阵法传递矩阵法u节点导纳矩阵法节点导纳矩阵法u散射矩阵法散射矩阵法4 4、比较、比较 计算出计算出误差函数误差函数值，如果误差值值，如果误差值大于规定值，则调用最优化子程序。大于规定值，则调用最优化子程序。否则就设计结束。（误差函数：评价否则就设计结束。（误差函数：评价设计结果的好坏以及判断
8、设计是否已设计结果的好坏以及判断设计是否已经达到规定的目标经达到规定的目标 。）。）LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用计算机最优化设计流程计算机最优化设计流程5 5、最优化、最优化 最优化子程序按照规定的某种最优化子程序按照规定的某种最最优搜索方法优搜索方法进行工作，找出使进行工作，找出使误差减误差减小小的元件值，并对原电路元件参数的元件值，并对原电路元件参数自自动进行修改动进行修改，从而得到比原电路性能，从而得到比原电路性能有改进的新电路。有改进的新电路。如此如此反复执行反复执行上述过程，
9、误差将上述过程，误差将愈来愈小，电路的特性将不断逼近规愈来愈小，电路的特性将不断逼近规定特性。最优搜索一直进行到定特性。最优搜索一直进行到误差小误差小于规定值于规定值为止，此时计算机输出一组为止，此时计算机输出一组满足规定指标的电路元件参数。满足规定指标的电路元件参数。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.2.1 4.2.1 误差函数误差函数u 在微波电路的最优化设计中，为了评价设计结果的好坏或判断设在微波电路的最优化设计中，为了评价设计结果的好坏或判断设计是否满足目标，必须定义一个误差判据
10、，这里通常是定义一个误差计是否满足目标，必须定义一个误差判据，这里通常是定义一个误差函数，用来表示电路性能与要求性能之间的差异程度；函数，用来表示电路性能与要求性能之间的差异程度；u微波电路最优化设计的实质就是使误差函数逐步降为极小的过程。微波电路最优化设计的实质就是使误差函数逐步降为极小的过程。u在微波电路的最优化问题中，通常将这个误差函数称为目标函数。在微波电路的最优化问题中，通常将这个误差函数称为目标函数。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.2.1 4.2.1 误差函数误差函数LOG
11、O经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.2.2 4.2.2 目标函数目标函数m m：频率采样点数：频率采样点数 其中的频率采样点数量的选择因优化对象其中的频率采样点数量的选择因优化对象而异。变化比较平缓的，点数可以少取；变化而异。变化比较平缓的，点数可以少取；变化较剧烈的，就应该多取。比如对于增益平坦的较剧烈的，就应该多取。比如对于增益平坦的微波放大器，在全频段选取微波放大器，在全频段选取5-105-10个个频率点就足频率点就足够了；对于滤波器传输特性，在工作频带内采够了；对于滤波器传输特性，在工作
12、频带内采样点选样点选(3-4)n(3-4)n个即可，这里的个即可，这里的n n为滤波器腔数。为滤波器腔数。另外，对于不同的频率区间，可选不同的另外，对于不同的频率区间，可选不同的m m。W(W(k)k)：加权函数：加权函数 适用情况：用于适用情况：用于多个参数多个参数进行优化的进行优化的情况；或同一参数在情况；或同一参数在不同的频段不同的频段要求不同。要求不同。加权函数是根据设计指标选定的，选加权函数是根据设计指标选定的，选择加权函数的目的是择加权函数的目的是改善设计效果改善设计效果。在实。在实际的微波电路设计中，因为目标函数所包际的微波电路设计中，因为目标函数所包含的各指标之间有些是互相矛盾
13、或互相制含的各指标之间有些是互相矛盾或互相制约的，一般很难保证全频域和全部指标都约的，一般很难保证全频域和全部指标都达到最优。例如，频带加宽驻波系数就要达到最优。例如，频带加宽驻波系数就要变坏，若要动态范围大，输出功率就要受变坏，若要动态范围大，输出功率就要受限制。因此，对各项指标要权衡取舍。借限制。因此，对各项指标要权衡取舍。借助于选用适当的加权函数，就可以保证助于选用适当的加权函数，就可以保证重重要指标或重要频域内的特性要指标或重要频域内的特性要求。要求。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费
14、用4.2.2 4.2.2 目标函数目标函数p p：误差函数的指数：误差函数的指数 当最优化运算进行若干次之后，如果仍有部分频域不能满足要求，可适当加大p值。一般情况下，取p=510就有足够的精度逼近误差函数的最大分量。但是开始优化时不宜把p值取得过大，以免在优化过程中目标函数起伏，难以寻找极小值。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.2.2 4.2.2 目标函数目标函数 注意：注意：并不是在任何情况下，对应每一个特性指标都要建立并不是在任何情况下，对应每一个特性指标都要建立其对应的单目标函数
15、。对于其对应的单目标函数。对于相关相关的特性指标，只需建立的特性指标，只需建立一一个个单目标函数。单目标函数。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.2.3 4.2.3 目标函数极值及全域最小值问题目标函数极值及全域最小值问题 v一元函数的极值一元函数的极值v极小值和最小值极小值和最小值最优化运算目标函数的极小值分析函数的极值特性LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.2.3 4.2.3 目标
16、函数极值及全域最小值问题目标函数极值及全域最小值问题 v多元函数的极值多元函数的极值LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.2.3 4.2.3 目标函数极值及全域最小值问题目标函数极值及全域最小值问题 v全域最小点全域最小点极小值全域最小值函数的凸性LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.2.3 4.2.3 目标函数极值及全域最小值问题目标函数极值及全域最小值问题 v一元凸函数一元凸函数LOG
17、O经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.2.3 4.2.3 目标函数极值及全域最小值问题目标函数极值及全域最小值问题 v多元凸函数多元凸函数 可行域：可行域：在多维空间中，变在多维空间中，变量的取值范围也是个空间，量的取值范围也是个空间，称为可行域。称为可行域。函数凸性的分函数凸性的分析仅限于可行域内析仅限于可行域内。凸集：凸集：设设D D为为n n维欧式空间的维欧式空间的变量可行域，如果变量可行域，如果D D内任意内任意两点两点x xa a和和x xb b的连线都在可行的连线都在可行域内，则此域称
18、为凸集。域内，则此域称为凸集。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.3 4.3 最优化方法概述最优化方法概述v最优化设计过程最优化设计过程 最优化设计过程实质最优化设计过程实质上是一个上是一个反复反复利用利用最优化最优化方法方法修改电路修改电路，使电路特，使电路特性不断改进，最后达到预性不断改进，最后达到预定特性的过程。因此定特性的过程。因此最优最优化方法化方法在最优化设计中起在最优化设计中起着十分重要的作用。着十分重要的作用。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求
19、增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.3 4.3 最优化方法概述最优化方法概述v微波电路待优化参数：集总元件参数；分布元件的尺寸和阻抗等。微波电路待优化参数：集总元件参数；分布元件的尺寸和阻抗等。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.3 4.3 最优化方法概述最优化方法概述v最优化方法分类最优化方法分类LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.3 4.3
20、 最优化方法概述最优化方法概述解析法解析法v导数求极值。导数求极值。v适用范围：简单函数适用范围：简单函数和具有明确数学表达和具有明确数学表达式的函数式的函数 。v特点：局限性大（复特点：局限性大（复杂电路基本上都没有杂电路基本上都没有解析表达式解析表达式 ）。）。一维搜索法一维搜索法v一般来说，从点一般来说，从点X Xk k出发，沿规定搜索方向出发，沿规定搜索方向p pk k求目标函求目标函数的极小点数的极小点X Xk+1k+1便构成某些最优化方法的一种基本过程便构成某些最优化方法的一种基本过程。此时目标函数变成了参变量。此时目标函数变成了参变量t t的一元函数的一元函数U(XU(Xk k+
21、t tp pk k)，这种求，这种求t t使使U(XU(Xk k+t tp pk k)为极小的过程，称为为极小的过程，称为一维搜索一维搜索。v许多最优化方法通常由一系列一维搜索组成，所以一许多最优化方法通常由一系列一维搜索组成，所以一维搜索法是实现许多最优化方法的一种维搜索法是实现许多最优化方法的一种基本方法基本方法。tLOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.3 4.3 最优化方法概述最优化方法概述梯度法梯度法v利用利用目标函数的目标函数的梯度信息梯度信息来确定搜索方向来确定搜索方向的方法。的
22、方法。v过程：求出电路特性对元件值变化的梯度，过程：求出电路特性对元件值变化的梯度，以误差函数梯度下降方向修改元件值。以误差函数梯度下降方向修改元件值。v包括：最速下降法、牛顿法、包括：最速下降法、牛顿法、DFPDFP变尺度变尺度法、高斯法、高斯-牛顿最小二乘法等。牛顿最小二乘法等。直接方法直接方法v不利用梯度信息，而通过不利用梯度信息，而通过直接计算直接计算目标函数值目标函数值来确定搜索方向的方法。来确定搜索方向的方法。v过程：少量增减元件值，比较误差过程：少量增减元件值，比较误差值，找出误差下降最有效的方向值，找出误差下降最有效的方向 。v包括：模式搜索法、单纯形法、共包括：模式搜索法、单
23、纯形法、共轭方向法等。轭方向法等。两种方法比较两种方法比较v梯度法：梯度法：优点：在极小点附近收敛较快优点：在极小点附近收敛较快 。缺点：梯度计算比较困难；矩阵代数程序编写比较复杂。缺点：梯度计算比较困难；矩阵代数程序编写比较复杂。v 直接方法：直接方法：优点：适应性较广，且程序编写比较方便。优点：适应性较广，且程序编写比较方便。缺点：在极小点附近收敛较慢。缺点：在极小点附近收敛较慢。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.3 4.3 最优化方法概述最优化方法概述v约束最优化问题约束最优化问题
24、对待优化变量范围加以限制 约束最优化问题无约束最优化问题实际电路优化设计问题LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.3 4.3 最优化方法概述最优化方法概述v最优化方法的选择最优化方法的选择最优化方法最优化方法方法一方法一方法二方法二方法三方法三设计目标函数设计目标函数类型一类型一类型二类型二类型三类型三有效的设计方法：选用多种优化方法有效的设计方法：选用多种优化方法优化设计过程的进展，不仅与所采用的优化方法相关，还与目标函数的类型、性质以及一些初始量选择有关LOGO经营者提供商品或者服务有欺
25、诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4 4.4 一维搜索法一维搜索法区间消去法的基本原理区间消去法的基本原理v在搜索过程中不断地缩短最小点存在的区间，直至最小点存在的区间在搜索过程中不断地缩短最小点存在的区间，直至最小点存在的区间达到允许的达到允许的误差范围误差范围为止。为止。U(t1)U(t2)U(t1)U(t2)U(t1)U(t2)U(t1)U(t2)U(t1)U(t2)U(t1)=U(t2)LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受
26、服务的费用4.4.1 4.4.1 菲波那西（菲波那西（FibonacciFibonacci）法）法v菲波那西（菲波那西（Leonardo Fibonacci:1175-1240 Leonardo Fibonacci:1175-1240）v1202年，他撰写了珠算原理“Liber Abaci“Liber Abaci”LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4.1 4.4.1 菲波那西（菲波那西（FibonacciFibonacci）法）法n0 01 12 23 34 45 56 67 78 89
27、 91010 1111 1212 1313 1414Fn1 11 12 23 35 58 813132121343455558989144144233233377377610610v菲波那西数列菲波那西数列v菲波那西法：在搜索中每次的缩短率等于菲波那西数列中相邻的两数之比。菲波那西法：在搜索中每次的缩短率等于菲波那西数列中相邻的两数之比。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4.1 4.4.1 菲波那西（菲波那西（FibonacciFibonacci）法）法v菲波那西法的运算步骤菲波那西法的
28、运算步骤LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4.1 4.4.1 菲波那西（菲波那西（FibonacciFibonacci）法）法v菲波那西法的运算步骤菲波那西法的运算步骤n0 01 12 23 34 45 56 67 78 89 9101011111212131314141515Fn1 11 12 23 35 58 813132121343455558989144144233233377377610610987987LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其
29、受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4.1 4.4.1 菲波那西（菲波那西（FibonacciFibonacci）法）法v菲波那西法计算次数的确定菲波那西法计算次数的确定LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4.2 4.4.2 黄金分割（黄金分割（0.6180.618）法）法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4.2 4.4.2 黄金分割（黄金分割（0.6
30、180.618）法）法v菲波那西数列的极限分析菲波那西数列的极限分析n0 01 12 23 34 45 56 67 78 89 9101011111212131314141515Fn1 11 12 23 35 58 813132121343455558989144144233233377377610610987987LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4.2 4.4.2 黄金分割（黄金分割（0.6180.618）法）法黄金分割法计算步骤黄金分割法计算步骤v我们称每次缩短率我们称每次缩短率为
31、为0.6180.618的区间消去法的区间消去法为为0.6180.618法或黄金分割法或黄金分割法。法。v计算计算n n个点以后，黄金个点以后，黄金分割法的总缩短率为：分割法的总缩短率为：LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4.2 4.4.2 黄金分割（黄金分割（0.6180.618）法）法黄金分割法计算步骤黄金分割法计算步骤LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.4.2 4.4.2 黄金分
32、割（黄金分割（0.6180.618）法）法黄金分割法框图黄金分割法框图LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用作业作业-3-3用用MatlabMatlab编写黄金分割法最优化程序，并计算：编写黄金分割法最优化程序，并计算：函数函数 ，。要求：要求：1 1）程序）程序代码代码及及注释注释；2 2）运行）运行结果结果（计算次数和最小值点）。（计算次数和最小值点）。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用多
33、变量函数的优化方法多变量函数的优化方法4.5 4.5 无约束最优化的梯度方法无约束最优化的梯度方法v梯度法：梯度法：用解析式算出函数的梯度，沿此方向搜索函数的极小点。用解析式算出函数的梯度，沿此方向搜索函数的极小点。对目标函数过于复杂，对目标函数过于复杂，很难或无法求出梯度时很难或无法求出梯度时，梯度法不，梯度法不适用。适用。v直接比较法：直接比较法：试探性地选取几个变量点，比较几点的函数值，判断函试探性地选取几个变量点，比较几点的函数值，判断函数下降的方向，在下降方向重新选点，如此迭代前进，直数下降的方向，在下降方向重新选点，如此迭代前进，直至达到目标函数极小值。至达到目标函数极小值。直接法
34、收敛速度比梯度法慢直接法收敛速度比梯度法慢。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用v梯度法是一类根据目标函数的梯度法是一类根据目标函数的梯度梯度（一阶导数）（一阶导数）或或汉森矩阵汉森矩阵（Hessian MatrixHessian Matrix，二阶导数）所提，二阶导数）所提供的信息而构造出来的优化方法。供的信息而构造出来的优化方法。v包括：包括：最速下降法最速下降法、牛顿法牛顿法、DFPDFP变尺度法变尺度法、高斯高斯-牛顿最小二乘法牛顿最小二乘法。4.5 4.5 无约束最优化的梯度方法无约
35、束最优化的梯度方法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.5.1 4.5.1 最速下降法最速下降法v由于目标函数的由于目标函数的梯度的负方向梯度的负方向是函数下降最快方向，故称最速下降法。是函数下降最快方向，故称最速下降法。沿最速下降方向找到的极小点，在以这个极小点出发沿它的最速下降沿最速下降方向找到的极小点，在以这个极小点出发沿它的最速下降方向继续寻查，直到收敛到方向继续寻查，直到收敛到全域极小点全域极小点。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失
36、，增加赔偿的金额为消费者购买商品的价款或接受服务的费用最速下降法中的参数最速下降法中的参数4.5.1 4.5.1 最速下降法最速下降法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用最速下降法中的参数最速下降法中的参数4.5.1 4.5.1 最速下降法最速下降法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用最速下降法的计算步骤最速下降法的计算步骤1.1.选定初值选定初值x x0 0和误和误差容限（判敛参差容限（判敛
37、参数）数），并计算，并计算目标函数在目标函数在x x0 0的的梯度：梯度：4.5.1 4.5.1 最速下降法最速下降法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用2.2.取其负梯度方向取其负梯度方向为搜索方向，并为搜索方向，并在该方向用一维在该方向用一维搜索法求出极小搜索法求出极小点点x x1 1；最速下降法的计算步骤最速下降法的计算步骤4.5.1 4.5.1 最速下降法最速下降法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款
38、或接受服务的费用3.3.计算目标函数在计算目标函数在x x1 1的的梯度，判断其范数是否小梯度，判断其范数是否小于规定误差于规定误差。如果满足。如果满足则则x x1 1为极小点，否则取为极小点，否则取为新的搜索方向，并在该为新的搜索方向，并在该方向上求目标函数的极小方向上求目标函数的极小点点x x2 2，判断该点的梯度范，判断该点的梯度范数是否小于数是否小于；最速下降法的计算步骤最速下降法的计算步骤4.5.1 4.5.1 最速下降法最速下降法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.这个过程继续
39、下去，这个过程继续下去，直到满足直到满足 为止。为止。最速下降法的计算步骤最速下降法的计算步骤4.5.1 4.5.1 最速下降法最速下降法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例例4-1 4-1 给定目标函数给定目标函数求极小值求极小值 LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例4-1 给定目标函数求极小值 LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔
40、偿的金额为消费者购买商品的价款或接受服务的费用例4-1 给定目标函数求极小值 LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例4-1 给定目标函数求极小值 LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例4-1 给定目标函数求极小值 LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例4-1 给定目标函数求极小值 LOGO经营
41、者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用讨论特点：前后两步迭代的搜索方向相互正交。适用于调优开局计算，前几步收敛较快。与初始点的选择相关性大LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.5.2 牛顿法（二阶梯度法）v这种方法不但利用了目标函数在搜索点的梯度，而且还利用了目标函数的二阶导数，考虑了梯度变化的趋势。因此，从全局来看，牛顿法得到的搜索方向要比最速下降法好，它能较快地搜索到极小点。LOGO经营者提供商品或者
42、服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用牛顿法的计算步骤LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用牛顿法的计算步骤LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用讨论LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用讨论LOGO经营者提供商品或者服务有欺
43、诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用讨论LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例4-2 给定目标函数求极小值（牛顿法）LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例4-2 给定目标函数求极小值（牛顿法）LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费
44、用例4-2 给定目标函数求极小值（牛顿法）LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例4-2 给定目标函数求极小值（牛顿法）LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例4-2 给定目标函数求极小值（牛顿法）LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用DFPDFP变尺度法变尺度法v最速下降法：收敛慢。v牛顿法：计算
45、量大（海森矩阵）vDFP变尺度法：吸取两种方法的优点，克服其缺点LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用vD Davidon(1959)vF Fletcher(1963)vP Powellv基本思想：构成一个 n x n 的正定矩阵 Hk 来逼近汉森矩阵的逆矩阵。避免了大量的计算，获得了快速收敛性。DFPDFP变尺度法变尺度法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用建立建立 H H 矩阵的方法矩阵的方
46、法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用建立 H 矩阵的方法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用建立 H 矩阵的具体方法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用建立 H 矩阵的具体方法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品
47、的价款或接受服务的费用建立 H 矩阵的具体方法LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用DFP变尺度法的计算步骤LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用DFP变尺度法的计算步骤LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用例子：例子：LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的
48、损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.6 无约束最优化的直接方法1.模式法2.单纯形法梯度法：需求目标函数梯度直接法：直接搜索求目标函数极值LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用4.6.1 模式法v探测搜索：探测搜索：目的是寻找目标函数的下降方向。目的是寻找目标函数的下降方向。v模式搜索：模式搜索：沿着下降方向的一种加速运动，目的是以较
49、快速度、较少的沿着下降方向的一种加速运动，目的是以较快速度、较少的搜索次数逼近目标函数在下降方向的极小点。搜索次数逼近目标函数在下降方向的极小点。v参考点：参考点：探测搜索的起点，模式搜索的终点，用探测搜索的起点，模式搜索的终点，用R R0 0，R R1 1，R R2 2表示。表示。v基点：基点：探测搜索的终点，模式搜索的起点，用探测搜索的终点，模式搜索的起点，用B B0 0，B B1 1，B B2 2表示。表示。模式法是一种多变量函数的直接搜索方法，由两种搜索方式组成，两种搜索交替进行。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费
50、者购买商品的价款或接受服务的费用模式法的计算步骤1.探测搜索：从初始点R0开始（通常令B0=R0），以一定步长沿目标函数各变量的坐标轴方向作探测搜索，寻求R0附近目标函数的下降方向。对各变量的探测搜索结束以后，得到一个基点B1。若B1的目标函数值小于R0的目标函数值，则由点R0至B1的连线方向即为目标函数的下降方向，探测搜索结束。LOGO经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用模式法的计算步骤2.模式搜索 由基点B1开始加大步长沿该方向作模式搜索。模式搜索的具体方法因算法而异：n可以用可以用一维搜索法一维