《2022年最优化问题与数学预备知识 .docx》由会员分享，可在线阅读，更多相关《2022年最优化问题与数学预备知识 .docx（12页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精选学习资料 - - - - - - - - - 第一章 最优化问题与数学预备学问本章主要内容：最优化的概念经典最优化中两种类型的问题无约束极值问题、具有等式约束的极值问题的求解方法 最优化问题的模型及分类 向量函数微分学的有关学问 最优化的基本术语教学目的及要求： 懂得最优化的概念, 把握经典最优化中两种类型的问题无约束极值问题、具有等式约束的极值问题的求解方法,明白最优化问题的模型及分类,把握向量函数微分学的有关学问,了解最优化的基本术语教学重点： 向量函数微分学的有关学问教学难点： 向量函数微分学的有关学问教学方法： 启示式教学手段： 多媒体演示、演讲与板书相结合教学时间： 2 学时教学
2、内容：1.1 模型与实例T n无约束最优化问题 min f x , x x x 2 , , x n R 约束最优化问题 （S x x R n, g x 0, i 1,2, , m h j 0, j 1,2, , l ）m i n f x ;min f x ;即 s.t. g i x 0 , 1 , 2 , m , ,s.t. x S .h j x 0 , 1, 2 , , .其中 f x 称为目标函数,x x 2 , , x 称为决策变量, S 称为可行域,g x 0 i 1,2, , m , h j 0 j 1,2, , l 称为约束条件例 1（海洋运输问题）某航运公司承接了一项将客户停放在
3、港口等待运输的 N 种货物运往目的地的业务 设航运公司运输单位货物 i 的收益为 ic （元 /吨）,货船能够装载的货物的重量限制为 W （吨）,相应的容积限制为 V （立方米）,设 ia 是单位货物 i 所占的容积（立方米吨）,ib 是货物 i 可供应的最大数量 （吨）,iw 是货物 i 的日平均装船速度（吨日） ,q 为货船的日泊位费（元日） ,q 为货船在海上航行时的日费用 （元日）,d 为航行距离（公里）,v 为航行速度（公里日）问如何确定货船的装载方案,使航运公司获利最大？名师归纳总结 - - - - - - -第 1 页,共 7 页精选学习资料 - - - - - - - - -
4、解设ix i1,2,N是货船装载货物的数量（吨） ,就得到该问题的线性分式规划模型maxzNNc x iNNq x iq d;i1i1w ivx ids.t.ix ii1w ivW,1Ni1a xiV,0x ib i.1.2 数学预备学问1向量的范数和矩阵的条件数名师归纳总结 定义假如n R 上的实值函数满意以下三个条件：第 2 页,共 7 页（1）xn R ,有x0,同时,当且仅当x0时,x0；（2）xRn,R ,有xx ；（3）x yn R ,有 xyxy 就称 x 为 x 的范数通常取x2 x 12 x 22 x nT x x 1/ 2x 的 p 范数：xpin|xip | 1/pp11
5、x 的最大范数：xmax|x i|1in 性质设A和B是定义于n R 中的两种范数,就总存在正数1c 和2c ,使xn R ,有c 1xAxBc 2xA定义设 A 是 n 阶方阵,1,2,n是 A的全部特点值1max|i|称为 A 的谱半径,记作A 设Am n R,称T A A 的特点值的正平方根为A 的奇特值 A 的最大奇特值与- - - - - - -精选学习资料 - - - - - - - - - 最小非零奇特值之商称为A 的谱条件数,记为A ,即 A 1 A ,t A 其中 1 A 2 n A 为 A 的全部奇特值,且 t R A 性质 假如 A 为 n 阶正定矩阵,1 A 2 A n
6、 A 0 和1 A 2 n A 分别为 A 的特点值和奇特值,就i i , i 1,2, , n ,于是 A 1 A n A 假如 A 为 n 阶满秩矩阵,就 A 的全部奇特值 1 A 2 n A 0,从而 A 1 A n A 定义 一个 n 阶满秩矩阵 A 称为病态的,假如 A 的 n 个列向量之间存在着近似线性关系性质 条件数可以用来度量矩阵的病态程度2多元函数的梯度、 Hesse矩阵及 Taylor 公式名师归纳总结 定义设f:RnR xn R 假如n维向量 p ,使得xn R ,有第 3 页,共 7 页f xx f x T pxo x就称f x 在点 x 处可微,并称 d pTx 为f
7、 x 在点 x 处的微分如 果f x 在 点 x 处 对 于xx x 2,x nT的 各 分 量 的 偏 导 数f x ,x ii1,2,n都存在,就称f x 在点 x 处一阶可导,并称向量f x f x ,f x ,f Tx 1x2x n为f x 在点 x 处一阶导数或梯度定理 1设f:RnR xn R 假如f x 在点 x 处可微,就f x 在点 x 处梯度f x 存在,并且有 d f x Tx- - - - - - -精选学习资料 - - - - - - - - - 定义设f:RnR xn R d 是给定的 n维非零向量,ed d假如lim f x e f x R 0存在,就称此极限为
8、f x 在点 x 沿方向 d 的方向导数,记作 f x d定理 2 设 f : R nR x R 假如 nf x 在点 x 处可微,就 f x 在点 x 处沿任何非零方向 d 的方向导数存在,且 f xd f x Te,其中 e ddn n定义 设 f x 是 R 上的连续函数,x R d 是 n 维非零向量假如 0 ,使得 0, ,有 f x d （）f x 就称 d 为 f x 在点 x 处的下降 （上升） 方向名师归纳总结 定理3设f:RnR xn R ,且f x 在点 x 处可微,假如非零向量第 4 页,共 7 页dn R ,使得f x Td（）0,就 d 是f x 在点 x 处的下降
9、 （上升） 方向定 义设f:RnR xRn 如 果f x 在 点 x 处 对 于 自 变 量xx x2,x nT的各重量的二阶偏导数2f x , i jx i x j1,2, 都存在,就称函数f x 在点 x 处二阶可导,并称矩阵2f x 2f x 2f x 2x 1x 1x 2x 1x n2f x 2f x 2f x 2f x x 2x 12x 2x 2x n2f x 2f x 2f x x nx 1x nx 22x n为f x 在点 x 处的二阶导数矩阵或Hesse矩阵定义设h RnRm,xn R ,记h x h x ,h 2 ,h m T,假如ih x i1,2,m 在点 x 处对于自变
10、量xx 1,x 2,xnT的各重量的偏导数- - - - - - -精选学习资料 - - - - - - - - - h x x ji1,2,m j1,2, 都存在,就称向量函数h x 在点 x 处是一阶可导的,并且称矩阵h x h x h x x 1x 2x nh x h 2 h2 m n h x x 1 x 2 x nh m h m h m x 1 x 2 x n为 h x 在点 x 处的一阶导数矩阵或 Jacobi 矩阵,简记为 h x 例 2 设 a R n , x R n , b R ,求 f x a x T b 在任意点 x 处的梯度和 Hesse矩阵名师归纳总结 解设aa a2,
11、anT ,xx x2,xnT,就f x na xkb ,c 为二第 5 页,共 7 页k1因f x a kk1,2, ,故得f x a xk又因2f x 0 , i j1,2, ,就2f x O x ixj例 3设Qn n R是对称矩阵,bRn,cR ,称f x 1T x QxT b x2次函数,求f x 在任意点 x 处的梯度和 Hesse矩阵解设Qq ijn n,xx x 2,x nT ,bb b 2,b nT,就f x x 2,xn1injn1q x xjn1b xkc ,21k由于f x x2,xn中全部含ix 的项为q x x 1q i i1x x i112 q x iq i i1x
12、 x i1q x x nb x ,2所以f x jn1q x ijjb i,x i- - - - - - -精选学习资料 - - - - - - - - - f x jn1q xjb 1jn1q xjb 1x 1从而f x jn1f x b in1q xjb nnq xjb nQxb1,2, ,于x njj1再对f x q xji1,2, 求偏导得到2f x q ij , i jx ix ixj是q 11 q 12 q 1 n2f x q 21 q 22 q 2 nQq n 1 q n 2 q nn例 4 设 f x td ,其中 f : R nR 二阶可导,x R n, d R n, t R
13、 ,试求 , t 解 由多元复合函数微分法知 n f d x i td i n fd i f x td Td,i 1 u i d t i 1 u i n n fd i d x j td j n n 2fd d j d T 2f x td dj 1 u j i 1 u i d t i 1 j 1 u u j定理 4 设 f : R nR x R ,且 nf x 在点 x 的某邻域内具有二阶连续偏导数,就 f x 在点 x 处有 Taylor 展式f x x f x f x Tx 1 x T 2f x x x , 0 12证明 设 f x t x , t 0,1,就 0 f x , 1 f x x
14、 按一元函数 Taylor 公式 t 在 t 0 处绽开,有1 2 0 0 t t , 0 t 2从例 4 得知 0 f x Tx , x T 2f x x x 令 t 1,有 f x x f x f x Tx 1 x T 2f x x x , 0 12依据定理 1 和定理 4,我们有如下 两个重要公式：名师归纳总结 - - - - - - -第 6 页,共 7 页精选学习资料 - - - - - - - - - f x f x T f x xxo xx,f x f x T f x xx1xxT 2f x xxo xx221.3 最优化的基本术语 定义 设 f : R n R 为目标函数,S
15、R 为可行域, x n S （1） 如 x S,都有 f x f x ,就称 x 为 f x 在 S 上的全局（或整体）微小点,或者说, x 是约束最优化问题 min x Sf x 的全局（或整体）最优解,并称f x 为其最优值（2） 如xS xx ,都有f x f x ,就称 x 为f x 在 S 上的严格全局（或整体）微小点名师归纳总结 （3） 如x 的邻域N xn Rxx0使得xN S ,第 7 页,共 7 页都有f f x ,就称 x 为f x 在 S 上的局部微小点,或者说,x 是约束最优S xx, 都 有化问题 min x Sf x 的局部最优解（ 4 ）如x 的邻 域Nx 0 使 得xNx fxfx,就称 x 为f x 在 S 上的严格局部微小点- - - - - - -