《运筹学和最优化2021完整版课件.ppt》由会员分享，可在线阅读，更多相关《运筹学和最优化2021完整版课件.ppt（31页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、运筹学和最优化2.0、预备知识、预备知识1 1、向量和子空间投影定理、向量和子空间投影定理(1)(1)n n维欧氏空间：维欧氏空间：R Rn n 点（向量）点（向量）：x R Rn n,x=(=(x1,x2,xn)T T 分量分量 xi R R(实数集实数集)方向（自由向量）方向（自由向量）：d R Rn n,d 0 d=(=(d1,d2,dn)T T 表示从表示从0 0指向指向d 的方向的方向 实用中，常用实用中，常用 x+d 表示从表示从x 点出发沿点出发沿d 方向方向移动移动 d 长度得到的点长度得到的点d0 xx+(1/2)d2.02.0、预备知识（续）、预备知识（续）、预备知识（续）
2、、预备知识（续）1 1、向量和子空间投影定理、向量和子空间投影定理(2)(2)向量运算：向量运算：x,y R Rn n n x,y 的内积：的内积：xTy=xiyi=x1y1+x2y2+xnyn i=1 x,y 的距离：的距离：x-y=(x-y)T(x-y)(1/2)x 的长度：的长度：x=xTx(1/2)三角不等式三角不等式：x+y xy 点列的收敛：点列的收敛：设点列设点列x(k)R Rn n ,x R Rn n 点列点列x(k)收敛到收敛到 x，记记lim x(k)=x limx(k)-x=0 lim xi(k)=xi,ik k kx+yyx2.02.0、预备知识（续）、预备知识（续）、
3、预备知识（续）、预备知识（续）1 1、向量和子空间投影定理、向量和子空间投影定理(3)(3)子空间：子空间：设设 d(1),d(2),d(m)R Rn n,d(k)0 m 记记 L L(d(1),d(2),d(m)=)=x=j d(j)j R j=1为由向量为由向量d(1),d(2),d(m)生成的子空间，简记为生成的子空间，简记为L L。l正交子空间：设正交子空间：设 L 为为R Rn n的的子空间，其正交子空间为子空间，其正交子空间为 L x R Rn n xTy=0,y L l子空间投影定理：子空间投影定理：设设 L 为为R Rn n的的子空间。那么子空间。那么 x R Rn n，唯一唯
4、一 x L,y L,使使 z=x+y,且且 x 为问题为问题 min z-u s.t.u L 的唯一解，最优值为的唯一解，最优值为y。l特别，特别，L R Rn n 时，正交子空间时，正交子空间 L 0（零空间零空间）2.02.0、预备知识（续）、预备知识（续）、预备知识（续）、预备知识（续）l规定：规定：x,y R Rn n，x y xi yi，i 类类似规定似规定 x y，x=y，x y.l一个有用的定理一个有用的定理 设设 x R Rn n，R R，L L为为R Rn n 的线性子空间，的线性子空间，(1)(1)若若 xTy ,y R Rn n 且且 y 0，则则 x 0，0.(2)(2
5、)若若 xTy ,y L L R Rn n，则则 x L L，0.(特别特别,L LR Rn n时时,x=0=0)l定理的其他形式：定理的其他形式：“若若 xTy ,y R Rn n 且且 y 0，则则 x 0，0.”“若若 xTy ,y R Rn n 且且 y 0，则则 x 0，0.”“若若 xTy ,y R Rn n 且且 y 0，则则 x 0，0.”“若若 xTy ,y L L R Rn n，则则 x L L，0.”2.02.0、预备知识（续）、预备知识（续）、预备知识（续）、预备知识（续）2 2、多元函数及其导数、多元函数及其导数(1)(1)n n元函数：元函数：f(x):):R Rn
6、 n R R 线性函数线性函数：f(x)=cTx+b=ci xi +b 二次函数二次函数：f(x)=(1/2)xTQx+cTx+b =(1/2)i j aij xi xj +ci xi +b 向量值线性函数：向量值线性函数：F(x)=Ax+d R Rm m其中其中 A为为 m n矩阵，矩阵，d为为m维向量维向量 F(x)=(f1(x),f2(x),fm(x)T 记记 aiT为为A的第的第i行向量，行向量，fi(x)=aiTx2.02.0、预备知识（续）、预备知识（续）、预备知识（续）、预备知识（续）2 2、多元函数及其导数、多元函数及其导数(2)(2)梯度（一阶偏导数向量）：梯度（一阶偏导数向
7、量）：f(x)(f/x1,f/x2,f/xn)T T R Rn n .线性函数线性函数：f(x)=cTx+b,f(x)=c 二次函数二次函数：f(x)=(1/2)xTQx+cTx+b f(x)=Qx+c 向量值线性函数：向量值线性函数：F(x)=Ax+d R Rm m F/x=AT2.02.0、预备知识（续）、预备知识（续）、预备知识（续）、预备知识（续）2 2、多元函数及其导数、多元函数及其导数(3)Hesse(3)Hesse 阵（二阶偏导数矩阵）：阵（二阶偏导数矩阵）：2f/x1 2 2f/x2 x1 2f/xn x1 2f(x)=)=2f/x1 x2 2f/x22 2f/xn x2 2f
8、/x1 xn 2f/x2 xn 2f/xn2 线性函数线性函数：f(x)=cTx+b,2f(x)=0 二次函数二次函数：f(x)=(1/2)xTQx+cTx+b,2f(x)=Q2.02.0、预备知识（续）、预备知识（续）、预备知识（续）、预备知识（续）2 2、多元函数及其导数、多元函数及其导数(4)(4)n n元函数的元函数的TaylorTaylor展开式及中值公式：展开式及中值公式：设设 f(x):):R Rn n R R ，二阶可导。在二阶可导。在x*的邻域内的邻域内l一阶一阶TaylorTaylor展开式：展开式：f(x)=f(x*)+f T(x*)(x-x*)+ox-x*l二阶二阶Ta
9、ylorTaylor展开式：展开式：f(x)=f(x*)+f T(x)(x-x*)+(1/2)(x-x*)T 2f(x*)(x-x*)+ox-x*2l一阶中值公式：对一阶中值公式：对x,使使 f(x)=f(x*)+f(x*+(x-x*)T(x-x*)lLagrange余项：余项：对对x,记记x x*+(x-x*)f(x)=f(x*)+f T(x)(x-x*)+(1/2)(x-x*)T 2f(x )(x-x*)2.1 2.1 数学规划模型的一般形式数学规划模型的一般形式 min min f(x)-目标函数目标函数 s.t.s.t.x S-约束集合，可行集约束集合，可行集其中，其中，S R Rn
10、n，f:S R R，x S称（称（f S)的可行解的可行解l最优解最优解:x*S，满足满足f(x*)f(x),x S。则称则称 x*为为(f S)的全局最优解的全局最优解(最优解最优解),),记记 g.opt.(global optimum),),简记简记 opt.l最优值最优值:x*为为(f S)的最优解的最优解,则称则称 f*=f(x*)为为 (f S)的最优值的最优值(最优目标函数值最优目标函数值)(f S)2.1 2.1 数学规划模型的一般形式（续）数学规划模型的一般形式（续）l局部最优解局部最优解:x*S，x*的邻域的邻域 N(x*)，使满足，使满足 f(x*)f(x),x S N(
11、x*)。则称则称 x*为为(f S)的局的局部最优解部最优解,记记 l.opt.(local optimum)l在上述定义中，当在上述定义中，当x x*时有严格不等式成立，时有严格不等式成立，则则分别称分别称 x*为为(f S)的严格全局最优解和严格局部最的严格全局最优解和严格局部最优解。优解。严格严格l.opt.严格严格g.opt.l.opt.2.1 2.1 数学规划模型的一般形式（续）数学规划模型的一般形式（续）l函数形式函数形式:f(x),gi(x),hj(x):RnR min f(x)(fgh)s.t.gi(x)0 ,i=1,2,m hj(x)=0 ,j=1,2,ll矩阵形式矩阵形式:
12、min f(x)，f(x):RnR(fgh)s.t.g(x)0 ,g(x):RnRm h(x)=0 ,h(x):RnRl 当当 f(x),gi(x),hj(x)均为线性函数时，称线性规均为线性函数时，称线性规划；若其中有非线性函数时，称非线性规划。划；若其中有非线性函数时，称非线性规划。2.2 2.2 凸集、凸函数和凸规划凸集、凸函数和凸规划一、凸集一、凸集1、凸集的概念：、凸集的概念：定义：设集合定义：设集合 S Rn，若若 x(1),x(2)S,0,1，必有，必有 x(1)(1-)x(2)S，则称，则称 S 为凸集。为凸集。规定：单点集规定：单点集 x 为凸集，空集为凸集，空集为凸集。为凸
13、集。注注:x(1)(1-)x(2)=x(2)(x(1)-x(2)是连接是连接 x(1)与与x(2)的线段的线段。凸集凸集非凸集非凸集非凸集非凸集2.2 2.2 凸集、凸函数和凸规划凸集、凸函数和凸规划(续续)一、凸集一、凸集 1、凸集的概念：、凸集的概念：l例例:证明集合证明集合 S=x Ax=b 是凸集。其中，是凸集。其中，A为为 m n矩阵，矩阵，b为为m维向量。维向量。l凸组合：凸组合：设设 x(1),x(2),x(m)R Rn n,j j 0 m m j=1,那么称那么称 j x(j)为为x(1),x(2),x(m)的的 j=1 j=1凸组合。凸组合。m比较比较:z=j x(j)j=1
14、 j R 构成线性组合构成线性组合 线性子空间线性子空间 j0,j 0 构成半正组合构成半正组合 凸锥凸锥 j0,j=0 构成凸组合构成凸组合 凸集凸集2.2 2.2 凸集、凸函数和凸规划凸集、凸函数和凸规划(续续)一、凸集一、凸集 1、凸集的概念：、凸集的概念：定理：定理：S是凸集是凸集S中任意有限点的凸组合属于中任意有限点的凸组合属于Sl多胞形多胞形 H(x(1),x(2),x(m)：由由 x(1),x(2),x(m)的所有凸组合构成。的所有凸组合构成。l单纯形：若单纯形：若多胞形多胞形 H(x(1),x(2),x(m)满足，满足，x(2)-x(1),x(3)-x(1),x(m)-x(1)
15、线性无关。线性无关。多胞形多胞形单纯形单纯形单纯形单纯形2.2 2.2 凸集、凸函数和凸规划凸集、凸函数和凸规划(续续)一、凸集一、凸集 2、凸集的性质：、凸集的性质：1)凸集的交集是凸集；凸集的交集是凸集；（并？）（并？）2)凸集的内点集是凸集；凸集的内点集是凸集；（逆命题是否成立？）（逆命题是否成立？）3)凸集的闭包是凸集。凸集的闭包是凸集。（逆命题是否成立？）（逆命题是否成立？）4)分离与支撑：分离与支撑：凸集边界上任意点存在支撑超平面凸集边界上任意点存在支撑超平面 两个互相不交的凸集之间存在分离超平面两个互相不交的凸集之间存在分离超平面支撑支撑强分离强分离分离分离非正常非正常分离分离2
16、.2 2.2 凸集、凸函数和凸规划凸集、凸函数和凸规划(续续)一、凸集一、凸集 3、凸锥：、凸锥：l定义：定义：C Rn,若若 x C,0 有有 x C,则称则称 C 是以是以 0 为顶点的锥。如果为顶点的锥。如果 C 还是凸集，则称还是凸集，则称为凸锥。为凸锥。l集合集合 0、Rn 是凸锥。是凸锥。l命题：命题：C是凸锥是凸锥C中任意有限点的半正组合属于中任意有限点的半正组合属于S02.2 2.2 凸集、凸函数和凸规划凸集、凸函数和凸规划(续续)二、凸函数二、凸函数 1、凸函数及水平集、凸函数及水平集定义定义:设集合设集合 S Rn 为凸集，函数为凸集，函数 f:SR 若若 x(1),x(2
17、)S,(0,1)，均有，均有 f(x(1)(1-)x(2)f(x(1)+(1-)f(x(2)，则称则称 f(x)为凸集为凸集 S 上的凸函数。上的凸函数。若进一步有上面不等式以严格不等式成立，则若进一步有上面不等式以严格不等式成立，则称称 f(x)为凸集为凸集 S 上的严格凸函数。上的严格凸函数。l当当-f(x)为凸函数（严格凸函数）时，则称为凸函数（严格凸函数）时，则称 f(x)为凹为凹函数（严格凹函数）。函数（严格凹函数）。严格凸函数严格凸函数凸函数凸函数严格凹函数严格凹函数2.2 2.2 凸集、凸函数和凸规划凸集、凸函数和凸规划(续续)二、凸函数二、凸函数 1、凸函数及水平集：、凸函数及
18、水平集：l定理：定理：f(x)为凸集为凸集 S 上的凸函数上的凸函数 S 上任上任意有限点的凸组合的函数值不大于各点函意有限点的凸组合的函数值不大于各点函数值的凸组合。数值的凸组合。l思考：设思考：设f1,f2是凸函数，是凸函数，1)设设 1,2 0,1f1+2f2,1f1-2f2是否凸函是否凸函数？数？2)f(x)=max f1(x),f2(x),g(x)=min f1(x),f2(x)是否凸函数？是否凸函数？2.2 2.2 凸集、凸函数和凸规划凸集、凸函数和凸规划(续续)二、凸函数二、凸函数 1、凸函数及水平集：、凸函数及水平集：l定义：定义：设集合设集合 S Rn，函数，函数 f:SR，
19、R，称称 S =x S f(x)为为 f(x)在在 S 上上 的的 水平集水平集。l定理：定理：设集合设集合 S Rn 是凸集，函数是凸集，函数 f:SR是凸是凸函数，则对函数，则对 R，S 是凸集是凸集。l注：注：1)水平集的概念相当于在地形图中，海拔高度不高于某一水平集的概念相当于在地形图中，海拔高度不高于某一数值的区域。数值的区域。2)上述定理的逆不真。上述定理的逆不真。考虑分段函数考虑分段函数f(x)=1(x0)或或0(x 0 充分小时有充分小时有 x*+d S,如果如果 lim f(x*+d)-f(x*)/存在（包括存在（包括 ）则称则称 f(x)为在点沿方向的方向导数存在，记为在点
20、沿方向的方向导数存在，记 f(x*;d)=lim f(x*+d)-f(x*)/若若 f(x)在在 x*可导，则可导，则 f(x*;d)=f(x*)Td .2.2 2.2 凸集、凸函数和凸规划凸集、凸函数和凸规划(续续)二、凸函数二、凸函数 2、凸函数的性质：、凸函数的性质：以下设以下设 S Rn 为非空凸集，函数为非空凸集，函数 f:SR2）若）若f 凸，则凸，则 f 在在 S 的内点集上连续；的内点集上连续；注：注：f 在在 S 上不一定连续。上不一定连续。例例:f(x)2(当当 x=1)；f(x)x2(当当 x 0,总总有有 x+d S.d(1)=d(2)(0)时，称时，称 d(1)和和d
21、(2)同方向。同方向。4)极方向：方向极方向：方向 d 不能表示为两个不同方不能表示为两个不同方向的组合向的组合(d=d(1)+d(2).2.3 2.3 多面体、极点、极方向多面体、极点、极方向多面体多面体 S=x Rn Ax=b,x0 的极点和极方向的极点和极方向定理定理1（极点特征）设（极点特征）设 A 满秩，满秩，x 是是 S 极极点的充分必要条件是点的充分必要条件是:存在分解存在分解 A=B,N，其中，其中B为为m阶非奇异矩阵，使阶非奇异矩阵，使 xT=xBT,xNT,这里这里 xB=B-1b0,xN=0.lS中必存在有限多个极点。中必存在有限多个极点。(Cnm)2.3 2.3 多面体
22、、极点、极方向多面体、极点、极方向多面体多面体 S=x Rn Ax=b,x0 的极点和极方向的极点和极方向定理定理2（极方向特征）（极方向特征）设设 A=p1,p2,pn满秩，满秩，d 是是 S 极方向极方向的充分必要条件是的充分必要条件是:存在分解存在分解 A=B,N，其中，其中B为为m阶非奇异矩阵，对于阶非奇异矩阵，对于N中的列向量中的列向量 pj 使使 B-1pj0,dT=dBT,dNT,这里这里 j dB=-B-1pj,dN=(0,.,1,0)TlS中必存在有限多个极方向。中必存在有限多个极方向。(n-m)Cnm)考虑多面体考虑多面体 S=x Rn Ax=b,x0，其中，其中 3 2
23、1 0 0 65 A=2 1 0 1 0 b=40 0 3 0 0 1 75 即即 3 x1+2 x2+x3 =65 2 x1+x2 +x4 =40 3 x2 +x5 =75 x1,x2,x3,x4,x5 0 例题例题 3 2 1 0 0A=P1,P2,P3,P4,P5 =2 1 0 1 0 0 3 0 0 1 A A矩阵包含以下10个33的子矩阵：B B1 1=p p1 1，p p2 2，p p3 3 B B2 2=p p1 1，p p2 2，p p4 4 B B3 3=p p1 1，p p2 2，p p5 5 B B4 4=p p1 1，p p3 3，p p4 4 B B5 5=p p1
24、1，p p3 3，p p5 5 B B6 6=p p1 1，p p4 4，p p5 5 B B7 7=p p2 2，p p3 3，p p4 4 B B8 8=p p2 2，p p3 3，p p5 5 B B9 9=p p2 2，p p4 4，p p5 5 B B1010=p p3 3，p p4 4，p p5 5 例题例题 19.黄金时代是在我们的前面，不是在我们的背后。12.无论今后的道路多么坎坷，只要抓住今天，迟早会在奋斗中尝到人生的甘甜。抓住人生中的一分一秒，胜过虚度中的一月一年!10、为明天做准备的最好方法就是集中你所有智慧，所有的热忱，把今天的工作做得尽善尽美，这就是你能应付未来的唯一
25、方法。10.狂妄的人有救，自卑的人没有救。4.既不懈的追求生活，又不敢奢望生活过多的报酬和宠爱，而是理智而清醒的面对着现实。9.善待自己，不被别人左右，也不去左右别人，自信优雅。15.没有天生的信心，只有不断培养的信心。17.要冒一险!整个生命就是一场冒险，走得最远的人常是愿意去做、愿意去冒险的人。6.穷则思变，差则思勤!没有比人更高的山没有比脚更长的路。10.让我们挥起沉重的铁锤吧!每一下都砸在最稚嫩的部位，当青春逝去，那些部位将生出厚晒太阳的茧，最终成为坚实的石，支撑起我们不再年轻但一定美丽的生命。2.推销产品要针对顾客的心，不要针对顾客的头。11.千万不要相信他们，因为这些话是不对的，因
26、为我们没有完!而且，我们必须记住，我们永远不会有完的时候!不论是大火、龙卷风、交通事故、瘟疫，还是任何可能发生的其他灾变，只要我们相信自己，只要我们敢于接受挑战，我们的心就会得到冶炼，我们的前路就不会永远黑暗。2.对自己好点，因为一辈子不长;对身边的人好点，因为下辈子不一定能遇见。12.无论今后的道路多么坎坷，只要抓住今天，迟早会在奋斗中尝到人生的甘甜。抓住人生中的一分一秒，胜过虚度中的一月一年!8.“我欲”是贫穷的标志。事能常足，心常惬，人到无求品自高。30、每一发奋努力的背后，必有加倍的赏赐。1.忘掉失败，不过要牢记失败中的教训。7.只要每天进步就开始进步了。15.一个人的命运不是自己想改变就能改变了的，至于理想，只不过是职业好坏的代名词罢了。2.生活如海，宽容作舟，泛舟于海，方知海之宽阔;生活如山，宽容为径，循径登山，方知山之高大;生活如歌，宽容是曲，和曲而歌，方知歌之动听。9.根本不必回头去看咒骂你的人是谁?如果有一条疯狗咬你一口，难道你也要趴下去反咬他一口吗?