《(4.2)--4.2 凸优化数学基础机器学习与模式识别.ppt》由会员分享，可在线阅读，更多相关《(4.2)--4.2 凸优化数学基础机器学习与模式识别.ppt（20页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Convex Optimization-Math Foundation凸凸优化数学基化数学基础CHAPTER ONE几何解释Geometric Interpretation一、几何解释一、几何解释问题定义有约束凸优化问题一、几何解释一、几何解释等式约束和不等式约束：有约束凸优化问题的几何解释CHAPTER TWO拉格朗日乘子法Lagrange Multiplier Method二、拉格朗日乘子法二、拉格朗日乘子法等式约束的凸优化问题：基本描述基本思想拉格朗日乘子式二、拉格朗日乘子法二、拉格朗日乘子法根据新目标函数(,)求取最优解 ：求解-目标函数(,)=()+()-最优解CHAPTER THR
2、EEKKT条件KKT Conditions三、三、KKTKKT条件条件KKT条件不是对可行解的约束；为什么讨论KKT条件KKT条件是最优解的充分必要条件；解决优化问题可以转化为寻找满足KKT条件的解的过程KKT条件的证明三、三、KKTKKT条件条件在最优解附近:目标函数()在可行解区域外侧较小；在可行解区域内侧较大；三、三、KKTKKT条件条件情况2：最优解在()0内最优解 在可行解的内部；不在边界()=0上；三、三、KKTKKT条件条件KKT条件的数学描述Karush-Kuhn-Tucker条件条件CHAPTER FOUR拉格朗日对偶Lagrange Dual四、拉格朗日对偶四、拉格朗日对偶
3、问题转化将将有有约束束优化化问题转化化为无无约束束优化化问题原目标函数（有约束）对新目标函数的要求-在可行解区域（定义为）内与原目标函数一致-在可行解区域（）外的数值非常大，甚至无穷大四、拉格朗日对偶四、拉格朗日对偶广义拉格朗日乘子式其中：所以：四、拉格朗日对偶四、拉格朗日对偶广义拉格朗日乘子式可行解区域内（）四、拉格朗日对偶四、拉格朗日对偶问题转换结果有约束优化问题无约束优化问题拉格朗日对偶四、拉格朗日对偶四、拉格朗日对偶拉格朗日对偶方法将将原始原始问题(Primary)转化化为对偶偶问题(Dual)进行求解行求解原始问题对偶问题原始问题与对偶问题会有相同的解吗？四、拉格朗日对偶四、拉格朗日对偶拉格朗日对偶方法定理：-对于原始问题和对偶问题:-假设函数()和不等式约束条件(),均为凸函数，-则存在,使得是原始问题的最优解，,是对偶问题的最优解且有：=(,)，其充分必要条件如下：原始KKT条件MSARTMADE BY DONGYUE CHENTHANK YOU感谢聆听