《XXXX-建模竞赛暑期培训-人工智能优化算法.pdf》由会员分享，可在线阅读，更多相关《XXXX-建模竞赛暑期培训-人工智能优化算法.pdf（141页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、主讲教师：杨晓慧主讲教师：杨晓慧E-mail:算法介绍算法介绍(Algorithm Introduction)2011年全国大学生数学建模竞赛暑期培训数学与信息科学学院，年全国大学生数学建模竞赛暑期培训数学与信息科学学院，2011年年7月月9日日2011年大学生数学建模竞赛杨晓慧人工智能优化算法2数学建模十大算法数学建模十大算法数学建模十大算法数学建模十大算法蒙特卡罗算法蒙特卡罗算法数据拟合、参数估计、插值等数据处理算法数据拟合、参数估计、插值等数据处理算法线性规划等规划类问题线性规划等规划类问题图论算法图论算法动态规划、回溯搜索、分支定界等计算机算法动态规划、回溯搜索、分支定界等计算机算法模
2、拟退火、神经网络、遗传算法等最优化理论算法模拟退火、神经网络、遗传算法等最优化理论算法网格算法和穷举法网格算法和穷举法一些连续离散化方法一些连续离散化方法数值分析算法数值分析算法图像处理算法图像处理算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法3数学建模十大算法数学建模十大算法数学建模十大算法数学建模十大算法蒙特卡罗算法蒙特卡罗算法数据拟合、参数估计、插值等数据处理算法数据拟合、参数估计、插值等数据处理算法线性规划等规划类问题线性规划等规划类问题图论算法图论算法动态规划、回溯搜索、分支定界等计算机算法动态规划、回溯搜索、分支定界等计算机算法模拟退火、神经网络、遗传算法等最优化理论算法模
3、拟退火、神经网络、遗传算法等最优化理论算法网格算法和穷举法网格算法和穷举法一些连续离散化方法一些连续离散化方法数值分析算法数值分析算法图像处理算法图像处理算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法4蒙特卡罗算法蒙特卡罗算法蒙特卡罗算法蒙特卡罗算法蒙特卡罗法（蒙特卡罗法（Monte Carlo method）是以概率和统计的理论、方法为基础的一种计算方法，将所求解的问题同一定的概率模型相联系，用电子计算机实现统计模拟或抽样，以获得问题的近似解，故又称统计模拟法或统计试验法。）是以概率和统计的理论、方法为基础的一种计算方法，将所求解的问题同一定的概率模型相联系，用电子计算机实现统计模拟
4、或抽样，以获得问题的近似解，故又称统计模拟法或统计试验法。蒙特卡罗是摩纳哥的一个城市，以赌博闻名于世界。蒙特卡罗法借用这一城市的名称是为了象征性地表明该方法的概率统计的特点。蒙特卡罗是摩纳哥的一个城市，以赌博闻名于世界。蒙特卡罗法借用这一城市的名称是为了象征性地表明该方法的概率统计的特点。2011年大学生数学建模竞赛杨晓慧人工智能优化算法5蒙特卡罗算法蒙特卡罗算法蒙特卡罗算法蒙特卡罗算法蒙特卡罗法作为一种计算方法，是由蒙特卡罗法作为一种计算方法，是由S.M.乌拉姆和乌拉姆和J.冯冯诺伊曼在诺伊曼在20世纪世纪40年代中叶为研制核武器的需要而首先提出来的。在此之前，该方法的基本思想实际上早已被统
5、计学家所采用了。例如，早在年代中叶为研制核武器的需要而首先提出来的。在此之前，该方法的基本思想实际上早已被统计学家所采用了。例如，早在17世纪，人们就知道了依频数来决定概率的方法。世纪，人们就知道了依频数来决定概率的方法。20世纪世纪40年代中叶，出现了电子计算机，使得用数学方法模拟大量的试验成为可能。另外，随着科学技术的不断发展，出现了越来越多的复杂而困难的问题，用通常的解析方法或数值方法都很难加以解决。蒙特卡罗法就是在这些情况下，作为一种可行的而且是不可缺少的计算方法被提出和迅速发展起来的。年代中叶，出现了电子计算机，使得用数学方法模拟大量的试验成为可能。另外，随着科学技术的不断发展，出现
6、了越来越多的复杂而困难的问题，用通常的解析方法或数值方法都很难加以解决。蒙特卡罗法就是在这些情况下，作为一种可行的而且是不可缺少的计算方法被提出和迅速发展起来的。2011年大学生数学建模竞赛杨晓慧人工智能优化算法6蒙特卡罗法解题的一般过程是，首先构成一个概率空间；然后在该概率空间中确定一个随机变量蒙特卡罗法解题的一般过程是，首先构成一个概率空间；然后在该概率空间中确定一个随机变量g(x)，其数学期望正好等于所要求的值，其数学期望正好等于所要求的值G，其中，其中F(x)为为x的分布函数；最后，以所确定的随机变量的简单子样的算术平均值作为的分布函数；最后，以所确定的随机变量的简单子样的算术平均值作
7、为G 的近似估计。的近似估计。在一些典型数学问题方面的应用主要有：多重积分计算、线性代数方程组求解、矩阵求逆、常微分方程边值问题求解、偏微分方程求解、非齐次线性积分方程求解、本征值计算和最优化计算等等。其中的多重积分计算、非齐次线性积分方程求解和齐次线性积分方程本征值计算等，不仅非常有代表性，而且有很大的实用价值，对于高维问题常比其他数值方法好。在一些典型数学问题方面的应用主要有：多重积分计算、线性代数方程组求解、矩阵求逆、常微分方程边值问题求解、偏微分方程求解、非齐次线性积分方程求解、本征值计算和最优化计算等等。其中的多重积分计算、非齐次线性积分方程求解和齐次线性积分方程本征值计算等，不仅非
8、常有代表性，而且有很大的实用价值，对于高维问题常比其他数值方法好。2011年大学生数学建模竞赛杨晓慧人工智能优化算法百度检索示例百度检索示例-蒙特卡罗模拟法蒙特卡罗模拟法2011年大学生数学建模竞赛杨晓慧人工智能优化算法百度检索示例百度检索示例-蒙特卡罗模拟法蒙特卡罗模拟法 matlab2011年大学生数学建模竞赛杨晓慧人工智能优化算法9数学建模十大算法数学建模十大算法数学建模十大算法数学建模十大算法蒙特卡罗算法蒙特卡罗算法数据拟合、参数估计、插值等数据处理算法数据拟合、参数估计、插值等数据处理算法线性规划等规划类问题线性规划等规划类问题图论算法图论算法动态规划、回溯搜索、分支定界等计算机算法
9、动态规划、回溯搜索、分支定界等计算机算法模拟退火、神经网络、遗传算法等最优化理论算法模拟退火、神经网络、遗传算法等最优化理论算法网格算法和穷举法网格算法和穷举法一些连续离散化方法一些连续离散化方法数值分析算法数值分析算法图像处理算法图像处理算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法1010人工智能优化算法人工智能优化算法人工智能优化算法人工智能优化算法人工神经网络人工神经网络模拟退火模拟退火遗传算法遗传算法进化算法进化算法*粒子群算法粒子群算法*蚁群算法蚁群算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法11认识认识认识认识“人工智能人工智能人工智能人工智能”人工智能人工智能
10、(Artificial Intelligence,AI)概念 是概念 是 John McCarthy于于 1956 年 在年 在Dartmouth学会上提出的。学会上提出的。美国计算机科学家，因在人工智能领域的重大贡献，被称为美国计算机科学家，因在人工智能领域的重大贡献，被称为“人工智能之父人工智能之父”，并因此获得，并因此获得图灵奖图灵奖他于他于1948年获得加州理工学院年获得加州理工学院数学学士数学学士学位，学位，1951年获得普林斯顿大学年获得普林斯顿大学数学博士数学博士学位学位John McCarthy2011年大学生数学建模竞赛杨晓慧人工智能优化算法12认识认识认识认识“人工智能人工
11、智能人工智能人工智能”（续）（续）（续）（续）人工智能人工智能让机器像人一样思考让机器像人一样思考人工智能是计算机科学的前沿学科，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学人工智能是计算机科学的前沿学科，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学.计算机编程语言和其它计算机软件都因为有了人工智能的进展而得以存在。计算机编程语言和其它计算机软件都因为有了人工智能的进展而得以存在。人工智能人工智能涉及学科：涉及学科：哲学和认知科学，数学，神经生理学，心理学，计算机科学，信息论，控制论，不定性论，仿生学等哲学和认
12、知科学，数学，神经生理学，心理学，计算机科学，信息论，控制论，不定性论，仿生学等2011年大学生数学建模竞赛杨晓慧人工智能优化算法13认识认识认识认识“人工智能人工智能人工智能人工智能”（续）（续）（续）（续）人工智能的目的人工智能的目的：通过研究人脑的组成机理和思维方式，企图：通过研究人脑的组成机理和思维方式，企图了解智能的实质了解智能的实质，并生产出一种能以人类智能相似的方式做出反应的，并生产出一种能以人类智能相似的方式做出反应的智能机器智能机器让机器具有智慧，像人一样思考让机器具有智慧，像人一样思考.计算机的出现计算机的出现人类开始真正有了一个可以人类开始真正有了一个可以模拟模拟人类思维
13、的工具人类思维的工具人工智能的领域研究：人工智能的领域研究：包括机器人、语言识别、图像识别、自然语言处理和专家系统等包括机器人、语言识别、图像识别、自然语言处理和专家系统等.2011年大学生数学建模竞赛杨晓慧人工智能优化算法14意识和人工智能的区别意识和人工智能的区别意识和人工智能的区别意识和人工智能的区别人工智能就其本质而言，是对人的思维的信息过程的人工智能就其本质而言，是对人的思维的信息过程的模拟模拟.对于人的思维模拟可以从两条道路进行：结构模拟：仿照人脑的结构机制，制造出对于人的思维模拟可以从两条道路进行：结构模拟：仿照人脑的结构机制，制造出“类人脑类人脑”的机器；功能模拟：暂时撇开人脑
14、的内部结构，而从其功能过程进行模拟。现代电子计算机的产生便是对人脑思维功能的模拟，是对人脑思维的信息过程的模拟的机器；功能模拟：暂时撇开人脑的内部结构，而从其功能过程进行模拟。现代电子计算机的产生便是对人脑思维功能的模拟，是对人脑思维的信息过程的模拟.人工智能不是人的智能，更不会超过人的智能人工智能不是人的智能，更不会超过人的智能.2011年大学生数学建模竞赛杨晓慧人工智能优化算法15意识和人工智能的区别（续）意识和人工智能的区别（续）意识和人工智能的区别（续）意识和人工智能的区别（续）“机器思维机器思维”同同“人类思维人类思维”的本质区别：的本质区别：1.人工智能纯系无意识的机械的物理的过程
15、，人类智能主要是生理和心理的过程人工智能纯系无意识的机械的物理的过程，人类智能主要是生理和心理的过程.2.人工智能没有社会性人工智能没有社会性.3.人工智能没有人类的意识所特有的能动的创造能力人工智能没有人类的意识所特有的能动的创造能力.4.两者总是人脑的思维在前，电脑的功能在后两者总是人脑的思维在前，电脑的功能在后.2011年大学生数学建模竞赛杨晓慧人工智能优化算法16人工智能专业机构人工智能专业机构人工智能专业机构人工智能专业机构 美美美美 国国国国1.Massachusetts Institute of Technology 麻省理工学院麻省理工学院2.Stanford Universi
16、ty 斯坦福大学斯坦福大学(CA)3.Carnegie Mellon University 卡内基美隆大学卡内基美隆大学(PA)4.University of California-Berkeley 加州大学伯克利分校加州大学伯克利分校 中中中中 国国国国1.北京大学北京大学2.清华大学清华大学3.哈尔滨工业大学哈尔滨工业大学4.厦门大学人工智能研究所厦门大学人工智能研究所5.中国中国AI创业研发俱乐部创业研发俱乐部 2011年大学生数学建模竞赛杨晓慧人工智能优化算法17经典的人工智能成果经典的人工智能成果经典的人工智能成果经典的人工智能成果 人机对弈人机对弈人机对弈人机对弈*1996年年2月
17、月10-17日日,Garry Kasparov以以4:2战胜战胜“深蓝深蓝”(Deep Blue)*1997年年5月月3-11日日,Garry Kasparov以以3.5:2.5输于改进后的输于改进后的“深蓝深蓝”*2003年年2月月Garry Kasparov 3:3战平战平“小深小深”(Deep Junior)*2003年年11月月Garry Kasparov 2:2战平战平“X3D德国人德国人”(X3D-Fritz)模式识别模式识别模式识别模式识别指纹识别、人脸识别、语音识别、文字识别、图像识别、车牌识别等指纹识别、人脸识别、语音识别、文字识别、图像识别、车牌识别等2011年大学生数学建
18、模竞赛杨晓慧人工智能优化算法18经典的人工智能成果经典的人工智能成果经典的人工智能成果经典的人工智能成果(续续续续)电电电电 影影影影中文名：人工智能片名：中文名：人工智能片名：AI年代：年代：2001国家：美国国家：美国 相关著作相关著作相关著作相关著作视读人工智能、人工智能的未来、人工智能哲学、人工智能：一种现代的方法视读人工智能、人工智能的未来、人工智能哲学、人工智能：一种现代的方法2011年大学生数学建模竞赛杨晓慧人工智能优化算法1919人工神经网络人工神经网络(Artificical Neural Network,ANN)模拟退火模拟退火(Simulated Annealing,SA
19、)遗传算法遗传算法(Genetic Algorithm,GA)进化算法进化算法(Evolutionary Algorithm,EA)*粒子群优化算法粒子群优化算法(Partical Swam Optimization Algorithm,PSOA)*蚁群优化算法蚁群优化算法(Ant Colony Optimization Algorithm,ACOA)人工智能优化算法人工智能优化算法人工智能优化算法人工智能优化算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法2020人工神经网络人工神经网络(Artificical Neural Network,ANN)模拟退火模拟退火(Simulated
20、 Annealing,SA)遗传算法遗传算法(Genetic Algorithm,GA)进化算法进化算法(Evolutionary Algorithm,EA)*粒子群优化算法粒子群优化算法(Partical Swam Optimization Algorithm,PSOA)*蚁群优化算法蚁群优化算法(Ant Colony Optimization Algorithm,ACOA)人工智能优化算法人工智能优化算法人工智能优化算法人工智能优化算法2011年大学生数学建模竞赛杨晓慧人工智能优化算法21人工神经网络人工神经网络人工神经网络人工神经网络(ArtificicalArtificical Neu
21、ral Networks,Neural Networks,ANNsANNs)1943年，心理学家年，心理学家W.S.McCulloch和数理逻辑学家和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为建立了神经网络和数学模型，称为MP模型。模型。人工神经网络人工神经网络（Artificial Neural Networks，简写为，简写为ANNs）也简称为神经网络（）也简称为神经网络（NNs）或称作连接模型（）或称作连接模型（ConnectionistModel），它），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型是一种模范动物神经网络行为特征，进行分布式并行信
22、息处理的算法数学模型。人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。2011年大学生数学建模竞赛杨晓慧人工智能优化算法22人工神经网络基本组成人工神经网络基本组成人工神经网络基本组成人工神经网络基本组成人工神经网络中处理单元的类型分为三类：人工神经网络中处理单元的类型分为三类：输入单元输入单元、隐单元隐单元和和输出单元输出单元。输出隐层输入节点计算单元2011年大学生数学建模竞赛杨晓慧人工智能优化算法23人工神经网络中，神经元处理单元可表
23、示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。输入单元输入单元接受外部世界的信号与数据；接受外部世界的信号与数据；输出单元输出单元实现系统处理结果的输出；实现系统处理结果的输出；隐单元隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是
24、一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能模仿人脑神经系统的信息处理功能。涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。2011年大学生数学建模竞赛杨晓慧人工智能优化算法24人工神经网络基本流程人工神经网络基本流程人工神经网络基本流程人工神经网络基本流
25、程 算法过程算法过程*从随机的权值开始*反复应用这个神经网络算法到每个训练样例，只要它误分类样例，就根据输入得到的误差来修改神经网络的权值*重复这个过程，直到正确分类所有的训练样例*从随机的权值开始*反复应用这个神经网络算法到每个训练样例，只要它误分类样例，就根据输入得到的误差来修改神经网络的权值*重复这个过程，直到正确分类所有的训练样例2011年大学生数学建模竞赛杨晓慧人工智能优化算法25右图表示了几种常见的激励函数。右图表示了几种常见的激励函数。1.阈值型函数（见图（阈值型函数（见图（a），（），（b）2.饱和型函数（见图（饱和型函数（见图（c）3.双曲函数（见图（双曲函数（见图（d）4.
26、S型函数（见（型函数（见（e）5.高斯函数（见图（高斯函数（见图（f）几种常见的激励函数几种常见的激励函数几种常见的激励函数几种常见的激励函数2011年大学生数学建模竞赛杨晓慧人工智能优化算法26人工神经网络的基本特征人工神经网络的基本特征人工神经网络的基本特征人工神经网络的基本特征1.非线性非线性*非线性关系是自然界的普遍特性。非线性关系是自然界的普遍特性。*大脑的智慧就是一种非线性现象大脑的智慧就是一种非线性现象。*人工神经元处于人工神经元处于激活激活或或抑制抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。二种不同的状态，这种行为在数学上表现为一种非线性关系。*具有具有阈值阈值的
27、神经元构成的网络具有更好的性能，可以提高容错性和存储容量。的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。2011年大学生数学建模竞赛杨晓慧人工智能优化算法27人工神经网络的基本特征（续）人工神经网络的基本特征（续）人工神经网络的基本特征（续）人工神经网络的基本特征（续）2.2.非局限性非局限性非局限性非局限性*一个神经网络通常由多个神经元广泛连接而成。一个神经网络通常由多个神经元广泛连接而成。*一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决
28、定。*通过单元之间的大量连接模拟大脑的非局限性。通过单元之间的大量连接模拟大脑的非局限性。*联想记忆联想记忆是非局限性的典型例子。是非局限性的典型例子。2011年大学生数学建模竞赛杨晓慧人工智能优化算法28人工神经网络基本特征（续）人工神经网络基本特征（续）人工神经网络基本特征（续）人工神经网络基本特征（续）3.非常定性非常定性*人工神经网络具有人工神经网络具有自适应、自组织、自学习自适应、自组织、自学习能力。能力。*神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断
29、变化。*经常采用迭代过程描写动力系统的演化过程。经常采用迭代过程描写动力系统的演化过程。2011年大学生数学建模竞赛杨晓慧人工智能优化算法294.非凸性非凸性*一个系统的演化方向，在一定条件下将取决于某个特定的状态函数，例如能量函数，它的极值相应于系统比较稳定的状态。一个系统的演化方向，在一定条件下将取决于某个特定的状态函数，例如能量函数，它的极值相应于系统比较稳定的状态。*非凸性是指这种函数有多个极值，故系统非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态具有多个较稳定的平衡态，这将导致，这将导致系统演化的多样性系统演化的多样性。人工神经网络基本特征（续）人工神经网络基本特征（续）
30、人工神经网络基本特征（续）人工神经网络基本特征（续）2011年大学生数学建模竞赛杨晓慧人工智能优化算法30人工神经网络人工神经网络人工神经网络人工神经网络ANN 是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。ANN 人工神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到信息处理的目的；人工神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到信息处理的目的；ANN 具有具有自学习自学习、自组织自组织、自适应自适应和和实时学习实时学习等能力，可以通过预先提
31、供的一批相互对应的输入等能力，可以通过预先提供的一批相互对应的输入输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练训练”。2011年大学生数学建模竞赛杨晓慧人工智能优化算法311943年，心理学家年，心理学家W.S.McCulloch和数理逻辑学家和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为建立了神经网络和数学模型，称为MP模型，开创了人工神经网络研究的时代模型，开创了人工神经网络研究的时代。人工神经网络
32、的研究受到了各个发达国家的重视人工神经网络的研究受到了各个发达国家的重视*美国美国国会通过决议将国会通过决议将1990年年1月月5日开始的十年定为日开始的十年定为“脑的十年脑的十年”*国际研究组织国际研究组织号召它的成员国将号召它的成员国将“脑的十年脑的十年”变为全球行为变为全球行为*在在日本日本的的“真实世界计算（真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。项目中，人工智能的研究成了一个重要的组成部分。*人工神经网络的发展人工神经网络的发展人工神经网络的发展人工神经网络的发展2011年大学生数学建模竞赛杨晓慧人工智能优化算法32人工神经网络的优越性人工神经网络的优越
33、性人工神经网络的优越性人工神经网络的优越性1.具有具有自学习功能自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测等。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测等。2.具有具有联想存储功能联想存储功能。用人工
34、神经网络的反馈网络可以实现这种联想。用人工神经网络的反馈网络可以实现这种联想。3.具有具有高速寻找优化解的能力高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。2011年大学生数学建模竞赛杨晓慧人工智能优化算法33神经网络的主要应用领域神经网络的主要应用领域神经网络的主要应用领域神经网络的主要应用领域自动控制领域自动控制领域：主要有系统建模和辨识
35、，参数整定，极点配置，内模控制，优化设计，预测控制，最优控制，滤波与预测容错控制等。：主要有系统建模和辨识，参数整定，极点配置，内模控制，优化设计，预测控制，最优控制，滤波与预测容错控制等。处理组合优化问题处理组合优化问题：成功解决了旅行商问题、最大匹配问题、装箱问题和作业调度问题等。：成功解决了旅行商问题、最大匹配问题、装箱问题和作业调度问题等。模式识别模式识别：手写字符，汽车牌照，指纹和声音识别，还可用于目标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。：手写字符，汽车牌照，指纹和声音识别，还可用于目标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。图像处理图像处
36、理：对图像进行边缘监测，图像分割，图像压缩和图像恢复。：对图像进行边缘监测，图像分割，图像压缩和图像恢复。机器人控制机器人控制：对机器人轨道控制，操作机器人眼手系统，用于机械手的故障诊断及排除，智能自适应移动机器人的导航，视觉系统。：对机器人轨道控制，操作机器人眼手系统，用于机械手的故障诊断及排除，智能自适应移动机器人的导航，视觉系统。医疗医疗：在乳房癌细胞分析，移植次数优化，医院费用节流，医院质量改进等方面均有应用。：在乳房癌细胞分析，移植次数优化，医院费用节流，医院质量改进等方面均有应用。2011年大学生数学建模竞赛杨晓慧人工智能优化算法34BP(Back propagation)神经网络
37、神经网络是一种误差反向传播网络是一种误差反向传播网络,是目前气象预报研究中应用较为普遍的一种，由于气象要素之间也存在着很大的非线性，天气预报业务中已有人开始进行人工神经网络预报方法的研究。是目前气象预报研究中应用较为普遍的一种，由于气象要素之间也存在着很大的非线性，天气预报业务中已有人开始进行人工神经网络预报方法的研究。随着我国随着我国T213数值预报产品质量的提高，数值预报产品的释用成了提高天气预报精度的主要途径之一。数值预报产品与预报对象的同时性，使因果关系更明确。数值预报产品质量的提高，数值预报产品的释用成了提高天气预报精度的主要途径之一。数值预报产品与预报对象的同时性，使因果关系更明确
38、。下面利用我国下面利用我国T213数值预报产品做输入因子，尝试应用（数值预报产品做输入因子，尝试应用（BP）人工神经网络的方法，做保定市短期）人工神经网络的方法，做保定市短期24小时的降水分级预报。小时的降水分级预报。人工神经网络在短期降水预报中的应用人工神经网络在短期降水预报中的应用人工神经网络在短期降水预报中的应用人工神经网络在短期降水预报中的应用2011年大学生数学建模竞赛杨晓慧人工智能优化算法35BPBP网络流程图网络流程图网络流程图网络流程图在使用在使用BP算法时，应注意的几个问题是：算法时，应注意的几个问题是：1.学习开始时，各隐含层连接权系数的初值应以设置较小的随机数较为适宜。学
39、习开始时，各隐含层连接权系数的初值应以设置较小的随机数较为适宜。2.采用采用S型激发函数时，由于输出层各神经元的输出只能趋于型激发函数时，由于输出层各神经元的输出只能趋于1或或0，不能达到，不能达到1或或0。在设置各训练样本时，期望的输出分量。在设置各训练样本时，期望的输出分量dpk不能设置为不能设置为1或或0，以设置为或，以设置为或0，1较为适宜。较为适宜。3.学习速率的选择，在学习开始阶段，选较大的值可以加快学习速度。学习接近优化区时，值必须相当小，否则权系数将产生振荡而不收敛。平滑因子的选值在左右。学习速率的选择，在学习开始阶段，选较大的值可以加快学习速度。学习接近优化区时，值必须相当小
40、，否则权系数将产生振荡而不收敛。平滑因子的选值在左右。2011年大学生数学建模竞赛杨晓慧人工智能优化算法36因子的具体选取与处理因子的具体选取与处理因子的具体选取与处理因子的具体选取与处理由于人工神经网络的输入和输出之间反映的是一种非线性关系，用传统的求线性相关系数的方法选因子，显然是不太合适。由于人工神经网络的输入和输出之间反映的是一种非线性关系，用传统的求线性相关系数的方法选因子，显然是不太合适。首先建立保定市的降水模型，从保定市的降水模型入手，要求天气学意义清楚，物理意义明确首先建立保定市的降水模型，从保定市的降水模型入手，要求天气学意义清楚，物理意义明确2011年大学生数学建模竞赛杨晓
41、慧人工智能优化算法37保定市的降水模型保定市的降水模型保定市的降水模型保定市的降水模型通过对降水过程的总结，建立保定降水的简单预报模型：通过对降水过程的总结，建立保定降水的简单预报模型：1、东高西低：高空天气形势应该具备东部是高压或高压脊，西部有低压或低压槽，保定位于南或西南气流里，简称、东高西低：高空天气形势应该具备东部是高压或高压脊，西部有低压或低压槽，保定位于南或西南气流里，简称东高西低；东高西低；2、垂直运动条件：降水时一定存在低层要有水平辐合，高层水平辐散，有上升运动；、垂直运动条件：降水时一定存在低层要有水平辐合，高层水平辐散，有上升运动；3、水汽条件：具备充足的水汽和水汽输送；、
42、水汽条件：具备充足的水汽和水汽输送；4、能量条件：处于一定强度的锋区内和一定的层结条件；这些条件定性分析比较简单，和降水没有确定的定量关系，预报员凭预报经验作预报，很难客观化。人工神经网络应用是使这一经验预报方法客观化的好方法。、能量条件：处于一定强度的锋区内和一定的层结条件；这些条件定性分析比较简单，和降水没有确定的定量关系，预报员凭预报经验作预报，很难客观化。人工神经网络应用是使这一经验预报方法客观化的好方法。2011年大学生数学建模竞赛杨晓慧人工智能优化算法38因子的具体选取因子的具体选取因子的具体选取因子的具体选取依据降水的主要条件，从我国依据降水的主要条件，从我国T213数值预报产品
43、中选取反映保定降水条件的物理量。共从数值预报产品中选取反映保定降水条件的物理量。共从36小时预报中选出小时预报中选出10个网格点要素，分别是：湿度条件：个网格点要素，分别是：湿度条件：850HPA的相对湿度、水汽通量；垂直速度条件：的相对湿度、水汽通量；垂直速度条件：850的散度、的散度、200的散度、的散度、700的垂直速度、降水量、的垂直速度、降水量、700的涡度；（以上为的涡度；（以上为116E、39N网点的值）东高西低条件：网点的值）东高西低条件：110E、120E、39N两点两点850的高度差；锋区和能量条件：的高度差；锋区和能量条件：116E、35N、45N两点两点850的温度差、
44、的温度差、TS。2011年大学生数学建模竞赛杨晓慧人工智能优化算法39BPBP神经网络的建立神经网络的建立神经网络的建立神经网络的建立采用三层采用三层BP人工神经网络模式，输入层为人工神经网络模式，输入层为10个神经元，对应个神经元，对应10个预报因子。输出层为个预报因子。输出层为3个神经元，对应降水的大中小三个降水量级。中间层一般取输入层和输出层数的平均，这里取个神经元，对应降水的大中小三个降水量级。中间层一般取输入层和输出层数的平均，这里取7个神经元。如图个神经元。如图1所示，所示，X 为输入层，为输入层，H为隐含层，为隐含层，Y为预报输出层。为预报输出层。网络训练网络训练网络训练网络训练
45、1.预报因子预报因子01化：化：Xi=(Xmax-Xi)/(Xmax-Xmin)2.在训练以前我们取在训练以前我们取01之间的随机数为连接权重系数之间的随机数为连接权重系数Uil、Wlt 和阀值和阀值Rl、Sj赋初值。由于训练开始时误差常常较大，它们将在以后的训练学习过程中自动逐步调节赋初值。由于训练开始时误差常常较大，它们将在以后的训练学习过程中自动逐步调节3.02年，我台从年，我台从3月到月到11月接收月接收T213数值预报产品齐全的共有数值预报产品齐全的共有159天，用前天，用前109天的资料作为网络训练样本天的资料作为网络训练样本2011年大学生数学建模竞赛杨晓慧人工智能优化算法40训
46、练结果训练结果训练结果训练结果经过两万多次的训练，总体预报误差达到了经过两万多次的训练，总体预报误差达到了4.0以下。终止训练后。这以下。终止训练后。这109天中共有降水日天中共有降水日27天，其中小雨天，其中小雨20天，中雨天，中雨6天，大雨以上降水一次。训练结束时天，大雨以上降水一次。训练结束时27天降水全部报出，量级也全部正确，只是空报两次小雨过程，历史拟合率达到天降水全部报出，量级也全部正确，只是空报两次小雨过程，历史拟合率达到27/29=93%。试报结果试报结果试报结果试报结果在试报的在试报的50天中共有降水天中共有降水8次，其中大雨次，其中大雨2 次，漏一次，一次报中雨。中雨次，漏
47、一次，一次报中雨。中雨3次，报对次，报对2次，漏一次。次，漏一次。3次小雨，一次报中雨，漏次小雨，一次报中雨，漏2次。另空报次。另空报2次小雨，定性准确率次小雨，定性准确率4/10=40%。2011年大学生数学建模竞赛杨晓慧人工智能优化算法41分析与讨论分析与讨论分析与讨论分析与讨论1.拟合率虽然很高，但试报准确率不太理想。这可能与样本少，降水模型过于简单，且不分季节有关。如果增加历史样本，分季节、分类型建立降水模型。根据不同模型的特点，分别找不同的预报因子，有可能提高实际的预报准确率拟合率虽然很高，但试报准确率不太理想。这可能与样本少，降水模型过于简单，且不分季节有关。如果增加历史样本，分季
48、节、分类型建立降水模型。根据不同模型的特点，分别找不同的预报因子，有可能提高实际的预报准确率.2.BP神经网络的输入与输出不象回归方程的输入与输出是线性关系，而是非线性的。因此，因子的选好比较困难，没有较好的数学方法，所以采用建降水模式的方法，找物理意义较明确的因子。但不同的预报员可能选择的不同因子神经网络的输入与输出不象回归方程的输入与输出是线性关系，而是非线性的。因此，因子的选好比较困难，没有较好的数学方法，所以采用建降水模式的方法，找物理意义较明确的因子。但不同的预报员可能选择的不同因子.2011年大学生数学建模竞赛杨晓慧人工智能优化算法4242人工智能优化算法人工智能优化算法人工智能优
49、化算法人工智能优化算法人工神经网络人工神经网络(Artificical Neural Network,ANN)模拟退火模拟退火(Simulated Annealing,SA)遗传算法遗传算法(Genetic Algorithm,GA)进化算法进化算法(Evolutionary Algorithm,EA)*粒子群优化算法粒子群优化算法(Partical Swam Optimization Algorithm,PSOA)*蚁群优化算法蚁群优化算法(Ant Colony Optimization Algorithm,ACOA)2011年大学生数学建模竞赛杨晓慧人工智能优化算法43模拟退火模拟退火模拟
50、退火模拟退火(Simulated Annealing,SA)(Simulated Annealing,SA)模拟退火模拟退火是一种是一种通用概率算法通用概率算法，用来，用来在一个大的搜寻空间内找寻命题的最优解在一个大的搜寻空间内找寻命题的最优解。源于。源于固体退火原理。固体退火原理。将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到