《人工智能降维讲课稿.ppt》由会员分享，可在线阅读，更多相关《人工智能降维讲课稿.ppt（65页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、人工智能降维人工智能降维 降维是把采集的数据从一个高维空间映射到维度要低得多的一个新的空间的过程。而这个过程是与信息（有损）压缩概念密切相关的。有以下几个原因，以减少数据的维数。首先，高维数据带来对计算的极大挑战。并且，在某些情况下，高维可能会导致算法的学习具有较差的泛化能力（例如，在最近邻分类的样品的复杂性随着维度增加呈现指数增加）最后，降维可以用于数据的解释性，为发现有意义的数据结构，并说明其用途。主成分分析法简介主成分分析法简介lPrincipal Component Analysis（PCA）l主成分分析(Principal Component Analysis,简称PCA)是一种常用
2、的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。基于基于PCA算法的人脸识别算法的人脸识别lPCA方法由于其在降维和特征提取方面的有效性，在人脸识别领域得到了广泛的应用。lPCA方法的基本原理是:利用K-L变换抽取人脸的主要成分，构成特征脸空间，识别时将测试图像投影到此空间，得到一组投影系数，通过与各个人脸图像比较进行识别。l利用特征脸法进行人脸识别的过程由训练阶段和识别阶段两个阶段组成 l其具体步骤如下：训练阶段训练阶段l第一步：假设训练集有200个样本，由灰度图组成，每个样本大小为M*Nl写出训练样本矩阵：l其中向量xi为由第i个图像的每一列向量堆叠成一列的MN维列向量,即把矩阵
3、向量化,如下图所示：训练阶段训练阶段l如：第i个图像矩阵为l则xi为训练阶段训练阶段l第二步：计算平均脸 计算训练图片的平均脸：训练阶段训练阶段l第三步：计算差值脸 计算每一张人脸与平均脸的差值训练阶段训练阶段l第四步：构建协方差矩阵训练阶段训练阶段l第五步：求协方差矩阵的特征值和特征向量，构造特征脸空间 协方差矩阵的维数为MN*MN，考虑其维数较大，计算量比较大，所以采用奇异值分解(SingularValue Decomposition,SVD)定理，通过求解 的特征值和特征向量来获得 的特征值和特征向量。训练阶段训练阶段l求出 的特征值 及其正交归一化特征向量l根据特征值的贡献率选取前p个
4、最大特征向量及其对应的特征向量l贡献率是指选取的特征值的和与占所有特征值的和比，即：训练阶段训练阶段l一般取 即使训练样本在前p个特征向量集上的投影有99%的能量 求出原协方差矩阵的特征向量 则“特征脸”空间为：训练阶段训练阶段l第六步l 将每一幅人脸与平均脸的差值脸矢量投影到“特征脸”空间，即识别阶段识别阶段l第一步：将待识别的人脸图像 与平均脸的差值脸投影到特征空间，得到其特征向量表示：识别阶段识别阶段l第二步：定义阈值识别阶段识别阶段l第三步：采用欧式距离来计算 与每个人脸的距离识别阶段识别阶段l 为了区分人脸和非人脸，还需要计算原始图像 与由特征脸空间重建的图像 之间的距离l其中：识别
5、阶段识别阶段l 根据以下规则对人脸进行分类：l1)若 ，则输入图像不是人脸图像；l2)若 ，且 ，则输入图像包含未知人脸；l3)若 ，且 ，则输入图像为库中第k个人的人脸。2D-PCAl2D-PCA是在基本PCA算法上的改进，主要不同是协方差矩阵构造方法不同，选取前P个最大特征值和特征向量也有所不同。训练阶段训练阶段l 1设训练样本集合为：l其中：i表示第i个人，即类别数，j表示第i个人的第j幅图像 N表示识别的人数，K表示每个人包含K幅图像，M表示样本总数且M=NK训练阶段训练阶段l 2 计算所有训练样本的平均图像训练阶段训练阶段l 3计算样本的协方差矩阵：训练阶段训练阶段l 4求出协方差矩
6、阵的特征值，选取其中最大特征值 对应的正交特征向量 作为投影空间。用投影矩阵Y的总离散度作为准则函数J(U)来衡量投影空间U的优劣：训练阶段训练阶段lSu是投影矩阵Y的协方差矩阵，是 的迹，且：l选取的特征向量为训练阶段训练阶段l5 训练样本 向 空间投影得到：识别阶段识别阶段l 1测试样本 向 空间投影后得到样本W的特征矩阵 和主成分分量 ：识别阶段识别阶段l 2根据测试样本投影特征矩阵与所有训练样本投影特征矩阵之间的最小距离来判断测试样本所属的类别。定义如下的距离度量准则:l其中 表示两个特征向量之间的欧氏距离。识别阶段识别阶段l3 若 则 属于第q个人 Introduction to C
7、ompressive Sensing压缩感知概述目录p背景现状u理论产生背景u研究现状p压缩感知描述u压缩传感u稀疏表示u测量矩阵u重构算法u模拟实验u整体流程p应用展望u 应用举例u展望 一、背景现状1、背景现状1.1 理论产生背景采样发的采样数据压缩原始图像数据传输解压缩恢复图像通过显示器显示图像大部分冗余信息在采集后被丢弃采样时造成很大的资源浪费能否直接采集不被丢弃的信息？被感知对象重建信号压缩感知名词解释：压缩感知直接感知压缩后的信息基本方法：信号在某一个正交空间具有稀疏性（即可压缩性），就能以较低的频率（远低于奈奎斯特采样频率）采样该信号，并可能以高概率重建该信号。1.1 理论产生背
8、景1、背景现状1.2 研究现状2006Robust Uncertainty Principles：Exact Signal Reconstruction fromHighly Incomplete Frequency InformationTerence Tao、Emmanuel Cands2006Compressed SensingDavid Donoho2007Compressive SensingRichard Baraniuk上述文章奠定了压缩感知的理论基础。国内也将其翻译成压缩传感或压缩采样。1、背景现状u理论一经提出，就在信息论、信号处理、图像处理等领域受到高度关注。u在美国、英国
9、、德国、法国、瑞士、以色列等许多国家的知名大学(如麻省理工学院、斯坦福大学、普林斯顿大学、莱斯大学、杜克大学、慕尼黑工业大学、爱丁堡大学等等)成立了专门的课题组对CS进行研究。u此外，莱斯（Rice）大学还建立了专门的Compressive Sensing网站，及时报道和更新该方向的最新研究成果。1.2 研究现状1、背景现状u西安电子科技大学石光明教授在电子学报发表综述文章，系统地阐述了压缩传感的理论框架以及其中涉及到的关键技术问题。燕山大学练秋生教授的课题组针对压缩感知的稀疏重建算法进行了系统深入的研究，提出一系列高质量的图像重建算法。中科院电子所的方广有研究员等，探索了压缩感知理论在探地雷
10、达三维成像中的应用。u除此之外，还有很多国内学者在压缩感知方面做了重要的工作，如清华大学、天津大学、国防科技大学、厦门大学、湖南大学、西南交通大学、南京邮电大学、华南理工大学、北京理工大学、北京交通大学等等单位，在此不一一列举。1.2 研究现状1、背景现状二、压缩感知描述2、CS描述2.1 压缩传感x是K稀疏的，并且y与满足一定关系时2、CS描述2.1 压缩传感 (1)很显然，由于的维数远远低于的维数，方程1有无穷多个解，即该方程是不适定的，很难重构信号。然而如果原信号是K稀疏的，并且y与满足一定关系时，理论证明，方程是可以通过求解最优范数问题精确重构 (2)式中，为向量的范数，表示向量中非零
11、元素的个数，Cands指出，如果要精确重构，测量次数M必须满足M=O(Kln(N),并且满足约束等距性条件。2、CS描述2.1 压缩传感2、CS描述2.1 压缩传感2、CS描述2.2 稀疏表示 如果一个信号中只有少数元素是非零的，则该信号是稀疏的。通常时域内的信号是非稀疏的，但是在某个变换域可能是稀疏的。2、CS描述2.2 稀疏表示 如果长度为N的信号X，在变换域个系数不为零（或者明显不大于其他系数），且KN，那么可以认为信号X在域中是稀疏的并可记为K-稀疏（不是严格定义）。2、CS描述2.2 稀疏表示2、CS描述2.2 稀疏表示2、CS描述2.3 测量矩阵2、CS描述2.3 测量矩阵 (3)
12、为了重构稀疏信号，Terence Tao、Emmanuel Cands 给出并证明了必须满足约束等距性条件，对于任意和常数，有 (4)2、CS描述2.3 测量矩阵 Baraniuk给出了约束等距性条件的等价条件是测量矩阵和稀疏表示基不相关，即要求的行不能由的列稀疏表示，且的列不能由的行稀疏表示。由于是固定的，要使得满足约束等距性条件，可以通过设计测量矩阵来解决，有证明，当时高斯随机矩阵时，能以较大概率满足约束等距性条件。2、CS描述2.3 测量矩阵 随机矩阵重建性能好，但不易于硬件实现。确定性测量矩阵因为其占用存储空间少，硬件实现容易，是未来测量矩阵的研究方向，但目前确定性矩阵的重建精度不如随
13、机矩阵。随机测量矩阵确定性测量矩阵高斯矩阵轮换矩阵傅里叶多项式矩阵贝努力哈达吗矩阵非相关测量矩阵托普利兹矩阵结构化随机矩阵Chirp测量矩阵.2、CS描述2.4 重构算法直接求解相当困难。以下两种解决方案：1 不改变目标函数，寻求近似的方法求解 用近似的方法直接求解0范数问题，如贪婪算法等。2 将目标函数进行转化，变为更容易求解的问题（1）将0范数问题转化为1范数问题（2）采用光滑函数逼近0范数，从而将0范数问题转化为光滑函数的极值问题2、CS描述2.4 重构算法（1）匹配追踪系列：匹配追踪（Matching Pursuit,MP）正交匹配追踪(Orthogonal Matching Purs
14、uit,OMP)稀疏自适应匹配追踪(Sparse Adaptive MP,SAMP)正则化正交匹配追踪(Regularized OMP,ROMP)等（2）方向追踪系列：梯度追踪(Gradient Pursuit,GP)共轭梯度追踪(Conjugate GP,CGP)近似的共轭梯度追踪(Approximation CGP,ACGP)贪婪算法2、CS描述2.4 重构算法凸优化算法（1）基追踪法(Basis Pursuit,BP)（2）最小角度回归法(Least Angle Regression,LARS)（3）梯度投影法(Gradient Projection for Sparse Reconst
15、ruction,GPSR)另类算法（1）Bayesian类的统计优化算法2、CS描述2.5 模拟实验2、CS描述2.5 模拟实验2、CS描述2.5 模拟实验2、CS描述2.5 模拟实验OMP_time =0.051175s2、CS描述2.6 总体流程理论依据：设长度为N的信号X在某个正交基上是K-稀疏的，如果能找到一个与不相关（不相干）的观测基，用观测基观测原信号得到M个观测值，KMN，得到观测值Y，那么可以利用最优化方法从观测值中高概率重构X。找到某个正交基，信号在该基上稀疏找到一个与不相关，且满足一定条件的观测基 对Y采用最优化重建，均是其约束。以观测真实信号，得到观测值Y主要解决的问题：
16、1.信号的稀疏表示2.观测基的选取3.重构算法的设计三、应用展望3、应用展望3.1 应用举例国防科技大学从压缩感知的角度对热光源关联成像进行了研究。国防科技大学从压缩感知的角度对热光源关联成像进行了研究。随机热光源辐射的光束通过分束器分为完全相同的两束，一束称为检测随机热光源辐射的光束通过分束器分为完全相同的两束，一束称为检测光束，使其照射被成像物体，利用光学器件将透射的光束会聚为一点，并由光束，使其照射被成像物体，利用光学器件将透射的光束会聚为一点，并由“单像素单像素”光电检测器记录该点光强；另一束为参考光束，由光电检测器记录该点光强；另一束为参考光束，由 CCD CCD 阵列直阵列直接记录
17、光强。通过计算单像素点与接记录光强。通过计算单像素点与 CCD CCD 阵列光强之间的互相关，可得到物阵列光强之间的互相关，可得到物体的像。体的像。3、应用展望3.1 应用举例 Duke大学的大学的DISP小组开发了一种新的多光谱成像器：小组开发了一种新的多光谱成像器：Coded Aperture Snapshot Spectral Imager(CASSI)。多谱图像具有二维的空间分辨和一维的光谱分辨率，可形成一个三维的多谱图像具有二维的空间分辨和一维的光谱分辨率，可形成一个三维的数据体。数据体。CASSI CASSI 利用编码孔径和色散介质调制场景的光场，一个探测器获利用编码孔径和色散介质
18、调制场景的光场，一个探测器获取三维数据体的二维、多路投影。因此，取三维数据体的二维、多路投影。因此，CASSI CASSI 不直接测量三维数据体的不直接测量三维数据体的“体素体素”，而是通过少量的编码测量（即压缩采样）和稀疏重构算法估计，而是通过少量的编码测量（即压缩采样）和稀疏重构算法估计数据体。数据体。3、应用展望3.1 应用举例3、应用展望3.2 展望目前，压缩感知理论仍处于发展阶段，有很多关键问题尚待解决，如:（1）探索测量矩阵的必要条件，构造确定性矩阵；（2）如何硬件实现压缩感知的过程；（3）提高现有重建算法恢复质量、速度，论证算法理论基础，保证其收敛，增强鲁棒性；（4）设计不同环境下的重建算法；（5）设计移动压缩传感器等。2、CS描述 Thank you for your attention！结束！结束！