《第15章-多光谱图像融合技术与ppt课件.ppt》由会员分享，可在线阅读，更多相关《第15章-多光谱图像融合技术与ppt课件.ppt（39页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第15章章 多光谱图像融合技术与多光谱图像融合技术与系统系统 为什么进行图像融合？为什么进行图像融合？为什么进行图像融合？为什么进行图像融合？为什么进行图像融合？为什么进行图像融合？多光谱图像融合的概念图像传感器图像传感器A 图像传感器图像传感器B互补信息互补信息冗余信息冗余信息l多光谱图像融合是为了克服单一光谱成像系统多光谱图像融合是为了克服单一光谱成像系统图像信息不够丰富的缺点，利用不同光谱图像图像信息不够丰富的缺点，利用不同光谱图像的的冗余特性冗余特性和和互补特性互补特性重新进行重新进行信息组合信息组合，获，获得能反映各种光谱特点的图像的过程。得能反映各种光谱特点的图像的过程。多光谱图
2、像融合的基本步骤l(1)图像预处理图像预处理l包括图像归一化包括图像归一化(灰度均衡、重采样、灰度插灰度均衡、重采样、灰度插值值)、l图像滤波图像滤波l增强图像的色彩和图像的边缘等增强图像的色彩和图像的边缘等 多光谱图像融合的基本步骤l(2)图像配准图像配准l图像配准是要将各幅参与融合的图像进行空图像配准是要将各幅参与融合的图像进行空间配准。间配准。l图像配准可分为相对配准和绝对配准。图像配准可分为相对配准和绝对配准。l相对配准指从同一类的多个图像中选择某一相对配准指从同一类的多个图像中选择某一(波段波段)图像作为参考图像，然后将其他图像作为参考图像，然后将其他(波段波段)图像与参考图像进行配
3、准。图像与参考图像进行配准。l绝对配准则指以同一空间坐标系为参考系，绝对配准则指以同一空间坐标系为参考系，将需融合的多幅图像都与此参考系进行配准。将需融合的多幅图像都与此参考系进行配准。多光谱图像融合的基本步骤l(3)图像融合图像融合，主要目的：，主要目的：l(a)增加图像中有用信息的含量，改善图像的清晰度，增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见增强在单一传感器图像中无法看见/看清的某些特性；看清的某些特性；l(b)改善图像的空间分辨率，增加光谱信息的含量，改善图像的空间分辨率，增加光谱信息的含量，为改善检测为改善检测/分类分类/理解理解/识别性能获取补充的
4、图像信识别性能获取补充的图像信息；息；l(c)通过不同时刻的图像序列融合来检测场景通过不同时刻的图像序列融合来检测场景/目标目标的变化情况；的变化情况；l(d)通过融合多个二维图像产生具有立体视觉的三维通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重建或立体摄影、测量等；图像，可用于三维重建或立体摄影、测量等；l(e)利用来自其它传感器的图像来替代利用来自其它传感器的图像来替代/弥补某一传弥补某一传感器图像中的丢失感器图像中的丢失/故障信息。故障信息。多光谱图像融合的基本方法多光谱图像融合的基本方法 l像素级融合像素级融合l特征级融合特征级融合l决策级融合决策级融合 1.加权融合
5、l设设A(x,y)和和B(x,y)分别为两幅图像分别为两幅图像A和和B的的像素点，经融合后得到的融合结果图像为像素点，经融合后得到的融合结果图像为F(x,y)，那么对源图像的像素灰度值加权，那么对源图像的像素灰度值加权融合的过程可以表示为：融合的过程可以表示为：1.加权融合l通过主成分分析通过主成分分析(PCA)法选择权值法选择权值l(1)计算两幅图像矩阵的协方差计算两幅图像矩阵的协方差 1.加权融合l计算该协方差矩阵的特征值计算该协方差矩阵的特征值 1和和 22.基于金字塔分解的图像融合算法基于金字塔分解的图像融合算法 l基于金字塔分解的图像融合算法的融合过基于金字塔分解的图像融合算法的融合
6、过程是在程是在不同尺度不同尺度、不同空间分辨率不同空间分辨率和和不同不同分解层分解层上分别进行的上分别进行的 l常用的金字塔分解技术有：常用的金字塔分解技术有：Laplace金字金字塔、塔、低通比率低通比率金字塔、金字塔、梯度金字塔梯度金字塔等等 Laplace金字塔Laplace金字塔l（a）对图像进行）对图像进行Guass金字塔分解金字塔分解 l设源图像设源图像G0为高斯金字塔的底层（第为高斯金字塔的底层（第0层），层），则高斯金字塔的第则高斯金字塔的第Gl层图像为：层图像为：Laplace金字塔l（b）由）由Guass金字塔建立金字塔建立Laplace金字塔金字塔Laplace金字塔l(
7、c)对两幅图像的对两幅图像的Laplace金字塔分解图金字塔分解图像进行融合像进行融合Laplace金字塔l（d）由）由Laplace金字塔重建图像金字塔重建图像3.基于小波变换的图像融合算法基于小波变换的图像融合算法 A图像图像B图像图像融合融合算法算法融合融合图像图像小波小波变换变换小波小波变换变换融合小融合小波系数波系数小波小波重构重构3.基于小波变换的图像融合算法基于小波变换的图像融合算法l二维图像的小波分解：二维图像的小波分解：l二维图像的小波重构：二维图像的小波重构：融合结果l 原始微光原始微光 原始红外原始红外l 加权平均加权平均 基于基于Laplace金字塔分解金字塔分解 融合
8、结果l 原始微光原始微光 原始红外原始红外l基于低通比率金字塔分解基于低通比率金字塔分解 基于小波变换基于小波变换 融合结果4.彩色图像融合彩色图像融合 l(1)直接映射法直接映射法l(2)TNO融合法融合法l(3)MIT融合法融合法l(4)基于空间色彩传递的图像融合方法基于空间色彩传递的图像融合方法l(5)基于空间色彩传递的图像融合方法基于空间色彩传递的图像融合方法 直接映射法l红外图像送入红外图像送入R通道，将可见光图像分别通道，将可见光图像分别送入送入G和和B通道。通道。l优点：算法简单，利于实时处理优点：算法简单，利于实时处理l缺点：融合图像的色彩不自然缺点：融合图像的色彩不自然 直接
9、映射法结果TNO融合法 l（1）确定两幅源图像的共有部分）确定两幅源图像的共有部分l（2）每幅源图像中分别减去共有部分，得到每）每幅源图像中分别减去共有部分，得到每幅图像的独有部分幅图像的独有部分l（3）用两幅图像分别减去另一幅图像的独有部）用两幅图像分别减去另一幅图像的独有部分得到细节增强图像分得到细节增强图像l（4）将所得的结果送入不同的颜色通道进行显）将所得的结果送入不同的颜色通道进行显示示l优点：优点：TNO融合法运算速度快，利于实时处理融合法运算速度快，利于实时处理l缺点：融合图像的色彩不自然，不符合人的视缺点：融合图像的色彩不自然，不符合人的视觉感受觉感受 MIT融合法 lMIT融
10、合法是由麻省理工学院融合法是由麻省理工学院Waxman等人提出等人提出的。的。lMIT融合法以中心融合法以中心-环绕分离网络为基础，应用环绕分离网络为基础，应用生物视觉拮抗（生物视觉拮抗（Opponent）特征融合红外和可）特征融合红外和可见光图像，算法内部对融合结果的颜色进行了见光图像，算法内部对融合结果的颜色进行了重新映射，使得融合图像具有适合人眼观察的重新映射，使得融合图像具有适合人眼观察的自然色彩。自然色彩。基于 空间色彩传递的图像融合方法 l（1）由）由RGB空间变换到空间变换到LMS空间的过程空间的过程l对对LMS空间作对数变换，从而降低空间作对数变换，从而降低LMS空空间数据的偏
11、斜程度：间数据的偏斜程度：基于 空间色彩传递的图像融合方法 基于 空间色彩传递的图像融合方法 l对对logLMS空间进行正交化处理，从而变换到空间进行正交化处理，从而变换到l空间：空间：基于 空间色彩传递的图像融合方法l首先按照直接映射法将不同光谱图像映射到首先按照直接映射法将不同光谱图像映射到RGB空间，空间，产生直接映射彩色融合图像产生直接映射彩色融合图像l将将RGB空间数据转换到空间空间数据转换到空间 l选择一幅参考的彩色图片，将其转换到空间，分别计选择一幅参考的彩色图片，将其转换到空间，分别计算源图像和参考图像在算源图像和参考图像在l空间的均值和标准方差空间的均值和标准方差 基于 空间色彩传递的图像融合方法l然后，按照如下方式进行色彩传递然后，按照如下方式进行色彩传递 l对目标融合图像的空间数据进行空间的逆变换，获得目对目标融合图像的空间数据进行空间的逆变换，获得目标融合图像的标融合图像的RGB空间数据，即为最终融合图像数据空间数据，即为最终融合图像数据 基于 空间色彩传递的图像融合方法 实验结果 实验结果