《数字图像处理第五章图像复原与重建.ppt》由会员分享，可在线阅读，更多相关《数字图像处理第五章图像复原与重建.ppt（58页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第五章 图像复原与重建主要内容n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代数恢复代数恢复(选选)n频域恢复频域恢复(选选)n几何校正几何校正背景知识产生原因产生原因光学系光学系统中的统中的衍射衍射传感器传感器非线性非线性畸变畸变光学系光学系统的像统的像差差摄影胶摄影胶片的非片的非线性线性大气流大气流的扰动的扰动效应效应图像运图像运动造成动造成的模糊的模糊几何几何畸变畸变背景知识n几何畸变几何畸变背景知识n运动模糊运动模糊背景知识n图像复原是试图利用退化过是试图利用退化过程的先验知识去除已退化的程的先验知识去除已退化的图像的退化因素，尽可能恢图像的退化因素，尽可能恢复图
2、像本来面目的技术。复图像本来面目的技术。n思路：即找出退化的原因思路：即找出退化的原因,分分析引起退化的环境因素析引起退化的环境因素,建立建立相应的数学模型相应的数学模型,并沿着使图并沿着使图像降质的逆过程恢复图像。像降质的逆过程恢复图像。n过程过程:找退化原因找退化原因建立退化模型建立退化模型反向推演反向推演恢复图像恢复图像。背景知识n与图像增强技术比较：与图像增强技术比较：同：改善图像质量同：改善图像质量异：图像增强技术不考虑图像退化原因，通异：图像增强技术不考虑图像退化原因，通过基本探索性各种技术过程增强图像，一般过基本探索性各种技术过程增强图像，一般要借助人的视觉系统的特性，以取得看起
3、来要借助人的视觉系统的特性，以取得看起来好的视觉结果；好的视觉结果；图像复原则认为图像是在某种情况下退化图像复原则认为图像是在某种情况下退化或恶化，需要根据相应的退化模型和知识重或恶化，需要根据相应的退化模型和知识重建，恢复原始的图像。通常会涉及到设立一建，恢复原始的图像。通常会涉及到设立一个最佳的准则个最佳的准则,它将会产生期望的最佳估计。它将会产生期望的最佳估计。退化图像处理：先复原再增强退化图像处理：先复原再增强粗放型严谨型主要内容n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代数恢复代数恢复n频域恢复频域恢复n几何校正几何校正图像退化/复原过程的模型退化函数退化函
4、数 H复原滤波复原滤波 退化退化 复原复原图像复原的关键在于建立图像退化模型图像复原的关键在于建立图像退化模型,反映图像退化原因反映图像退化原因通常将成像系统作为线性位移不变系统，点扩散函数用通常将成像系统作为线性位移不变系统，点扩散函数用h h（x x，y y）表示，获取退化图像为）表示，获取退化图像为g g（x x，y y），建立系统退），建立系统退化模型如下：化模型如下：无噪声退化模型有噪声退化模型离散图像退化模型n对图像和点扩散函数均匀采样，得到离散的退对图像和点扩散函数均匀采样，得到离散的退化模型：化模型：向量矩阵形式为向量矩阵形式为其中，其中，H为为MNMN的矩阵。的矩阵。主要内容
5、n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代数恢复代数恢复n频域恢复频域恢复n几何校正几何校正图像复原过程n图像复原过程相当于设计一个滤波器，使图像复原过程相当于设计一个滤波器，使其能从退化图像中复原出真实图像的估值，其能从退化图像中复原出真实图像的估值，这种估值根据预定的最佳准则，具有最优这种估值根据预定的最佳准则，具有最优的性质。的性质。n代数恢复法讨论均方误差最小意义下，图代数恢复法讨论均方误差最小意义下，图像的最佳估计像的最佳估计无约束复原n准则函数准则函数退化模型的噪声项为退化模型的噪声项为使噪声范数尽可能小，即使使噪声范数尽可能小，即使 最小最小定义准则函
6、数为关于定义准则函数为关于f的估计最小的问题的估计最小的问题求极值可得求极值可得n频率域则表现为两者乘积。频率域则表现为两者乘积。频率域去卷积公式频率域去卷积公式约束最小二乘复原n当当H为奇异的，会导致无约束复原问题的病态为奇异的，会导致无约束复原问题的病态性，因此需要在恢复过程中施加某种约束，即性，因此需要在恢复过程中施加某种约束，即约束复原。约束复原。n约束最小二乘复原问题是使形式为约束最小二乘复原问题是使形式为 的函数，的函数，在约束条件在约束条件 时最小时最小n准则函数准则函数n求极小值得求极小值得 为常数系数（拉格朗日系数），为常数系数（拉格朗日系数），为为1/指定不同指定不同Q，得
7、到不同复原图像，得到不同复原图像约束最小二乘复原n能量约束能量约束 Q=I I表示表示单单位矩位矩阵阵 解得最佳复原解解得最佳复原解为为 物理意物理意义为义为在在约约束条件下复原束条件下复原图图像能量像能量 最小最小n平滑约束平滑约束 Q描述图像平滑程度，对应一个二阶平描述图像平滑程度，对应一个二阶平 滑算子，如拉普拉斯算子，则滑算子，如拉普拉斯算子，则 约束条件为应用各点二阶导数的平方约束条件为应用各点二阶导数的平方和最小，和最小，其值越小其值越小f f越平滑。越平滑。最佳复原解为最佳复原解为约束最小二乘复原约束最小二乘复原n均方误差最小约束均方误差最小约束（维纳滤波）（维纳滤波）将将f和和
8、n视为随机变量，令视为随机变量，令 Rf，Rn分别为信号和噪声的协方差矩阵。分别为信号和噪声的协方差矩阵。使使 最小，解得最佳复原为最小，解得最佳复原为主要内容n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代数恢复代数恢复n频域恢复频域恢复n几何校正几何校正逆滤波n对于线性位移不变系统，进行傅里叶变换后表对于线性位移不变系统，进行傅里叶变换后表现为频率域图像现为频率域图像n无噪声理想情况下无噪声理想情况下1/H(u，v)称为逆滤波器称为逆滤波器逆滤波做傅里叶反变换得复原图像退化图像中噪声问题：在H(u,v)为零或很小，N(u,v)/H(u,v)会变得很大，会对逆滤波恢复的
9、图像产生很大的影响，使估计图像与原图像差别很大逆滤波n解决途径解决途径人为设置人为设置H-1(u,v)，使其，使其H(u,v)避免出现避免出现0及及数值较小的值数值较小的值uH(u,v)uHI(u,v)uH-1(u,v)（a）图像退化响应 （b）逆滤波器响应 （c）改进的逆滤波器响应逆滤波限制滤波的频率信息使其接近原点限制滤波的频率信息使其接近原点,使其具有低使其具有低通滤波性质通滤波性质逆滤波对左图进行逆滤波(a)用全滤波的结果(b)D0为40时截止H的结果(c)D0为80时的结果(d)D0为85时的结果去除匀速直线运动造成的模糊n获取图像过程中，由于景物和摄像机之间获取图像过程中，由于景物
10、和摄像机之间的相对运动造成的图像模糊的相对运动造成的图像模糊去除匀速直线运动造成的模糊去除匀速直线运动造成的模糊n退化模型估计：退化模型估计：设设f(x,y)进行平面运动，进行平面运动，x0(t)和和y0(t)分别是在分别是在x和和y方向上随时间变化的运动参数方向上随时间变化的运动参数,g(x,y)为为模糊图像，模糊图像，t为运动时间，为运动时间，T为快门打开到关为快门打开到关闭的总曝光时间，模糊图像表示为闭的总曝光时间，模糊图像表示为去除匀速直线运动造成的模糊其傅里叶变换为其傅里叶变换为去除匀速直线运动造成的模糊维纳滤波n维纳滤波是从退化函数和噪声统计特征入手，假设图像维纳滤波是从退化函数和
11、噪声统计特征入手，假设图像信号近似看成平稳随机过程的前提下，按照恢复图像与信号近似看成平稳随机过程的前提下，按照恢复图像与原图像的均方差最小原则来恢复图像原图像的均方差最小原则来恢复图像.即即n恢复问题归结与找到合适的点扩散函数，其其与图像卷恢复问题归结与找到合适的点扩散函数，其其与图像卷积后能满足上式积后能满足上式,再计算图像估计再计算图像估计Pn 0,逆滤波维纳滤波逆滤波和维纳滤波的比较(a)全滤波的逆滤波结果(b)半径受限的逆滤波结果(c)维纳滤波的结果(交互选择K)维纳滤波的结果非常接近原始图像,比逆滤波要好主要内容n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代
12、数恢复代数恢复n频域恢复频域恢复n几何校正几何校正几何失真n图像在获取和显示过程中，由于成像系统本身的非线性、图像在获取和显示过程中，由于成像系统本身的非线性、图像获取视角的变化及拍摄对象表面弯曲等原因，产生图像获取视角的变化及拍摄对象表面弯曲等原因，产生图像几何形状的失真。图像几何形状的失真。几何失真n 常见几何失真常见几何失真 原图像原图像 透视失真透视失真 枕形失真枕形失真 桶形失真桶形失真几何校正n几何校正：将存在几何失真的图像校正成几何校正：将存在几何失真的图像校正成无几何失真的图像无几何失真的图像n在对图像定量分析前，进行此处理，以免在对图像定量分析前，进行此处理，以免影响分析精度
13、影响分析精度几何校正n几何校正基本方法是先建立数学模型，再几何校正基本方法是先建立数学模型，再利用已知条件确定模型参数，最后根据模利用已知条件确定模型参数，最后根据模型对图像进行校正型对图像进行校正n通常由两个基本操作组成通常由两个基本操作组成:空间坐标变换空间坐标变换修改像素空间坐标，对图像平面上像素坐标位置进行校正或重新安排，以恢复其原有的空间关系灰度内插灰度内插对空间变换后图像中像素赋予相应灰度值，以恢复原空间位置上的灰度值空间坐标变换（数学模型）空间坐标变换方法一n已知已知h1(x，y)和和h2(x，y)条件条件下的校正下的校正直接法直接法，由退化图像的像素坐标，由退化图像的像素坐标(
14、x,y)计算出计算出原图像对应像素的校正坐标值原图像对应像素的校正坐标值(x,y)，保持其，保持其灰度值不变。灰度值不变。校正后图像像素分布不规则，出现挤压、疏密不均现象，还需进行灰度内插生成栅格图像间接法间接法，由假设的校正图像整数坐标，由假设的校正图像整数坐标(x,y)计计算对应退化图像的非整数坐标算对应退化图像的非整数坐标(x,y)，由其周，由其周围像素灰度内插得到其灰度值。围像素灰度内插得到其灰度值。常用方法，较容易实现常见图像几何变换n平移平移xy常见图像几何变换n旋转旋转常见几何变换n缩放缩放xy常见图像几何变换n水平镜像：水平镜像：n垂直镜像：垂直镜像：空间坐标变换方法二n未知未
15、知h1(x，y)和和h2(x，y)条件条件下的校正下的校正 用基准图像和几何畸变图像上的连接点来确用基准图像和几何畸变图像上的连接点来确定坐标变换函数定坐标变换函数h1(x，y)和和h2(x，y)连接点是像素的子集连接点是像素的子集,它们在输入它们在输入(失真的失真的)和和输出输出(校正的校正的)图像中的位置是精确已知的图像中的位置是精确已知的.基准图像基准图像f 几何畸变图像几何畸变图像g空间坐标变换（数学模型）n根据两图像中的连接点，建立函数关系，进根据两图像中的连接点，建立函数关系，进行坐标变换，通常函数关系用二元多项式近行坐标变换，通常函数关系用二元多项式近似似空间坐标变换连接点总共有
16、6个连接点,可解出6个系数,得到几何失真模型.通常需要足够多的连接点以产生覆盖整个图像的四边形集.一元多项式的线性变换一元多项式的线性变换空间坐标变换n二元多项式的线性变换二元多项式的线性变换像素灰度内插像素灰度内插最近邻元法：选择距离最近的邻像素灰度最近邻元法：选择距离最近的邻像素灰度（x，y）像素值用最近邻（x，y）灰度插补像素灰度内插n最近邻元法优点：最近邻元法优点：简单快速简单快速灰度保真度好灰度保真度好n缺点：缺点：误差大误差大灰度不连续性造成灰度不连续性造成 视觉特性差视觉特性差 锯齿现象锯齿现象像素灰度内插n双线性内插法双线性内插法:用用4个最近邻点做两个方向内插个最近邻点做两个
17、方向内插（x+1，y）（x，y）像素灰度内插(a)显示具有25个连接点的图像(b)几何失真后的连接点(c)用最近邻点内插失真的图像(d)复原结果(e)使用双线性内插的失真图像(f)复原图像利用最近邻点内插法利用最近邻点内插法,几何校几何校正的效果可以接受的正的效果可以接受的.但在灰但在灰度级赋值上有明显错误度级赋值上有明显错误,特别特别时沿着灰和黑色区域的边界时沿着灰和黑色区域的边界处处.双线性内插法对此有明双线性内插法对此有明显改善显改善.abcdef像素灰度内插n双线性内插法特点：双线性内插法特点：计算邻近各点的灰度特征，灰度过渡平滑，计算邻近各点的灰度特征，灰度过渡平滑，效果较好，但计算
18、量大效果较好，但计算量大具有低通滤波性质，图像轮廓产生模糊具有低通滤波性质，图像轮廓产生模糊像素灰度内插n三次内插法三次内插法 三次多项式近似表示三次多项式近似表示 最佳插值函数最佳插值函数 sinx/x 像素灰度内插n三次多项式内插三次多项式内插利用周围利用周围16个邻点像素值个邻点像素值像素灰度内插n灰度内插公式为灰度内插公式为像素灰度内插n三次多项式内插特点三次多项式内插特点 计算量大，效果最好，精度最高计算量大，效果最好，精度最高几何校正作业nP113n6,7平时作业n研究数字图像处理领域的具体课题，搜集相关文献，整研究数字图像处理领域的具体课题，搜集相关文献，整理资料并作出报告。理资
19、料并作出报告。报告内容包括：课题简介、国内外研究现状、主要技术手段、报告内容包括：课题简介、国内外研究现状、主要技术手段、发展方向发展方向n具体课题不限，可以是指定课题，也可自我选择具体课题不限，可以是指定课题，也可自我选择n推荐课题名称：推荐课题名称：车辆识别中的子课题，如车牌定位、车牌倾斜校正、字符分割、车辆识别中的子课题，如车牌定位、车牌倾斜校正、字符分割、字符识别，要求对某一具体算法进行说明。（子课题简介、国字符识别，要求对某一具体算法进行说明。（子课题简介、国内外研究现状、算法流程、算法优缺点）内外研究现状、算法流程、算法优缺点）人脸表情识别人脸表情识别仿生鱼设计仿生鱼设计机器人视觉机器人视觉指纹鉴别指纹鉴别文字识别技术文字识别技术图像检索图像检索