《第六章图像复原 (2)精选文档.ppt》由会员分享，可在线阅读，更多相关《第六章图像复原 (2)精选文档.ppt（45页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第六章图像复原第六章图像复原2022/10/191本讲稿第一页，共四十五页本章主要内容：本章主要内容：n n1.概述n n2.图像的退化模型n n3.退化参数的估计n n4.图像滤波复原法n n5.图像代数复原法本讲稿第二页，共四十五页1.概述 n 什么是图像退化 图像的质量变坏叫做退化。退化的形式有图像模糊、图像有干扰等n 图像退化的处理方法 无论是由光学、光电或电子方法获得的图像都会有不同程度的退化；退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等；如果我们对退化的类型、机制和过程都十分清楚，那么就可以利用其
2、反过程来复原图像。本讲稿第三页，共四十五页1.概述 n 典型的图像复原方法是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用滤波等手段进行处理，使得复原后的图像符合一定的准则，达到改善图像质量的目的。本讲稿第四页，共四十五页2.图像的退化模型 f(i,j)：原始图像g(i,j)：降质图像T()：成像系统的作用，则：设T是线性的。一幅连续的图像f(x,y)可以用抽样函数的二维卷积表示：因此，则有：本讲稿第五页，共四十五页2.图像的退化模型 为点扩散函数(PSF)或系统冲击响应。多数情况下它表现为时不变的，反映在图像中为位移不变的，则可以表示为其中*表示卷积运算。如果T()是一个h可分
3、离系统，即n 称则二维运算可以分解为列和行两次一维运算来代替。n 在加法噪声情况下，图像退化模型可以表示为其中n(x,y)为噪声图像本讲稿第六页，共四十五页2.图像的退化模型 线性位移不变的图像退化模型则表示为：f(x,y)H n(x,y)g(x,y)本讲稿第七页，共四十五页2.图像的退化模型离散图像退化模型 对于图像降质过场进行数学建模f(i,j)：原始图像y(i,j)：降质图像h(i,j;k,l)：点扩散函数图像为MN维假设为空间不移变h(i,j;k,l)，则：本讲稿第八页，共四十五页2.图像的退化模型离散图像退化模型 用矩阵形式表示上式：y、f和n分别表示MN的函数矩阵y(i,j)、f(
4、i,j)和n(i,j)的各行或各列前后相连而成的维矢量。如果假设原始图像是NN维矩阵，则H是N 2N 2模糊矩阵：H是一个分块循环矩阵：每一个子矩阵H(i)自身也是循环矩阵：本讲稿第九页，共四十五页2.图像的退化模型线性不变降质算子 n 运动模糊 通常在拍摄过程中，相机或物体移动造成的运动模糊可以用一维均匀邻域像素灰度的平均值来表示 n 大气扰动模糊 这种模糊经常出现在遥感和航空摄影中，由于曝光时间过长引起的模糊可用高斯点扩散函数来表示：式中K是一个归一化常数，保证模糊的大小为单位值，2可以决定模糊的程度。本讲稿第十页，共四十五页2.图像的退化模型线性不变降质算子 n 均匀不聚焦模糊 这是由于
5、相机聚焦不准确引起的，虽然不聚焦由许多参数决定，如相机的焦距、相机孔的大小、形状、物体和相机之间的距离等，但在研究中为了简单起见，我们用下列函数表示聚焦不准引起的模糊n 均匀二维模糊 这是最常见的一种模糊，可以用来近似聚焦不准引起的模糊。其中L是奇数。本讲稿第十一页，共四十五页2.图像的退化模型线性不变降质算子 通常模糊算子相当于一个低通滤波器，因此当模糊算子作用于原始图像时，会引起图像中边缘和轮廓的模糊。77均匀二维模糊算子作用于图像Camera的结果如下图所示 原始图像 77均匀二维模糊算子作用后的结果 本讲稿第十二页，共四十五页3.退化参数的估计噪声模型n数字图像中的噪声主要来源于图像的
6、获取与传输过程n白噪声（White noise）白噪声的傅立叶频谱为常数假定白噪声与空间坐标系相互独立假定白噪声与图像像素之间相互独立n周期噪声噪声分布与空间坐标系相关大多数周期性噪声可通过频域滤波基本消除本讲稿第十三页，共四十五页3.退化参数的估计噪声模型n主要噪声的概率密度函数高斯噪声本讲稿第十四页，共四十五页3.退化参数的估计噪声模型n主要噪声的概率密度函数瑞利噪声本讲稿第十五页，共四十五页3.退化参数的估计噪声模型n主要噪声的概率密度函数爱尔兰（伽马）噪声本讲稿第十六页，共四十五页3.退化参数的估计噪声模型n主要噪声的概率密度函数指数分布噪声本讲稿第十七页，共四十五页3.退化参数的估计
7、噪声模型n主要噪声的概率密度函数均匀分布噪声本讲稿第十八页，共四十五页3.退化参数的估计噪声模型n主要噪声的概率密度函数脉冲噪声（椒盐噪声）本讲稿第十九页，共四十五页3.退化参数的估计噪声模型n噪声对于图像的影响本讲稿第二十页，共四十五页3.退化参数的估计噪声参数的估计n所需参数n通过传感器特性进行估计分析传感器成像器件特性（温度、光谱响应、电子电路特性、。）使传感器针对均匀灰度图像成像n从图像本身进行估计在图像中截取具有恒定灰度值区域进行计算直方图 本讲稿第二十一页，共四十五页3.退化参数的估计噪声参数的估计利用小的条带法计算直方图（右）：均匀噪声（中）：瑞利噪声（左）：高斯噪声本讲稿第二十
8、二页，共四十五页3.退化参数的估计图像恢复的相关指标n 模糊信噪比(BSNR,the Blurred Signal-to-Noise Ratio)表示由模糊和叠加噪声引起的降质程度 本讲稿第二十三页，共四十五页3.退化参数的估计图像恢复的相关指标n ISNR（the Improvement in SNR）ISNR只是评价图像恢复算法好坏的一个客观指标，ISNR高并不一定主观视觉效果好。本讲稿第二十四页，共四十五页4.图像滤波复原法n 逆滤波 对于图像退化模型 两边取傅立叶变换 H(u,v)又称为系统的转移函数(或滤波函数)，它使图像退化。在无噪声的情况下，上式可以简化为：v 这种1/H(u,v
9、)的形式称为逆滤波。再进行傅立叶逆变换就可以得到f(x,y)。本讲稿第二十五页，共四十五页4.图像滤波复原法实际情况中，噪声是不可避免的，因而只能求F(u,v)的估计值：n 如果H(u,v)有许多零点，必然使得复原的结果受到极大影响。n 或者如果H(u,v)不为零但是有非常小的值，也即病态条件，也会使复原效果受到影响。解决这个问题的方法是避开H(u,v)的零点。n 幸好一般的H(u,v)在低频附近的有限区域内不为零。v 因此逆滤波可以在原点附近进行，相当于在频域乘上一低通窗口函数W(u,v)。本讲稿第二十六页，共四十五页4.图像滤波复原法在理想无噪声的理想情况下，等效于在空域f(x,y)和w(
10、x,y)的卷积。逆滤波会使原图像变模糊。只引入少量模糊，方法简单，因而受重视。逆滤波的应用条件：退化图像g(x,y)是信噪比较高的图像。本讲稿第二十七页，共四十五页4.图像滤波复原法维纳滤波器维纳滤波器 逆滤波复原方法对噪声极为敏感，要求信噪比较高，通常不满足该条件。因此希望找到一种方法，在有噪声条件下，从退化图像g(x,y)复原出f(x,y)的估计值，该估计值符合一定的准则。用向量f,g,n来表示f(x,y),g(x,y),n(x,y)，Q为对f的线性算子，在约束条件下求Qf的最小化而得到f的最佳估计。n 基本原理本讲稿第二十八页，共四十五页4.图像滤波复原法用拉格朗日法求微分，可以用来调节
11、以满足约束条件。本讲稿第二十九页，共四十五页4.图像滤波复原法设Rf和Rn为f和n的相关矩阵：它们是对称矩阵。对于大多数图像而言，相邻象素之间相关性很强，在20个象素之外，趋于零。在此条件下，Rf和Rn可以近似为分块循环矩阵：其中A和B为对角阵，W为酋阵。若QTQ用Rf1Rn来代替本讲稿第三十页，共四十五页4.图像滤波复原法当D为对角阵，分块循环矩阵因此：写成频域形式为：其中Sff(u,v),Snn(u,v)分别是f(x,y)和n(x,y)的谱密度。本讲稿第三十一页，共四十五页4.图像滤波复原法卡尔曼滤波卡尔曼滤波 维纳滤波是对图像为平稳过程且已知相关函数情况下再假定为白噪声条件下的最有线性滤
12、波。维纳滤波提供了一种频域滤波，显然用频域方法时，计算机的存储量、计算量大而且不能向非平稳过程推广。为了克服维纳滤波的上述不足，卡尔曼等人在20世纪60年代初提出了一种递归滤波算法，即卡尔曼滤波。n 由于空间技术的需要推动了卡尔曼滤波的发展。它虽然也是根据随机过程统计的观点，但它可以在时域进行。n 卡尔曼滤波的另一个优点是它用递归滤波的方法，节约了存储量，减少了计算量。卡尔曼滤波也是求最小方差意义上的最优解，但它可以从某一点为起点去观测，用递归方法计算，有利于计算机实时求解。本讲稿第三十二页，共四十五页4.图像滤波复原法卡尔曼离散状态方程和观测方程卡尔曼离散状态方程和观测方程n 卡尔曼离散滤波
13、的两个方程为状态方程和观测方程状态方程观测方程设Wk和观测噪声Vk为两两互不相关的零均值正态白噪声系列本讲稿第三十三页，共四十五页4.图像滤波复原法n 根据Y1,Y2,Yk去估计xk称为卡尔曼滤波卡尔曼滤波，根据Y1,Y2,Yk去估计xk1称为卡卡尔曼预测或外推尔曼预测或外推。问题：无偏估计值：观测数据的估值：以下差称为新息，包含了从tk-1到tk时刻的随机干扰的影响：新息可以乘以一个增益系数矩阵Kk，来修正对xk的预测即为tk时刻的最佳线性估计。本讲稿第三十四页，共四十五页4.图像滤波复原法在均方误差最小的准则下，我们可以求出Kk的值。估计误差可求误差的协方差阵再看xk和它的无偏估计值的误差
14、协方差阵本讲稿第三十五页，共四十五页4.图像滤波复原法上述两协方差矩阵之间的关系为：上面各式中为求误差的协方差阵Pk最小，令解之，得本讲稿第三十六页，共四十五页4.图像滤波复原法总结以上，共得四式：(a)原始图像 (b)15水平运动 (c)卡尔曼滤波恢复的结果 模糊算子作用后 的结果 （高斯白噪声BSNR=40dB）（ISNR=0.006）本讲稿第三十七页，共四十五页5.图像代数复原法几何畸变的复原几何畸变的复原 在不同条件下拍摄的图像，一个物体的图像常会发生几何畸变，出现歪斜变形的现象。n 从太空中宇航器拍摄的地球上的等距平行线，其图像会变为歪斜或不等距；n 用光学和电子扫描仪摄取的图像常会
15、有桶形畸变和枕形畸变；n 用普通的光学摄影与测试雷达拍摄的同一地区的景物二者在几何形状上有较大的差异。以一副图像为基准，去校正另一种方式摄入的图像，以期校正其几何畸变，就叫做图像的几何畸变复原或者几何畸变校正。本讲稿第三十八页，共四十五页5.图像代数复原法几何畸变的描述几何畸变的描述几何基准图像的坐标系统用(x,y)来表示需要校正的图像的坐标系统用(x,y)表示设两个图像坐标系统之间的关系用解析式表示通常h1(x,y)和h2(x,y)用多项式来表示：本讲稿第三十九页，共四十五页5.图像代数复原法n 通常用线性畸变来近似较小的几何畸变n 更精确一些可以用二次型来近似n 若基准图像为f(x,y)，
16、畸变图像为g(x,y)，对于景物上的同一个点，假定其灰度不变，则本讲稿第四十页，共四十五页5.图像代数复原法n 已知h1(x,y)和h2(x,y)通常用线性畸变来近似较小的几何畸变 零级内插 双线性插值则：本讲稿第四十一页，共四十五页5.图像代数复原法n h1(x,y)和h2(x,y)未知通常用已知的多对对应点来确定系数a,b 线性畸变可由基准图找出三个点(r1,s1),(r2,s2),(r3,s3)与畸变图像上三个点(u1,v1),(u2,v2),(u3,v3)一一对应。将对应点代入，有：解联立方程组，得出6个系数。本讲稿第四十二页，共四十五页5.图像代数复原法这时 二次型畸变有12个未知量，需要6对已知对应点代入上式记做向量矩阵形式同样有解方程组，得到ai,bi.12个系数。本讲稿第四十三页，共四十五页5.图像代数复原法n 通常实际应用中，会取多余的对应点对，这时A不是方阵而是高矩阵，这时矩阵的逆用广义逆矩阵来求解。高矩阵的广义逆矩阵为在广告制作和计算机动画中常常要使物体变形。n 内插方法除了零级内插和双线性内插外，还有B样条插值和sinc插值函数内插n 几何畸变复原的一套方法也可以用于使图像畸变的工作中。本讲稿第四十四页，共四十五页5.图像代数复原法n 思考问题已知：对下图进行几何畸变校正(分别用零级内插和双线性内插)本讲稿第四十五页，共四十五页