医学图像可视化.pptx

《医学图像可视化.pptx》由会员分享，可在线阅读，更多相关《医学图像可视化.pptx（75页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、数据可视化（1）：数据曲线与图表第1页/共75页南极上空臭氧层 HURRICANE FRAN数据可视化（2）：引入形态表示第2页/共75页1.1 1.1 生物医学三维可视化生物医学三维可视化 用计算机处理医学图象的过程是先对人体有关部位扫描，将连续的、实际的人体解剖结构数字化，然后再对这些离散化的体数据进行加工和处理。还要用合适的显示技术将处理结果显示出来，增强人们对有关解剖与病理的观察和理解。医学图象的显示技术主要包括色彩的运用和形态的真实再现。第3页/共75页 形态的表示涉及3D图象重建技术。图象的重建就是要从获取的采样数据恢复物体的三维结构，即物体的原型。从本质上说，重建是一个逆问题。第

2、4页/共75页 医学图象的显示问题还不仅是个重建问题，由于许多功能成像技术，使我们不但能够看到潜藏在内部的物体结构，而且可以看到那些就是使用介入手术也无法看到的人体功能信息。第5页/共75页 图象显示方式有多种多样，从大的方面可以分为三类：(1)反射式显示(2)透射式显示(3)断层（剖面）显示第6页/共75页 反射式显示：从体数据的感兴趣区提取被观察物体的表面，施以一定的光照模型，选择某一视角从物体外部观察物体表面形态的显示方式。典型的如表面绘制技术（Surface Rendering）。第7页/共75页 透射式显示：类似于X射线成像原理，将反映医学图象特性的图象强度看作对光线不同吸收的特性，

3、光线穿透物体的最大吸收或累加吸收效果构成物体的结构图象。典型的技术有最大强度投影（Maximum Intensity Projection，MIP）及体绘制技术（Volume Rendering）。第8页/共75页 断层（剖面）显示：不经3D重建，直接显示过空间某一点的三个正交剖面的形态结构。有时为了帮助理解，同时给出切除部分结构的3D投影图。第9页/共75页1.2 1.2 表面绘制技术表面绘制技术（Surface Rendering）我们这里说的“绘制”一词，英文是“Rendering”。还经常被译做“描绘”、“渲染”、“重建”或“显示”等。它的比较严格定义应该是：实际3D物体的2D照相写真

4、式表示。属于3D物体在2D平面真实感投影，二者有严格定量关系及视觉真实感。第10页/共75页1.2.1 1.2.1 基于体素的表面重建基于体素的表面重建 这是一种直接从体数据提取物体表面的方法。代表性的是Lorensen等人提出的移动立方体法（Marching Cube）。下面以人脑图象为例加以说明。在剔除大脑皮层、颅骨和其它非脑成分之后，仅剩下大脑部分。由于我们感兴趣的是脑表面的形态而不考虑其内部的细节，因此，要把位于大脑表面上的像素与大脑内部分开，这个过程称做轮廓提取（Contouring）。第11页/共75页 对一个单元及给定的该单元点的标量值组合计算所有可能拓扑状态。拓扑状态数取决于单

5、元顶点个数及一个顶点可能对于轮廓值内/外关系数。如果顶点灰度值大于轮廓线的灰度值（阈值），则认为该顶点在轮廓之内。否则认为在轮廓之外。例如，如果一个单元有四个顶点，每个顶点可以在轮廓内部或外部。因此，轮廓通过该单元共有24=16种方式。构型表（Case Tables）1.轮廓提取第12页/共75页 物体的表面实际上是一个闭合的灰度的等值面，其灰度值称做阈值。在该等值面的内部，所有的像素灰度值都大于这个阈值，在等值面的外部，所有的像素灰度值都小于这个阈值（或相反），从而将物体与背景分开。显然，等值面上的体素内部灰度是不均匀的，即体素的一部分灰度大于这个阈值，另一部分灰度小于这个阈值。第13页/共

6、75页 构型表的索引值可对每个顶点做二进制数字编码。对用矩形网格表示的2D数据，用4位索引值表示16种状态。选定某一合适的状态后，可以用内插法计算轮廓线与单元边缘交点。该算法处理完一个单元后，然后移动或前进到另一个单元。当所有单元都走过后，轮廓就完成了。步进算法可总结如下：选择一个单元；计算该单元每个顶点的内/外状态；生成每个顶点二进制状态的编码索引值；用该索引值查构型表得到所需的拓扑状态；用内插计算构型表中每边的轮廓位置。第14页/共75页 由于此过程是对每个单元单独处理，不同的单元边界处可能重复使用一些顶点或边缘，可以通过程序消除重复的运算。注意，沿每条边的内插应按相同方向进行。不然的话，

7、数值舍入可能会使产生符合的点不精确符合，不能正确地合并。第15页/共75页3D步进立方体法的15种基本构型第16页/共75页 与步进正方形相似，3D时为步进立方体法。每个体素有8个顶点。根据这8个顶点与灰度阈值的关系一共有28=256种构型。2D图像的轮廓是由直线段连接而成，3D图像的轮廓则复杂的多。3D图像的轮廓是由许许多多的小三角形面片镶嵌而成的。考虑到各构型的对称和互补性，上页的图给出简化后的15种基本构型。对于3D图像遍历，根据各体素的构型情况产生三角形面片镶嵌的表面轮廓的方法称作移动立方体法。实际应用中要用到全部256种构型，因为仅靠15种基本构型的组合往往会在表面轮廓上产生空洞。第

8、17页/共75页 为了方便起见，实用的遍历法是对每个体素用查表法。将体素的8个顶点与灰度阈值比较所产生的逻辑值依序构成一个8位的二进制编码索引值，全部256种构型的信息组成一个“构型三角剖分”查找表。它包含256个索引项，每个索引项包含索引号以及指向该种三角剖分中的一个指针。通过查表可以直接得到轮廓段的拓扑信息、哪一个边与体素相交、应当使用那些顶点内插产生交点等。对于每个体素，根据它的索引号在“构型三角剖分”查找表中确定其三角剖分形式。还要对相邻正方形一致边合并。最终产生由小三角形面片镶嵌成的表面轮廓。第18页/共75页仔细观察步进正方形的5号和10 号状态，步进立方体的3，6，7，10，12

9、和13号状态，都是一个单元可以用多于一种方式来提取轮廓。在2D或3D中，当对角顶点是同一状态（1或0），而邻边上点为不同状态时，就会发生二义性。任选步进立方体状态会导致等值面中的孔洞轮廓的二义性问题第19页/共75页 2.等值面的明暗显示 要想真实地显示物体表面的情况，须采用等值面的明暗显示。三角片的生成仅仅完成了等值面的构造，要真正显示出物体在一定光照条件的形态，还必须解决物体在特定的光照模型下的表面法向量的计算。第20页/共75页光照模型所采用的光照模型为 其中,I:三角片的光强,Ia :环境的光强,Is:光源的光强,:三角片指向物体外部的法向量与光线的夹角,显然，三角片的光强与光源的方向

10、和强度均有关。三角片的表面法向量的计算是真实、准确显示物体表面的关键问题。第21页/共75页 表面法向量的计算 基于灰度梯度的法向量估计方法是一种很有效的方法。首先，用灰度差分计算体素顶点(i,j,k)上的灰度梯度 ，其中S(i,j,k)是体素顶点灰度值。第22页/共75页 对g进行归一化，得到(gx/|g|,gy/|g|,gz/|g|)作为(i,j,k)上的单位法向量。然后，对体素八个顶点上法向量进行线性插值就可得到位于体素棱边上的三角片的各个顶点上的法向量。设计算得到的某个三角片的三个顶点上的单位法向量分别为(x1,y1,z1),(x2,y2,z2),和(x3,y3,z3),这个三角片的几

11、何重心为（cx,cy,cz)，则该三角片的法向量起始于(cx,cy,cz)，终止于(x1+x2+x3)/3+cx,(y1+y2+y3)/3+cy,(z1+z2+z3)/3+cz）。代入光照模型公式，就可计算出小三角片表面的光强(灰度)。将其投影在某个特定的二维平面上进行显示，从而显示出物体富有光感的整个表面形态。第23页/共75页投影中的消隐问题投影是实现三维到二维转换的有效手段，消隐是其中一个不可忽略的问题。采取的策略为遍历体素集合，相对视点采用从后至前的次序，后显示到屏幕上的三角片将覆盖先显示的三角片，这样就达到消除隐藏面的目的，这就是著名的画家算法的思想。右图是用移动立方体法重建的脚骨图

12、象。第24页/共75页1.2.2 1.2.2 划分立方体法划分立方体法 随着CT、MR等成像技术不断地进步和发展，断层数据的层片间距越来越小，层片内部的空间分辨越来越高，Marching Cube算法在体素上产生的小三角面片数目激增。而屏幕显示的空间分辨有限，直接生成的小三角面片比显示屏幕上的像素还小，这时就无需再计算小三角面片了，于是产生了划分立方体法（Dividing Cubes）。基本思想是通过生成与显示像素对应的点元直接形成显示图像。基于点元的绘制要比基于小三角面片的绘制在存储和计算方面都具有较大优越性。考察与等值面相交的体素，如果该体素在显示平面的投影面积大于一个像素的大小，就要将该

13、体素细分为n1xn2xn3个子体素，使子体素在显示平面的投影面积等于一个像素的大小。每个子体素绘制为一个表面点。子体素顶点处灰度通过线性插值获得。对于与等值面相交的子体素，简单地在其中心生成一个点，再用线性插值方法计算出法向量，进行亮度明暗计算得到光照效果。第25页/共75页 划分立方体第26页/共75页 划分立方体算法：1.输入三维体数据，设定等值面灰度阈值；2.首次读入连续4层数据；3.两个连续层面的8个数据邻点组成一个立方体（体素），在体素每个顶点处计算灰度梯度向量分量，数值等于该顶点沿每个坐标轴前后邻点灰度差。4.对体素分类：如果每个顶点灰度值均高于灰度阈值，体素是内部体素；反之，如果

14、每个顶点灰度值均低于灰度阈值，体素是外部体素；否则，等值面通过该体素。5.细分立方体：将包含等值面的体素细分为n1xn2xn3个子体素，使得每个子体素在显示平面上是一个像素大小。即每个子体素相当一个表面点，子体素的8个顶点灰度值由原体素顶点灰度值线性插值获得。6.如第5步，检测还有那些子体素与等值面相交。7.对每个与等值面相交的子体素计算8个顶点的灰度梯度向量。确定子体素中心点，法向量为8个顶点的灰度梯度向量的平均值。8.计算每个表面点的光强：法向量沿视方向投影的标量积。9.移出最上层数据，读入下一层数据，重复步骤3-9，直至遍历全部体数据。第27页/共75页1.2.3 1.2.3 基于切片的

15、表面重建基于切片的表面重建由切片轮廓重建物体的方法称作基于切片的表面重建。该方法的主要步骤是：第第1 1步：步：平面轮廓的提取。平面轮廓的提取一般基于物体与背景间灰度或其它属性的差异进行分割和 提取。高质量的轮廓提取往往需要生物医学领域知识的引导。第第2 2步：步：片间轮廓的对应。片间轮廓的对应具有较大的任意性。一般可通过对不同层面上轮廓重叠部分定量比较，或应用一些能够描述轮廓形状的椭圆拟合、柱体生长等方法判断。第第3 3步：步：轮廓拼接。确定了对应的轮廓之后，还需要确定对应轮廓上的对应点。第第4 4步：步：曲面拟合。小三角形面片结构只能是物体表面的粗略表示，较为精确的方法可用曲面拟合。即用通

16、过小三角形顶点的曲面代替三角形平面。常用的有三次B样条插值。更为精细的有非均匀有理B样条（NURBS）第28页/共75页1.3 1.3 体绘制技术体绘制技术 表面绘制是绘制不透明物体。即假设物体在其表面反射、散射，而没有光线射入它们内部。虽然绘制不透明物体很有用，但很多应用中，绘制透明物体也很重要。透明度在体绘制中有重要的应用。半透明绘制：该方法使物体透明，使我们可以看到表面所围区域的内部。例如使皮肤半透明，能够看到内部的器官。第29页/共75页1.3.1 1.3.1 透明度与透明度与 值值 透明度（Transparency）及阻光度（Opacity）是两个互补的概念，称为值。半透明的值是0.

17、5；=1代表完全不透明物体，=0代表完全透明物体。是整个原色（Entire Actor）的一个重要性质，可以单独说明，也可以与三种原色等同地表示。按照光线跟踪过程，视线从相机投射到世界坐标，依次与每一种原色板相交。若原色板是不透明的，要绘制的颜色就是光线方程到此部得到的颜色；对于半透明原色板，必须用光照方程求解穿过这个原色板得到的结果，并且继续投射，看它是否还与其它原色板相交。最后得到的颜色是所相交全部原色板作用的合成。第30页/共75页考虑光线穿过三个透明度均为0.5的、颜色分别为红、绿、兰的多边形平面，如果红色多边形在前，背景为黑色，得到的RGBA色为（0.4，0.2，0.1，0.875）

18、。值的合成第31页/共75页1.3.2 1.3.2 纹理映射纹理映射 纹理映射（Texture Mapping）是无需对细节建模而给图像添加细节的一种技术。纹理映射可以看作是将一幅图像粘贴到一个物体表面的技术。使用纹理映射需要两种信息：纹理映射图及纹理坐标。纹理影射图是我们要粘贴的图像，纹理坐标规定图像粘贴的位置。更一般地说，纹理映射是在对物体绘制时对其颜色、强度与/或透明度的查表技术。纹理图及坐标大多数情况下是二维的，但三维纹理图及坐标正变得普遍起来。第32页/共75页1.3.3 体绘制 体积绘制技术有两种：最大强度投影法（Maximum Intensity Projection，MIP）及

19、三维体绘制技术（3D Rendering Technique）。MIP 是沿观察者视线方向，选择每条与数据体积相交直线上全部象素中的最大强度值作为图象投影平面强度值。该方法适于做CT 或MR 血管造影图象。缺点是图象象素的强度失去三维空间信息。由于所有投影象素都是选取最大强度值，因而整个图象的平均背景强度随之加大，这在很多情况下（例如肾或肝中血管）会影响对一些结构的观察效果。有时，高强度的象素（例如CT图象中的骨结构或钙化点）会对使用造影剂的血管图象产生伪迹。第33页/共75页用光线投射技术生成的最大强度投影神经元图像最大强度投影或MIP是可视化体积数据最常用方法之一。该技术具有较好的抗噪声特

20、性，能够产生对处理数据直观了解的图像。这种方法的缺点是不可能从一幅静止图像看出沿光线什么地方得到的最大值。例如图中所示的神经元图像，很难从这幅静止图像完全了解神经元的结构，因为我们不能确定该神经元的某些分支是在其他分支的前面还是后面。第34页/共75页与MIP不同，体绘制技术是对每条视线上每个像素强度计算加权和，将结果作为投影像素的灰度值。下图以一个具体例子说明体绘制技术的成像原理。图中中间部位带有数值的小方块表示视线通路上的各像素强度值。图上部是该直线上像素强度的直方图及阻光度曲线。强度值低于5的阻光度为0%，强度值大于9的设为100%。一些中间值6,7和 8 的阻光度分别设为25%,50%

21、和 75%，图的下部是计算加权和的公式与几个计算步骤。体绘制图像的显示结果由像素强度与设定的阻光度（权重）两者共同决定。第35页/共75页 肺动脉的MIP与体绘制图像比较。左图：MIP图像，右图：体绘制图像 MIP实际包括了所有的血管，但不够清晰，不能看出单个结构及相互之间的空间位置关系。体绘制的图像则清楚的多。第36页/共75页1.3.4 1.3.4 按图像顺序体绘制按图像顺序体绘制 图像顺序绘制又常称做光线投射或光线跟踪。基本思想是，发出一条光线通过像素进到场景中，然后用某一特定的为计算像素值的函数计算沿光线所遇到的数据。确定图像平面中每个像素值。第37页/共75页光线投射过程如图所示。此

22、例使用一个标准正投影栅格投影。所有光线互相平行，并与视平面垂直。沿每条光线的数据值是按一个光线函数处理的，并将其转换为灰级像素值。按图像顺序体绘制第38页/共75页几种基本光线函数类型。下图表示光线通过8位灰度体积数据时数据值剖面，灰度数据值范围为0-255。剖面的X轴表示到视平面的距离，Y轴代表数据值。光线投射剖面第39页/共75页右图显示的是使用四个不同简单光线函数转化为灰级值的显示结果。前两个光线函数，最大值及平均值，是对标量值本身的基本操作。第三个光线函数计算沿光线首次遇到等于标量值为30处的距离，第四个函数使用合成技术，将沿光线的值看作按单位距离累积的阻光度样本值。四种不同光线函数绘

23、制的结果第40页/共75页由于体积用3D结构点数据集表示的，标量值又是在规则栅格点上定义的。因此光线穿越体积就有不同的计算方法。例如，在光线通路上按均匀间隔采样。这会遇到许多非格点（任意位置）的数据如何确定的问题。一般是用插值的方法。另一种方法是不通过采样计算沿光线通路的数据，对经过体积时所遇到的每个体素（或最近临的体素）计算。体绘制的两种基本光线穿越方法第41页/共75页离散光线分类离散光线分类第42页/共75页三种不同步长的光线投射法得到的图像第43页/共75页1.3.5 1.3.5 按对象顺序体绘制按对象顺序体绘制 按对象顺序体绘制方法是对体数据集逐层、逐行、逐个地计算每一个数据点对图像

24、平面中像素的贡献，并加以合成，形成最后的图像。使用合成法时，体数据可以按照距图像平面由前到后的顺序投影，也可以按照由后向前的顺序投影。若用图形硬件进行合成，从后向前顺序为好，因为无须帧缓冲器中的位平面就可以完成混合。如果使用软件合成法，从前向后顺序更普遍，因为部分图像结果更具视觉意义。在一个像素接近完全不透明时，可以免除附加的处理。基于到视平面的距离的体素排序也并不一定非做不可，因为某些体绘制操作，如MIP或平均法，可以按任何顺序进行，都能得到正确结果。第44页/共75页 下图是一个简单的对象顺序体绘制示例，从后向前将体积内体素做正透视投影。穿越体素是从离视平面最远处体素开始，并连续地逐渐移向

25、较近体素，直到所有体素都被访问。整个过程由一个三重嵌套循环完成，即从外层到内层，先遍历体积中的平面，再处理一个平面中的一行，最后是一行中的体素。第45页/共75页 高斯核投影到视平面产生溅射足迹 一种称做溅射（Splatting）的体绘制技术通过将一个体素的能量分配到许多像素的方式说明这个问题。溅射是由Westover提出的按对象顺序体绘制技术，如其名字所意味的，每次它都将一个体素的能量在图像平面投影成一个色斑，或痕迹。每个数据样本周围存在一个有限范围的核。痕迹是该样本到图像平面的投影贡献，并通过沿视方向对核积分计算，并将结果存在一个2D痕迹表中。第46页/共75页二、医学图像可视二、医学图像

26、可视化方法应用化方法应用 虚拟内窥镜虚拟内窥镜第47页/共75页 2.1虚拟内窥镜 虚拟内窥镜技术（Virtual Endoscopy）是虚拟现实技术在现代医学中的应用。它利用医学影像作为原始数据，融合图像处理、计算机图形学、科学计算可视化、虚拟现实技术，模拟传统光学内窥镜的一种技术。它克服了传统光学内窥镜需把内窥镜插入人体内的缺点，是一种完全无接触式的检查方法。虚拟内窥镜的研究旨在为医生提供诊断依据，还可应用于辅助诊断、手术规划、并且实现手术的精确定位和医务人员的培训等。第48页/共75页2.2虚拟内窥镜的应用 目前，VE 的应用主要集中在那些具有空腔结构的器官上 如气管、支气管、食管、胃、

27、结肠、血管、内耳、心脏等等。至今，VE 仍处于初期临床试验阶段。虚拟内窥镜作为一种全新的医学检查、诊断方法，节省了使用镇静剂、插入探测器、住院治疗和术后观察等措施，降低了检查的复杂性、危险性和成本。从理论上讲，种人体内部结构都可以使用这种技术来进行模拟检查。虽然目前的应用仅局限于教学、培训和设计治疗方案等少数领域且处于初级研究阶段，但随着计算机和医学成像技术的飞速发展，虚拟内窥镜研究不仅有重要的理论意义，而且有着广阔的应用前景。第49页/共75页第50页/共75页A 虚拟结肠内窥镜图像B 光学结肠内窥镜图像结肠对应的CT图像第51页/共75页 2.3虚拟内窥镜中体数据的可视化虚拟内窥镜系统的主

28、要技术组成处理过程虚拟内窥镜系统的处理过程数据采集、图像的组织分割、三维重建、路径规划、实时绘制 第52页/共75页2.3.1数据采集由CT 或MRI 等设备采集2D 的医学切片图像，经3D 重建后的图像质量主要取决于数据采集的方式和分辨率，分辨率又由切层厚度和矩阵大小决定。气管、支气管、胃、肠系统的检查首选螺旋CT，可以缩短采集时间，从而减少由于病人呼吸和移动造成的伪影，还可以在不增加曝光时间的情况下提供重叠的图像资料。3D 重建要求层间的数据集具有连贯性，操作者可以改变图像重叠的程度，以获得较好的3D 图像效果。原始的图像分辨率越高，重建的3D 图像效果越好。螺旋CT 虚拟内窥镜的最佳扫描

29、参数目前还无定论，但最小的电子束流准直可获得最大的X 线分辨率，最慢的检查床推进速度和重建片层最大程度的重叠可进一步提高图像的清晰度。另外，增加千伏电压数和毫安数可以增加信噪比，但同时也会增加患者的辐射剂量，因此需要综合外科手术对清晰度的要求，选择最合适的扫描参数。在神经系统内窥镜研究中一般选择MRI。因为头部较固定，可以较长时间的采集数据，得到高分辨率的图像。在过去的十几年中MR 技术有了很大发展，成像序列方法、磁场强度和梯度线圈工艺得到了改进，使得MRI 可以在短时间内采集到高清晰度的图像。目前还处于实验阶段的高磁场MRI 所产生的图像具有惊人的高清晰度，为虚拟内窥镜的发展和应用奠定了基础

30、。第53页/共75页2.3.2图像的组织分割由于实际的医学图像数据集CT、MRI 等提供的断层切片图像除了包含特定组织外，还包含了其它的信息，必须将特定的组织、器官分割出来才能实现3D 重建。分割是指区分相邻组织结构特征的过程。目前主要使用手工、半自动、自动分割三种方法。由于医学图像的复杂性，完全自动并精确地实现组织的分割是非常困难的，而手工分割的工作量太大，因此使用医学知识并结合快速精确的技术半自动地实现组织分割是比较现实的，也是目前常用的方法。发展自动分割技术是发展虚拟内窥镜技术的关键。第54页/共75页组织分割前图像组织分割后的图像第55页/共75页2.3.3三维重建三维重建是将2D 的

31、切片数据集重新构造成3D 实体的过程。虚拟内窥镜系统的3D 重建有表面重建和体重建两种方法.表面重建是由切片数据集提供的数据中抽取出等值面，由点、线、构造出对象的几何表面，然后再由传统的图形学技术实现表面绘制。通过抽取等值面构造的表面模型，会丢失三维数据场中的细节信息，有些分界面也有可能被扩大，也就是说保真性较差。因此，虽然通过表面模型可以有效的绘制三维体的表面，但缺乏内部信息的表达。第56页/共75页 体积重建实际上不通过构造中间对象，直接由3D 数据本身重现实体。3D数据中的一个数据作为一个表示实体的基本单元体素，每一个体素都有颜色、不透明度、梯度等相应的属性。首先根据数据点值对每一体素赋

32、以不透明度（）和颜色值（R、G、B）；再根据各体素点所在点的梯度以及光照模型计算出各数据点的光照强度；然后根据体光照模型，将投射到图像平面中同一个象素点的各体素的半透明度和颜色值从前向后或者从后向前组合在一起，形成最终的结果图像。根据不同的绘制次序，体绘制方法目前主要分为两类：以图像空间为序的体绘制算法（光线投射法）以对象空间为序的体绘制算法（单元投影法）。第57页/共75页2.3.4路径规划 在采用体重建绘制结果图像过程中涉及巨大的数据量，考虑到实时性要求，一般是首先进行路径规划，抽取出对应空腔结构组织器官的中心路径，然后按照这条关键路径进行漫游。第58页/共75页结肠对应的中心路径图支气管

33、对应的中心路径第59页/共75页2.3.5实时绘制按照3D 重建的结果，模拟虚拟摄像机在人体组织器官内部移动产生的效果，根据相应的视点位置、视线方向实时显示出对应的景象，这是实时绘制的主要任务。第60页/共75页 由于在体绘制技术上的不同手段：基于面绘制（SF）和直接体绘制的技术(DVR),虚拟内窥镜技术在实现上也有区别：基于面绘制的和基于体绘制的虚拟内窥镜技术 2.4虚拟内窥镜技术第61页/共75页2.4.1基于面绘制的虚拟内窥镜技术一般基于面绘制的虚拟内窥镜的过程如图110 所示。首先从CT、MRI 等设备获取2D 切片数据。在建立几何模型之前，要进行一系列的图像预处理。预处理过程包括滤波

34、、插值、分割等。滤波用于平滑或增强图像的信息内容；插值是由于CT 或MRI 等设备提供的都是断层数据，而体绘制需要在三个方向上密度相同的均匀体数据；分割是在图像数据中抽取特定的组织，切除不感兴趣的数据。抽取出相应对象的表面，将其多边形化，建立相应的几何模型，再添加颜色、光照、纹理映射等，就可以用面绘制的方法绘制。用户根据绘制的结果决定绘制结果是否理想，否则需要重新进行组织分割和建立相应的几何模型。在进行漫游时主要有两种方式：（1）实时交互模拟器方式，实时地模拟医学内窥镜在人体组织内部的移动。这种方式要求使用有足够高计算能力和显示速度的高性能计算机。（2）预先确定一条漫游路径，以动画录像的方式显

35、示。第62页/共75页 基于面绘制的虚拟内窥镜流程图第63页/共75页2.4.2基于体绘制的虚拟内窥镜技术另一种是在实现虚拟内窥镜的方式是直接体绘制，其一般流程。这种方式与前一种方式的最大不同在于不需产生中间模型在确定视点的位置和视线的方向后，采用透视投影直接体绘制。直接体绘制具有高度保真性，能够显示出对象所包含的丰富内在信息。第64页/共75页基于体绘制的虚拟内窥镜流程图第65页/共75页两种绘制技术在虚拟内窥镜应用中的比较（1）绘制速度：面绘制可以快速灵活地进行旋转和变换光照效果，它适用于绘制表面特征分明的组织和器官。体绘制数据量和计算量大，所以速度慢。（2）图像质量：面绘制对表面分割精度

36、要求高，所以，对形状特征不明显，有亮度变化的软组织以及血管、细支气管等精细组织或器官三维显示效果不佳。而且面绘制不能保留数据完整性。体绘制与面绘制最大的不同是：其不需要产生一个中间模型、而是直接对三维数据场进行体绘制，潜在的能力是保存了体数据丰富的三维信息。第66页/共75页2.5虚拟内窥镜的研究现状和难点虚拟内窥镜系统既然是虚拟现实系统，那么必然要考虑满足3I（Immersion、Imagination、Interaction）的特性，即沉浸感、真实感、交互性。实时的交互和真实感的虚拟场景，能给操作者提供一种身临其境的沉浸感。在诸多相关研究中，比较有代表性的有以下几种：虚拟内窥镜医学应用系统

37、（Virtual Endoscopy Medical Application）美国GE Research&Development Center 开发了一套医学虚拟内窥镜系统。（VEMA），如图112。该系统采用先进的分割、重建、显示和自动路径规划算法，使用器官的CT 或MRI 切片图像，生成器官的3D 内表面模型，模拟视频内窥镜的功能。VEMA 支持多视图技术如细节放大、同步显示器官内外3D 视图、组合2D 和3D 表面视，在人体空腔管道中交互移动或自动航行，并且提供了交互式解剖结构测量工具。VEMA 可应用于人体许多区域：虚拟结肠镜、支气管、血管镜检查等。其采用的目标器官的CT 和MRI 图

38、像同周围组织的对比度较好，主要用于医疗人员的培训和教学。第67页/共75页虚拟内窥镜医用系统效果图第68页/共75页虚拟结肠内窥镜（Virtual Colonoscopy）16,17：Imatron Inc 采用虚拟人（VHD）数据，模拟橡皮管、病人结肠CT 图像数据,使用3D 体积可视化技术，对人体结肠的内表面进行虚拟成像和检查。初步实现了两种结肠内的航行方式：预定路径结肠内航行和人工定向结肠内航行。第69页/共75页虚拟耳窥镜（Virtual Otoscopy）:美国Boston Surgical Planning Lab.建立了一种虚拟耳窥镜系统，以三维形式显示耳的解剖结构，通过CT和M

39、RI 图像数据重建耳的内表面，来模拟传统内窥镜对内耳的检查过程，第70页/共75页虚拟食管支气管内窥镜（Virtual Tracheo-Bronchial Endoscopy）：法国Laennec Hopital 的研发小组开发的这套虚拟系统，采用喉部CT图像，体积重建高质量的3D 视图，并且在视图中提供解剖结构的三维提示功能，第71页/共75页冠状动脉虚拟内窥镜（Virtual Endoscopy of the Coronary Arteries）:Imatron Inc 在Imatron 图形工作站上实现冠状动脉内虚拟飞行观察，模拟冠状动脉内窥镜检查或心脏超声波检查，能估算出冠状动脉的内腔

40、横截面直径，第72页/共75页至今虚拟内窥镜系统还远远未达到临床应用要求，有许多技术尚未解决，主要的难点有（1）组织分割：组织分割是获得单个器官对象的关键步骤。精确的、自动的、可重复的图像分割是组织分割的最高目标。目前组织分割通常使用后处理技术，也就是在整个图像数据集合获取之后，使用手工或者半自动分割。手工分割就是有经验的医护人员在每个切片图像数据上人工勾画出特定的组织、器官，其工作量是非常巨大和繁琐的，并且错误也较多。半自动分割是通常采用的方法，也即通过交互式的人工干预实现组织分割。最近一些研究实现了骨骼与软组织的全自动分割。组织分割的最终目的是做到在获取图像的同时就能自动分割。（2）路径规

41、划：路径规划是预先设定漫游路径，以便在漫游过程中沿着这条规划好的路径漫游，一般是预先抽取特定组织的中心路径作为漫游路径，主要有在2D 的切片图像和3D 重构图形中抽取中心路径两种方法。沿着主要的视线方向，在两维的切片图像中抽取出相应组织的中心轴线，然后将每个切片中心线连起来经后处理形成中心路径，这种在2D 切片图像中构造的中心路径包含有较多的错误，结果不理想。在3D 重构的组织图形中抽取中心路径是较为常用的方法，但是需要非常漫长的过程，这种过程通常是令人难以忍受的。当前，迫切需要一种快速、高效的中心路径抽取方法。第73页/共75页（3）实时处理：由于虚拟内窥镜使用的医学图像的数据量特别巨大，特

42、别是直接体绘制，更是如此。鉴于直接体绘制具有面绘制无法比拟的优点，如何在漫游过程中采用体绘制方式实时处理相应的场景显示是虚拟内窥镜走向临床应用的关键问题，也是当前虚拟内窥镜系统当前研究的最为重要的热点。虽然出现了许多实施处理方法，但是目前即使在最高档的图形工作站上也无法实现实时漫游。（4）场景绘制：场景绘制与实施处理是息息相关的，采用直接体绘制算法实现场景绘制可以提供病人特定组织病变部位更多的信息。加速直接体绘制的方法不只是虚拟内窥镜的要求，同时也是医学可视化的研究重点，但是这些方法都不适应虚拟内窥镜实时处理的要求。如何针对虚拟内窥镜使用图像数据的特殊性，也即空腔结构组织的图像数据含有较多的空体素，研制相应适应实时处理的快速算法是非常重要的。（5）硬件平台：目前的虚拟内窥镜系统大都是运行在SGI 高档图形工作站上，有些还需要多CPU 的服务器辅助以计算。这种价格高昂的硬件平台也是影响虚拟内窥镜系统走向临床应用的主要因素。如何将虚拟内窥镜系统推向普通PC 或者价格较低的低档图形工作站上是当前迫切需要解决的任务。第74页/共75页感谢您的观看！第75页/共75页