多媒体课件第6章.ppt

《多媒体课件第6章.ppt》由会员分享，可在线阅读，更多相关《多媒体课件第6章.ppt（41页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第6章 多媒体数据库及基于内容检索 多媒体数据管理环境多媒体数据管理环境 多媒体多媒体数据库管理系统数据库管理系统基于内容的检索技术基于内容的检索技术6.1 多媒体数据管理环境 多媒体应用系统关键问题就是对系统中数据多媒体应用系统关键问题就是对系统中数据进行有效地管理：进行有效地管理：n对多媒体数据的有效管理能尽量减少开发费用；对多媒体数据的有效管理能尽量减少开发费用；n便于综合利用、数据共享，降低成本、提高效益；便于综合利用、数据共享，降低成本、提高效益；n对提高多媒体应用程序的执行效率和运行质量也对提高多媒体应用程序的执行效率和运行质量也具有十分重要的意义具有十分重要的意义。1.多媒体数据

2、的存储环境对多媒体数据的存储环境总的要求是：对多媒体数据的存储环境总的要求是：n容量大、质量好、存取速度快、价格合适。容量大、质量好、存取速度快、价格合适。n主要有主要有4 4类存储介质：类存储介质：n (1)(1)可更换的硬盘；可更换的硬盘；(工作介质、档案介质）工作介质、档案介质）n (2)(2)磁带备份介质；（多次使用）磁带备份介质；（多次使用）n (3)(3)光盘档案介质；光盘档案介质；n (4)(4)磁盘阵列。磁盘阵列。(存储海量数据）存储海量数据）2.多媒体数据的传输环境 n一般有一般有3 3种传输方法：种传输方法：n(1)(1)使用可更换的介质进行人工传输。使用软盘、使用可更换的

3、介质进行人工传输。使用软盘、磁带、光盘、可更换硬盘等工具；磁带、光盘、可更换硬盘等工具；n(2)(2)使用串行端口实行点对点传输。成本低，使用串行端口实行点对点传输。成本低，但但难以实现多台计算机之间数据传输；难以实现多台计算机之间数据传输；n(3)(3)使用网络系统，实现计算机之间传输。使用网络系统，实现计算机之间传输。3.多媒体数据管理的软件环境 n对多媒体数据资源的有效管理方法：对多媒体数据资源的有效管理方法：n(1)(1)文件管理系统。文件管理系统。n(2)(2)建立特定的逻辑目录。建立特定的逻辑目录。n(3)(3)传统的字符、数值数据库管理系统。传统的字符、数值数据库管理系统。n(4

4、)(4)多媒体数据库管理系统。（功能）多媒体数据库管理系统。（功能）n(5)(5)超文本和超媒体。超文本和超媒体。图6.1 用传统的DBMS管理多媒体数据6.2 多媒体数据库管理系统 1 多媒体数据库管理系统特点 n依据独立性原则，依据独立性原则，DBMSDBMS按层次划分为按层次划分为3 3种模式：种模式：n 物理模式、概念模式和外部模式。物理模式、概念模式和外部模式。n物理模式物理模式定义数据存储组织方法，定义数据存储组织方法，如数据库文件的格式、如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方法等索引文件组织方法、数据库在网络上的分布方法等(存储存储模式模式)。n概念模式概念

5、模式借助数据模型来描述，它定义抽象现实世界的方借助数据模型来描述，它定义抽象现实世界的方法。数据库模型先后经历了网状模型、关系模型和面向对法。数据库模型先后经历了网状模型、关系模型和面向对象模型等阶段。象模型等阶段。n外部模式外部模式又叫视图，它是概念模式对用户有用的那一部分。又叫视图，它是概念模式对用户有用的那一部分。图6.2 DBMS的3层模式 数据库数据库物理模式物理模式概念模式概念模式外部模式外部模式用户用户用户用户用户用户多媒体数据对数据库的影响n(1)(1)数据量大且媒体之间差异也极大，从而影响数据库中数据量大且媒体之间差异也极大，从而影响数据库中的组织和存储方法。的组织和存储方法

6、。n(2)(2)媒体种类增多增加了数据处理困难。媒体种类增多增加了数据处理困难。n(3)(3)多媒体不仅改变了数据库的接口，使其声、文、图并多媒体不仅改变了数据库的接口，使其声、文、图并茂，而且也改变了数据库的操作形式，其中最重要的是查茂，而且也改变了数据库的操作形式，其中最重要的是查询机制和查询方法。询机制和查询方法。n(4)(4)传统的事务一般都是短小精悍，在多媒体数据库管理传统的事务一般都是短小精悍，在多媒体数据库管理系统中也应尽可能采用短事务。为保证播放不致中断，系统中也应尽可能采用短事务。为保证播放不致中断，MDBMSMDBMS应增加这种处理长事务的能力。应增加这种处理长事务的能力。

7、n(5)(5)多媒体数据库管理还有考虑版本控制的问题。多媒体数据库管理还有考虑版本控制的问题。2 MDBMS的功能要求 n(1)(1)MDBMSMDBMS必须能表示和处理各种媒体数据，重点是不规必须能表示和处理各种媒体数据，重点是不规则数据如图形、图像、声音的表示方法。则数据如图形、图像、声音的表示方法。n(2)(2)MDBMSMDBMS必须能反映和管理各种媒体数据的特性，或各必须能反映和管理各种媒体数据的特性，或各种媒体数据之间的空间或时间的关联。种媒体数据之间的空间或时间的关联。n(3)(3)MDBMSMDBMS除必须满足物理数据独立性和逻辑数据独立性除必须满足物理数据独立性和逻辑数据独立

8、性外，还应满足媒体数据独立性。外，还应满足媒体数据独立性。n物理数据独立性物理数据独立性指当物理数据组织改变时，不影响概念指当物理数据组织改变时，不影响概念 数据组织。数据组织。n逻辑数据独立性逻辑数据独立性指概念数据组织改变时，不影响用户程序指概念数据组织改变时，不影响用户程序使用的视图。使用的视图。n媒体数据独立性指在媒体数据独立性指在MDBMSMDBMS的设计和实现时，要求系统能保的设计和实现时，要求系统能保持各种媒体独立性和透明性。持各种媒体独立性和透明性。n(4)(4)MDBMSMDBMS的数据操作功能。的数据操作功能。n(5)(5)MDBMSMDBMS的网络功能。应解决分布在网络上

9、的的网络功能。应解决分布在网络上的多媒体数据库中数据的定义、存储、操作问题，多媒体数据库中数据的定义、存储、操作问题，并对数据一致性、安全性、并发性进行管理。并对数据一致性、安全性、并发性进行管理。n(6)(6)MDBMSMDBMS应具有开放功能，提供应具有开放功能，提供MDBMDB的应用程序的应用程序接口接口APIAPI，并提供独立于外设和格式的接口。并提供独立于外设和格式的接口。n(7)(7)MDBMSMDBMS还应提供事务和版本管理功能。还应提供事务和版本管理功能。3 MDBMS的组织结构 MDBMSMDBMS的组织结构一般可分为的组织结构一般可分为3 3种：种：集中型。集中型。主从型。

10、主从型。协作型。协作型。1).集中型MDBMS 由单独一个由单独一个MDBMSMDBMS来管理和建立不同媒体来管理和建立不同媒体的数据库，并由这个的数据库，并由这个MDBMSMDBMS来管理对象空间及来管理对象空间及目的数据的集成。目的数据的集成。MDBMS 图像数据库 图形数据库 音频数据库 文本数据库 视频数据库图图6.3 6.3 集中型集中型MDBMSMDBMS的组织结构的组织结构2).主从型MDBMS 每个数据库都有自己的管理系统，每个数据库都有自己的管理系统，称为从数称为从数据库管理系统，它们各自管理自己的数据库。据库管理系统，它们各自管理自己的数据库。这些从数据库管理系统又受一个称

11、为主数据这些从数据库管理系统又受一个称为主数据库管理系统的控制和管理库管理系统的控制和管理 。从MDBMS从MDBMS从MDBMS从MDBMS主MDBMSMDBMS某种MDB某种MDB某种MDB某种MDB多媒体数据库多媒体数据库图图6.4 6.4 主从型主从型MDBMSMDBMS的组织结构的组织结构 3).协作型MDBMS 协作型协作型MDBMSMDBMS也是由多个数据库管理系统来组成，也是由多个数据库管理系统来组成，每个数据库管理系统之间没有主从之分。每个数据库管理系统之间没有主从之分。要求系统中每个数据库管理系统要求系统中每个数据库管理系统(称为成员称为成员MDBMS)MDBMS)能协调地

12、工作，但因每一成员能协调地工作，但因每一成员MDBMSMDBMS彼此彼此有差异，所以在通信中必须首先解决这个问题。有差异，所以在通信中必须首先解决这个问题。成员 MDBMS 成员 MDBMS 成员 MDBMSMDBMS 某种MDB 某种MDB 某种MDB 附加软件附加软件 附加软件附加软件 附加软件附加软件 多媒体数据库多媒体数据库图图6.5 6.5 协作型协作型MDBMSMDBMS的组织结构的组织结构4 MDBMS的数据模型 数据模型的概念数据模型的概念扩充的关系数据模型扩充的关系数据模型1).数据模型的概念 数据模型通常由数据结构、数据操作和完数据模型通常由数据结构、数据操作和完整性约束三

13、部分组成，整性约束三部分组成，也称也称数据模型三要素数据模型三要素。1 1）数据结构数据结构是对数据库系统静态特性的是对数据库系统静态特性的描述，是所研究的对象类型的集合。这些对象描述，是所研究的对象类型的集合。这些对象是数据库的组成成分。是数据库的组成成分。数据库系统通常按数据结构的类型来命名数据库系统通常按数据结构的类型来命名数据类型，数据类型，如层次模型、网状模型、关系模如层次模型、网状模型、关系模型和面向对象模型。型和面向对象模型。2 2）数据操作数据操作是对数据库系统动态特性的描述，是对数据库系统动态特性的描述，如数据库中各种对象的实例、允许执行的操作集如数据库中各种对象的实例、允许

14、执行的操作集合。合。3 3）数据的约束条件数据的约束条件是实现数据库完整性规则是实现数据库完整性规则的集合，所谓完整性规则是指给定的数据模型中的集合，所谓完整性规则是指给定的数据模型中数据及它们之间关联所具有的制约和依存规则，数据及它们之间关联所具有的制约和依存规则，用以限定符合数据模型的数据库状态以及状态的用以限定符合数据模型的数据库状态以及状态的变化，变化，以保证数据库数据的正确、有效、相容以保证数据库数据的正确、有效、相容和一致。和一致。数据模型应该提供定义数据完整性约束条件数据模型应该提供定义数据完整性约束条件的机制，以反映数据必须遵守的特定的语义约束的机制，以反映数据必须遵守的特定的

15、语义约束条件。条件。2).常用的数据模型 （1)1)层次模型：层次模型：早期早期DBMSDBMS采用层次模型，它利用采用层次模型，它利用树型结构树型结构来表示实来表示实体及实体之间联系。模型中节点为记录型，表示某体及实体之间联系。模型中节点为记录型，表示某种类型的实体；节点之间的连线表示它们之间的关种类型的实体；节点之间的连线表示它们之间的关系。系。层次模型构造简单，易于实现。典型的应用如公司、层次模型构造简单，易于实现。典型的应用如公司、大学的行政架构表示。大学的行政架构表示。基于层次模型的数据库称为层次数据库，基于层次模型的数据库称为层次数据库，它支持用户以浏览方式完成对数据访问，对子它支

16、持用户以浏览方式完成对数据访问，对子节点记录的访问需经过父节点。节点记录的访问需经过父节点。层次模型的限制是：任何非根节点的节点层次模型的限制是：任何非根节点的节点有且仅有一个父节点；有且仅有一个父节点；父子节点只能是父子节点只能是1：n关关系，系，不能表示两类实体间的不能表示两类实体间的m：n关系。关系。(2)(2)网状模型网状模型利用网状结构来表示实体与实体之间联系的利用网状结构来表示实体与实体之间联系的数据模型称为数据模型称为网状模型网状模型，其节点为记录型，其节点为记录型，用于表示某类实体。用于表示某类实体。允许节点有多个父节点，允许节点有多个父节点，比层次模型更通比层次模型更通用。基

17、于网状模型的网状数据库管理系统也用。基于网状模型的网状数据库管理系统也主要支持用户以浏览的方式完成对数据记录主要支持用户以浏览的方式完成对数据记录的访问，但由于节点可有多个父节点，对网的访问，但由于节点可有多个父节点，对网状数据库中某节点的访问路径可以有多条。状数据库中某节点的访问路径可以有多条。层次和网状数据库管理系统均不支持数层次和网状数据库管理系统均不支持数据独立性。数据库结构的调整将使应用随之据独立性。数据库结构的调整将使应用随之变化，这就限制了数据库系统及其应用的可变化，这就限制了数据库系统及其应用的可扩展性、可重用性及可移植性。扩展性、可重用性及可移植性。(3)(3)关系模型关系模

18、型关系模型克服了上述两种模型的缺陷，关系模型克服了上述两种模型的缺陷，利用二维利用二维表来表示实体及实体之间的关系，表来表示实体及实体之间的关系，每张二维表又每张二维表又称为一个关系。称为一个关系。二维表每一列代表实体以及实体之间关系的某种二维表每一列代表实体以及实体之间关系的某种属性。属性名的集合如属性。属性名的集合如 C1C1，C2 C2，Cn Cn表示表示某种记录类型。每一列除了具有属性名外，某种记录类型。每一列除了具有属性名外，还具还具有类型特征，有类型特征，该特征决定了属性的取值范围，称该特征决定了属性的取值范围，称为域。这种表可直接描述两个实体类型间的为域。这种表可直接描述两个实体

19、类型间的m m：n n关系。关系。关系模型可通过关系代数严格定义。一张二维表可关系模型可通过关系代数严格定义。一张二维表可定义为一组域的笛卡儿积的子积。域定义为一组域的笛卡儿积的子积。域D1D1，D2 D2，Dn Dn的笛卡儿积定义为：的笛卡儿积定义为：D1 D1 D2D2 Dn=(C1Dn=(C1，C2C2，Cn)|Ci Cn)|Ci DiDi，i=1i=1，2 2，nn关系关系R R可表示为：可表示为：R R D1 D1 D2D2 DnDn，n n为关系的为关系的度。一个关系的结构可表示为度。一个关系的结构可表示为 R R：(C1(C1：D1D1，C2 C2：D2D2，CnCn：Dn)Dn

20、)其中其中Ci(i=1Ci(i=1，2 2，n)n)为属性名。为属性名。RDBMSRDBMS对数据的各种操作归结为各种集合运算。对数据的各种操作归结为各种集合运算。除了支持传统的集合运算之外，除了支持传统的集合运算之外，还定义了专门的还定义了专门的关系运算，如投影、选择、连接等。关系运算，如投影、选择、连接等。它还利用一阶谓词逻辑来判断表中元组是否满足它还利用一阶谓词逻辑来判断表中元组是否满足用户定义的条件。用户定义的条件由逻辑运算符用户定义的条件。用户定义的条件由逻辑运算符(and)and)、(or)(or)、(not)not)连接各算术表达式组成。连接各算术表达式组成。关系代数和一阶谓词演

21、算构成了关系代数和一阶谓词演算构成了RDBMSRDBMS支持的数据支持的数据库接口语言库接口语言SQLSQL的基础。的基础。6.3 基于内容的检索技术 1 相关概念 数据库系统中，数据检索是一种频繁使用的任数据库系统中，数据检索是一种频繁使用的任务。多媒体数据库数据量大，数据种类多，给务。多媒体数据库数据量大，数据种类多，给数据检索带来了新的问题。数据检索带来了新的问题。多媒体数据库包含大量的图像、声音、视频等多媒体数据库包含大量的图像、声音、视频等非格式化数据，对它们的查询或检索比较复杂，非格式化数据，对它们的查询或检索比较复杂，往往要根据媒体中表达的情节内容进行检索。往往要根据媒体中表达的

22、情节内容进行检索。基于内容的检索基于内容的检索(CBR)CBR)就是针对多媒体信息检就是针对多媒体信息检索使用的一种重要技术索使用的一种重要技术 。1).基于内容的检索技术的特点(1)(1)从媒体内容中提取信息线索从媒体内容中提取信息线索，直接对媒体进直接对媒体进行分析行分析，抽取特征抽取特征(如基于表达式如基于表达式)。(2)(2)提取特征方法多种多样。如图像特征有形状、提取特征方法多种多样。如图像特征有形状、颜色、纹理、轮廓等特征。颜色、纹理、轮廓等特征。(3)(3)人机交互。人能迅速分辨要查找的信息，人机交互。人能迅速分辨要查找的信息，但但难以记住信息，难以记住信息，人工大量查询费时、重

23、复，人工大量查询费时、重复，而而这正是计算机的长处，这正是计算机的长处，人机交互检索可大大提高人机交互检索可大大提高多媒体数据检索的效率。多媒体数据检索的效率。(4)(4)基于内容的检索采用一种近似的匹配基于内容的检索采用一种近似的匹配技术。检索中，长采用逐步求精的方法，每技术。检索中，长采用逐步求精的方法，每一层的中间结果是一个集合，不断减少集合一层的中间结果是一个集合，不断减少集合的范围，直到定位到查找的目标。一般数据的范围，直到定位到查找的目标。一般数据库检索采用格式化信息精确匹配的方法。库检索采用格式化信息精确匹配的方法。(5)(5)提取媒体对象内容属性的方式一般有手提取媒体对象内容属

24、性的方式一般有手工方式、自动方式和混合方式。工方式、自动方式和混合方式。2).媒体特征音频音频 常利用的音频特征包括基音，共振峰，线性预测倒谱常利用的音频特征包括基音，共振峰，线性预测倒谱系数、系数、MelMel倒谱系数倒谱系数(基于高斯混合模型的语音识别基于高斯混合模型的语音识别)等音频低等音频低层特征，和声纹、关键词等高层特征。层特征，和声纹、关键词等高层特征。静态图像静态图像 其底层特征包括颜色，纹理，几何形状，灰度统其底层特征包括颜色，纹理，几何形状，灰度统计特征；计特征；高层特征包括人脸部特征，表情特征，物体和景物高层特征包括人脸部特征，表情特征，物体和景物特征。特征。视频视频 包含

25、的信息最丰富复杂，其底层特征包括镜头切换类包含的信息最丰富复杂，其底层特征包括镜头切换类型，特技效果，摄像机运动，物体运动轨迹，代表帧，全景型，特技效果，摄像机运动，物体运动轨迹，代表帧，全景图等；高层特征包括描述镜头内容的事件等。图等；高层特征包括描述镜头内容的事件等。文本文本 关键词常被选为文本对象的内容属性关键词常被选为文本对象的内容属性。图形图形 几何体各种形状特征、周长、面积、位置、几何体间空几何体各种形状特征、周长、面积、位置、几何体间空间关系的类型等，常被选为图形内容属性。间关系的类型等，常被选为图形内容属性。2 基于内容的检索实现方法 一是基于传统的数据库检索方法，即采用人工一

26、是基于传统的数据库检索方法，即采用人工方法将多媒体信息内容并表达为属性方法将多媒体信息内容并表达为属性(关键词关键词)集合，再在传统的数据库管理系统框架内处理。集合，再在传统的数据库管理系统框架内处理。这种方法对信息采用了高度抽象，留给用户选这种方法对信息采用了高度抽象，留给用户选择余地小，查询方式和范围有所限制。择余地小，查询方式和范围有所限制。二是基于信号处理理论，二是基于信号处理理论，即采用特征抽取和即采用特征抽取和模式识别的方法来克服基于数据库方法的局限模式识别的方法来克服基于数据库方法的局限性，但全自动地抽取特征和识别时间开销太大，性，但全自动地抽取特征和识别时间开销太大，并且过分依

27、赖于领域知识，识别难度大。并且过分依赖于领域知识，识别难度大。图6.6 基于内容的检索过程3 图像内容分析及其检索 基于颜色直方图检索基于颜色直方图检索 基于轮廓的检索基于轮廓的检索 基于纹理的检索基于纹理的检索 视频检索视频检索基于颜色直方图检索基于颜色直方图检索 若一副图像的颜色有N级，具有每种颜色的像素数为h1，h2，hN，这组像素统计值称为图像的颜色直方图。它反映了图像关于颜色的数量特征，但失去了颜色的位置特性。欧式距离反映两图像颜色的相似性。利用基于颜色直方图检索，其示例可利用基于颜色直方图检索，其示例可以由如下方法给出：以由如下方法给出：1）指明颜色的构成；2）指明一副图像，从而也

28、得到它的颜色直方 图，然后用该颜色直方图与数据库中的图像颜色直方图进行匹配，最后确定所要找的图像集合；3）指明图像的一块子图，利用这个子图确定相应的颜色直方图，再从数据库中确定具有相似图像颜色特征的目标图像集合。基于轮廓的检索基于轮廓的检索 基于轮廓的检索使用户通过勾勒图像的大致轮廓，从数据库中检索出轮廓相似的图像。取轮廓线的方法：采用图像自动分割的方法结合识别目标的前景和背景模型来得到比较精确的轮廓。基于纹理的检索基于纹理的检索 纹理是通过色彩或明暗度的变化体现出来的图像表面细节，其特征包括粗糙性、方向性、对比度等。统计法：分析木纹、沙地、草坪等细密而规则的对象，并根据像素间灰度的统计特性对

29、纹理规定出特征，以及特征与参数的关系。结构法：适于布纹图案、砖墙表面等排列规则对象的纹理，可根据纹理基元及其排列规则描述纹理的结构和特征，以及特征与参数的关系。视频检索视频检索 视频数据是连续的图像序列。一个故事的视频序列主视频数据是连续的图像序列。一个故事的视频序列主要由镜头组成，每个镜头的内容发生在一个场景中，一个要由镜头组成，每个镜头的内容发生在一个场景中，一个场景可分散在多个镜头中。场景可分散在多个镜头中。镜头的切换方法：直接切换和渐变切换。镜头的切换方法：直接切换和渐变切换。镜头的运动方式：推拉、摇移、跟踪等。镜头的运动方式：推拉、摇移、跟踪等。对视频分类的关键是：检测出镜头的分割点。对视频分类的关键是：检测出镜头的分割点。镜头分割主要是根据镜头图像的差别，直方图比较是一种简镜头分割主要是根据镜头图像的差别，直方图比较是一种简单的镜头分割方法。单的镜头分割方法。同一镜头：直方图法同一镜头：直方图法 不同镜头：双重比较法、识别淡入淡出的明暗度识别不同镜头：双重比较法、识别淡入淡出的明暗度识别法和识别空间操作的空间编辑识别算法。法和识别空间操作的空间编辑识别算法。小结1、多媒体数据管理环境（存储环境、传输环境、软件环境）2、多媒体数据库的3种模式3、多媒体数据库管理系统的3种组织结构4、数据模型三要素。5、常用的数据模型6、基于内容的检索技术