《多媒体内容检索与管理0524.ppt》由会员分享，可在线阅读，更多相关《多媒体内容检索与管理0524.ppt（117页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多媒体内容检索与管理20130524 Four short words sum up what has lifted most successful Four short words sum up what has lifted most successful individuals above the crowd: a little bit more. individuals above the crowd: a little bit more. -author -author -date-date2多媒体内容检索与管理多媒体内容检索与管理1多媒体数据库多媒体数据库2多媒体内容管理3多媒体内
2、容检索6基于内容视频检索5基于内容音频检索4基于内容图像检索 31.11.1多媒体概念多媒体概念即媒介，承载、传输和表现信息的手段指集数据、文字、图形、图像、声音和视频等为一体的综合媒体信息指利用计算机将文本、图形、图像、声音、动画、视频等多种媒体信息进行处理和综合集成，以供人机交互使用的一个计算机应用分支Page 41.21.2多媒体数据库系统多媒体数据库系统结构结构复杂复杂数据传输的数据传输的连续性连续性时序性时序性- -同步同步机制机制Page 51.21.2多媒体数据库系统多媒体数据库系统 存储和处理复杂对象存储和处理复杂对象 面向应用面向应用 强调媒体独立性强调媒体独立性 处理的应用
3、对象不同，处处理的应用对象不同，处理的方式也不同理的方式也不同 具有更强的对象访问手段具有更强的对象访问手段 强调终端用户界面的灵活强调终端用户界面的灵活性和多样性性和多样性 存储和处理格式化数据存储和处理格式化数据 单一的数据模型单一的数据模型 简单的查询方式简单的查询方式 提供准确的查询提供准确的查询1.21.2多媒体数据库系统多媒体数据库系统MDBSMDBS的层次结构的层次结构多媒体数据库系统的多媒体数据库系统的核心任务是实时地综核心任务是实时地综合处理图、文、声信合处理图、文、声信息息集中型集中型A A指由单独一个指由单独一个MDBMSMDBMS来来建立和管理不同媒体建立和管理不同媒体
4、的数据库，并由这个的数据库，并由这个MDBMSMDBMS来管理对象空间来管理对象空间及目的数据的集成及目的数据的集成。协作型协作型C C协作型协作型MDBSMDBS是由多个是由多个数据库管理系统组成数据库管理系统组成的，这些数据库管理的，这些数据库管理系统之间没有主从之系统之间没有主从之分，但能相互通信，分，但能相互通信，协调工作。协调工作。主从型主从型B B每一个数据库都有自每一个数据库都有自己的管理系统，称为己的管理系统，称为从从MDBMSMDBMS，各自管理自，各自管理自己的数据库。这些从己的数据库。这些从MDBMSMDBMS又受一个被称为又受一个被称为主主MDBMSMDBMS的统一控制
5、和的统一控制和管理。管理。1.21.2多媒体数据库系统多媒体数据库系统 集中型组织结构集中型组织结构1.21.2多媒体数据库系统多媒体数据库系统 主从型组织结构主从型组织结构1.21.2多媒体数据库系统多媒体数据库系统 协作型组织结构协作型组织结构1.31.3多媒体数据库（多媒体数据库（MDBMDB） 传统数据库系统的主要处理对象是整数、实数、字符传统数据库系统的主要处理对象是整数、实数、字符串等简单类型数据，但这种格式数据很难实现对人脸、指串等简单类型数据，但这种格式数据很难实现对人脸、指纹、人的声音等事物的有效描述。传统数据库的层次结构纹、人的声音等事物的有效描述。传统数据库的层次结构如下
6、：如下：1.31.3多媒体数据库（多媒体数据库（MDBMDB） 传统数据库的层次结构可以在用户给出查询条件后迅传统数据库的层次结构可以在用户给出查询条件后迅速地检索到正确的信息，但面对图像、声音、视频等无格速地检索到正确的信息，但面对图像、声音、视频等无格式数据，如何设定检索条件，如何查询所需结果等，都是式数据，如何设定检索条件，如何查询所需结果等，都是无法直接实现的。无法直接实现的。 因此就必须寻找恰当的结构分层形式，已有多种层次因此就必须寻找恰当的结构分层形式，已有多种层次划分，包括对传统数据库的扩展、对面向对象数据库的扩划分，包括对传统数据库的扩展、对面向对象数据库的扩展、超媒体层次扩展
7、等。虽然各有所不同，但大都是从最展、超媒体层次扩展等。虽然各有所不同，但大都是从最低层增加对多媒体数据的控制与支持，在最高层支持多媒低层增加对多媒体数据的控制与支持，在最高层支持多媒体的综合表现和用户的查询描述，在中间增加对多媒体数体的综合表现和用户的查询描述，在中间增加对多媒体数据的关联和超链的处理。据的关联和超链的处理。1.31.3多媒体数据库（多媒体数据库（MDBMDB）综合各多媒体数据的层次结构如下综合各多媒体数据的层次结构如下：最高层支持多媒体的综合表现和用户的查询描述，完成用户对多媒体信息的查询描述和得到多媒体信息的查询结果中间层增加对多媒体数据的关联和超链的处理，对现实世界用多媒
8、体数据信息进行的描述，也是多媒体数据库中在全局概念下的一个整体视图，该层为上层的用户接口、下层的多媒体数据存储和存取建立起一个在逻辑上统一的通道通过存取与存储数据模型描述媒体数据的逻辑位置安排、相互的内容关联、特征与数据的关系等，并完成多媒体数据的逻辑存储与存取。底层增加对多媒体数据的控制与支持。建立在多媒体操作系统之上,对不同性质媒体分别进行相应的分割、识别、变换等操作，并确定物理存储的位置和方法，以实现对各种媒体的最基本数据的管理和操纵1.41.4多媒体数据库管理系统（多媒体数据库管理系统（MDBMSMDBMS） 在多媒体系统中存在着声音、文字、图形、视频等媒在多媒体系统中存在着声音、文字
9、、图形、视频等媒体信息，与传统的计算机应用系统中只存在字符、数值相体信息，与传统的计算机应用系统中只存在字符、数值相比扩充很大，这就需要一种新的管理系统对多媒体数据库比扩充很大，这就需要一种新的管理系统对多媒体数据库进行管理。这种进行管理。这种MDBMSMDBMS能像传统的数据库那样对多媒体数能像传统的数据库那样对多媒体数据进行有效地组织、管理和存取，并可以实现以下功能：据进行有效地组织、管理和存取，并可以实现以下功能：多媒体数据库对象的定义、多媒体数据存取、多媒体数据多媒体数据库对象的定义、多媒体数据存取、多媒体数据库运行控制、多媒体数据库建立与维护、多媒体数据库在库运行控制、多媒体数据库建
10、立与维护、多媒体数据库在网络上的通信功能等。网络上的通信功能等。Page 141.41.4多媒体数据库管理系统（多媒体数据库管理系统（MDBMSMDBMS）A A、表示和处理各种媒体、表示和处理各种媒体数据，如文本、图像、数据，如文本、图像、音频、视频等。音频、视频等。B B、反映和管理各种媒体、反映和管理各种媒体数据的特性，或各种媒数据的特性，或各种媒体数据之间的空间或时体数据之间的空间或时间的关联。间的关联。A A、提供对无格式数据、提供对无格式数据的查询搜索功能的查询搜索功能B B、对不同媒体提供不、对不同媒体提供不同的操作方法，如图同的操作方法，如图形、图像的编辑处理，形、图像的编辑处
11、理，声音数据的剪辑等。声音数据的剪辑等。 A A、解决分布在网络上的多、解决分布在网络上的多媒体库中数据的定义、存储、媒体库中数据的定义、存储、操作问题。操作问题。B B、对数据的一致性、安全、对数据的一致性、安全性、并发性进行管理。性、并发性进行管理。1.41.4多媒体数据库管理系统（多媒体数据库管理系统（MDBMSMDBMS） 多媒体数据库管理系统多媒体数据库管理系统MDBMS(Multimedia Database MDBMS(Multimedia Database Management System)Management System)一般由用户界面、存储子系统、特征一般由用户界面、存
12、储子系统、特征数据库、索引子系统、检索子系统和数据分析子系统等部数据库、索引子系统、检索子系统和数据分析子系统等部分组成。其中用户界面采用分组成。其中用户界面采用B/SB/S方式实现，该用户界面需方式实现，该用户界面需要支持用户以图形方式进行基于内容的查询，同时也需要要支持用户以图形方式进行基于内容的查询，同时也需要支持传统文本方式的查询。其体系结构如下图：支持传统文本方式的查询。其体系结构如下图：1.41.4多媒体数据库管理系统（多媒体数据库管理系统（MDBMSMDBMS）17多媒体内容检索与管理多媒体内容检索与管理1多媒体数据库2多媒体内容管理多媒体内容管理3多媒体内容检索6基于内容视频检
13、索5基于内容音频检索4基于内容图像检索Page 182.12.1多媒体内容处理多媒体内容处理概念级内容概念级内容感知特性感知特性逻辑关系逻辑关系特指特征特指特征多媒体数据的内容概念多媒体数据的内容概念的层次的层次视觉特性，如颜色、视觉对象、纹理、视觉特性，如颜色、视觉对象、纹理、草图、形状、体积、空间关系、轮廓、草图、形状、体积、空间关系、轮廓、等，听觉特性如音调、音色、音质等。等，听觉特性如音调、音色、音质等。音视频对象的时间和空间关系，语义音视频对象的时间和空间关系，语义和上下文关联等。和上下文关联等。与应用相关的媒体特征，如人的体与应用相关的媒体特征，如人的体形特征、面部特征、指纹特征等
14、。形特征、面部特征、指纹特征等。对象的语义表达，例如利用文本的描对象的语义表达，例如利用文本的描述，通过分类和目录来组织层次浏览，述，通过分类和目录来组织层次浏览，用链来组织上下文关联。用链来组织上下文关联。2.12.1多媒体内容处理多媒体内容处理 多媒体内容的处理如下图所示可分为三大部分：多媒体内容的处理如下图所示可分为三大部分：a a、内容获取、内容获取、b b、内容描述和内容描述和c c、内容操纵。首先要对原始媒体进行处理并提取内容，然后内容操纵。首先要对原始媒体进行处理并提取内容，然后用标准形式描述所提取的内容，以支持各种内容的查询、检索、索引等内用标准形式描述所提取的内容，以支持各种
15、内容的查询、检索、索引等内容的操纵。容的操纵。2.12.1多媒体内容处理多媒体内容处理 内容获取内容获取是通过对各种内容的分析和处理而获得媒是通过对各种内容的分析和处理而获得媒体内容的过程。多媒体数据的重要成分是空间和时间结体内容的过程。多媒体数据的重要成分是空间和时间结构，首先必须分割出图像对象、视频的时间结构、运动构，首先必须分割出图像对象、视频的时间结构、运动对象，以及这些对象之间的关系，然后提取显著的区别对象，以及这些对象之间的关系，然后提取显著的区别特征和人的视觉、听觉感知特征来表示媒体和媒体对象特征和人的视觉、听觉感知特征来表示媒体和媒体对象的性质。的性质。2.12.1多媒体内容处
16、理多媒体内容处理 内容描述内容描述就是针对获取的内容进行描述。为了支持数就是针对获取的内容进行描述。为了支持数据管理的灵活性、数据资源的全球化和互操作性，描述必据管理的灵活性、数据资源的全球化和互操作性，描述必须基于一定的标准。须基于一定的标准。MPEG-7MPEG-7标准被称为标准被称为“多媒体内容描述多媒体内容描述接口接口”，主要采用描述子，主要采用描述子(Descriptor) (Descriptor) 和描述模式来分别和描述模式来分别描述媒体的特性及其关系。描述子是特征的表示法，一个描述媒体的特性及其关系。描述子是特征的表示法，一个描述子就是定义特征的语法和语义学。描述子就是定义特征的
17、语法和语义学。MPEG-7MPEG-7标准定义了标准定义了一系列的描述结构、一种详细说明描述结构的语言、描述一系列的描述结构、一种详细说明描述结构的语言、描述定义语言定义语言(DDL)(DDL)和多种编码描述方法。和多种编码描述方法。2.12.1多媒体内容处理多媒体内容处理 内容操纵内容操纵主要针对内容的用户操作和应用。有许多主要针对内容的用户操作和应用。有许多这方面的名词和术语。查询这方面的名词和术语。查询(Query)(Query)是面向用户的术语，是面向用户的术语，多用于数据库操作、检索多用于数据库操作、检索 (Retrieval) (Retrieval) 是在索引支持下是在索引支持下的
18、快速信息获取方式、搜索的快速信息获取方式、搜索(Search)(Search)常用于常用于InternetInternet的的搜索引擎、摘要搜索引擎、摘要(Summarization(Summarization， Excerpt)Excerpt)是适合于视是适合于视频和音频等时基媒体的特殊操作、浏览频和音频等时基媒体的特殊操作、浏览(Browsing) (Browsing) 可以可以线性或非线性地存取结构化的内容、过滤线性或非线性地存取结构化的内容、过滤(Filtering)(Filtering)是是与检索相反的一种信息存取方式。与检索相反的一种信息存取方式。2.22.2基于内容的多媒体信息检
19、索基于内容的多媒体信息检索 基于内容检索基于内容检索(Content based)(Content based)，就是从媒体数据中，就是从媒体数据中提取出特定的信息线索，根据这些线索从大量存储在数据提取出特定的信息线索，根据这些线索从大量存储在数据库中的媒体中进行查找，检索出具有相似特征的媒体数据库中的媒体中进行查找，检索出具有相似特征的媒体数据出来。出来。 多媒体数据的多媒体数据的“内容内容”表示多媒体信息的含义、要旨、表示多媒体信息的含义、要旨、主题和显著的性质、实质性的东西、物理细节等，而多媒主题和显著的性质、实质性的东西、物理细节等，而多媒体内容处理技术要基于对内容的基本定义。体内容处
20、理技术要基于对内容的基本定义。Page 242.22.2基于内容的多媒体信息检索基于内容的多媒体信息检索多媒体信息检索的特点多媒体信息检索的特点相似性检索：相似性检索：CBRCBR采用一种采用一种近似匹配近似匹配的的方法和技术，逐步求精来获得查询和检方法和技术，逐步求精来获得查询和检索结果，每一层的中间结果是一个集合，索结果，每一层的中间结果是一个集合，不断减少集合的范围，直到定位到查找不断减少集合的范围，直到定位到查找的目标的目标直接从内容中提取信息线索：直接从内容中提取信息线索：CBRCBR直接对直接对文本、图像、视频、音频进行分析，从中文本、图像、视频、音频进行分析，从中抽取内容特征抽取
21、内容特征，然后利用这些内容特征建，然后利用这些内容特征建立索引并进行检索立索引并进行检索。满足用户多层次的检索要求：满足用户多层次的检索要求：CBRCBR检索检索系统通常由系统通常由媒体库媒体库、特征库特征库和和知识库知识库组组成。成。大型数据库大型数据库( (集集) )的的快速检索快速检索：CBRCBR往往拥往往拥有数量巨大、种类繁多的多媒体数据库，有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。能够实现对多媒体信息的快速检索。2.32.3内容检索的关键技术内容检索的关键技术 基于内容的多媒体数据库管理系统除了解决媒体信息的存储基于内容的多媒体数据库管理系统除了解决媒体信
22、息的存储, , 还还要求能够从媒体数据中分析、要求能够从媒体数据中分析、 抽取可供检索的内容特征抽取可供检索的内容特征, , 用于信息的用于信息的检索。其关键技术主要有特征抽取、特征分析和特征匹配。检索。其关键技术主要有特征抽取、特征分析和特征匹配。特征提取：提取各种特征，如颜色，纹理，形状等。根据提取的特征特征提取：提取各种特征，如颜色，纹理，形状等。根据提取的特征不同，采取不同的处理，例如提取形状特征，就需要先进行图像分割不同，采取不同的处理，例如提取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确性方面加以改和边缘提取等步骤。选择合适的算法，并在效率和精确性
23、方面加以改进，以适应检索的需要，并实现特征的提取。进，以适应检索的需要，并实现特征的提取。特征分析：对图像的各种特征进行分析，选择提取效率高、信息浓缩特征分析：对图像的各种特征进行分析，选择提取效率高、信息浓缩性好的特征，或者将几种特征进行组合，用到检索领域。性好的特征，或者将几种特征进行组合，用到检索领域。特征匹配：选择何种模型来衡量图像特征间的相似度。特征匹配：选择何种模型来衡量图像特征间的相似度。2.32.3内容检索的关键技术内容检索的关键技术基于内容多媒体数据库管理系统的的功能框架如下图所示。基于内容多媒体数据库管理系统的的功能框架如下图所示。2.42.4基于内容的多媒体信息检索体系结
24、构基于内容的多媒体信息检索体系结构 基于内容检索系统结构由特征分析子系统、特征提取子系统、数基于内容检索系统结构由特征分析子系统、特征提取子系统、数据库、查询接口、检索引擎和索引过滤等子系统组成，同时需要相应据库、查询接口、检索引擎和索引过滤等子系统组成，同时需要相应的知识辅助支持特定领域的内容处理。的知识辅助支持特定领域的内容处理。 2.42.4基于内容的多媒体信息检索体系结构基于内容的多媒体信息检索体系结构 特征分析：该子系统负责将需要入库的媒体进行分割或节段化，标特征分析：该子系统负责将需要入库的媒体进行分割或节段化，标识出需要的对象或内容关键点，以便有针对性的对目标进行特征提识出需要的
25、对象或内容关键点，以便有针对性的对目标进行特征提取。特征标识可通过用户输入或系统定义。取。特征标识可通过用户输入或系统定义。 特征提取对用户提供或系统标明的媒体对象进行特征提取处理。提特征提取对用户提供或系统标明的媒体对象进行特征提取处理。提取特征时需要知识处理模块的辅助，与标准化的知识定义直接有关。取特征时需要知识处理模块的辅助，与标准化的知识定义直接有关。 数据库包含多媒体数据库和特征数据库，分别存放多媒体数据同对数据库包含多媒体数据库和特征数据库，分别存放多媒体数据同对应的特征数据，它们彼此之间存在着一定的对应关系。特征库中包应的特征数据，它们彼此之间存在着一定的对应关系。特征库中包含了
26、由用户输入的和预处理自动提取的特征数据，通过检索引擎组含了由用户输入的和预处理自动提取的特征数据，通过检索引擎组织与媒体类型相匹配的索引来达到快速搜索的目的。织与媒体类型相匹配的索引来达到快速搜索的目的。2.42.4基于内容的多媒体信息检索体系结构基于内容的多媒体信息检索体系结构查询接口，即人机交互界面，友好的人机交互界面是检索系统不查询接口，即人机交互界面，友好的人机交互界面是检索系统不可缺少的。在基于内容的检索中，由于特征不直观，因此必须为可缺少的。在基于内容的检索中，由于特征不直观，因此必须为用户提供一个可视化的输入手段，还应在用户界面提供查询结果用户提供一个可视化的输入手段，还应在用户
27、界面提供查询结果的创览功能，即为用户提供初步查询结果的返回，系统会根据用的创览功能，即为用户提供初步查询结果的返回，系统会根据用户选择的排序标准户选择的排序标准( (如颜色、旋律、节拍等如颜色、旋律、节拍等) )，按照相似度的大小，按照相似度的大小将结果排列后，返回给用户。将结果排列后，返回给用户。检索引擎，检索要将特征提取值和特征库中的值进行比较，得到检索引擎，检索要将特征提取值和特征库中的值进行比较，得到一个相似度。不同的媒体各自具有不同的相似度算法，这些算法一个相似度。不同的媒体各自具有不同的相似度算法，这些算法也称为相似性测度函数。检索引擎使用相似性测度函数集去进行也称为相似性测度函数
28、。检索引擎使用相似性测度函数集去进行比较，从而确定与特征库的值最接近的多媒体数据。比较，从而确定与特征库的值最接近的多媒体数据。索引过滤在大规模多媒体数据检索过程中，为了提高检索效率，索引过滤在大规模多媒体数据检索过程中，为了提高检索效率，常在检索引擎进行匹配之前采用索引过滤方法，取出高维特征用常在检索引擎进行匹配之前采用索引过滤方法，取出高维特征用于匹配。于匹配。2.42.4基于内容的多媒体信息检索体系结构基于内容的多媒体信息检索体系结构如果用户对系统返回的查询结果不满意怎如果用户对系统返回的查询结果不满意怎么办？么办？相关返馈技术相关返馈技术2.52.5基于内容的多媒体信息检索中的相关反馈
29、技术基于内容的多媒体信息检索中的相关反馈技术 在基于内容的检索过程中相关反馈是一个相当重要的过程。因为在基于内容的检索过程中相关反馈是一个相当重要的过程。因为仅仅基于图像低层特征很难给出令人满意的结果，主要原因是图像低仅仅基于图像低层特征很难给出令人满意的结果，主要原因是图像低层特征和高层语义间存在着很大的差距。相关反馈技术就是为了解决层特征和高层语义间存在着很大的差距。相关反馈技术就是为了解决这个问题而提出的，一方面需要找出更有效的多媒体表示方法，另一这个问题而提出的，一方面需要找出更有效的多媒体表示方法，另一方面通过人机交互来捕捉和建立低层特征和高层语义之间的关联。方面通过人机交互来捕捉和
30、建立低层特征和高层语义之间的关联。 相关反馈技术的基本思想是建立一个由相关反馈技术的基本思想是建立一个由用户参与用户参与的交互过程，在的交互过程，在交互过程逐步求得精确的查询结果。在检索过程中，系统根据用户的交互过程逐步求得精确的查询结果。在检索过程中，系统根据用户的查询要求返回检索结果，用户可以对检索结果进行评价和标记，并将查询要求返回检索结果，用户可以对检索结果进行评价和标记，并将这些信息反馈给系统，系统则根据这些反馈信息进行这些信息反馈给系统，系统则根据这些反馈信息进行学习学习，并返回新，并返回新的查询结果，从而使得检索结果更加满足用户的要求。的查询结果，从而使得检索结果更加满足用户的要
31、求。2.52.5基于内容的多媒体信息检索中的相关反馈技术基于内容的多媒体信息检索中的相关反馈技术相关反馈结构图如下：相关反馈结构图如下：参考文献参考文献n 1郑继文，吴吉义.多媒体数据库管理系统的关键技术分析J.微型机与应用,2007(6):94-96.n 2徐险峰.基于内容的多媒体信息检索技术J.现代情报,2005,25(3):134-136.n 3李松涛，钟建宁.基于内容的多媒体数据库管理系统研究J.计算机技术与发展,2008,18(12):214-216.n 4柳群英.基于内容的音频信息检索技术J.现代情报,2005(6):91-93.n 5黄丽娟.基于内容的多媒体信息检索 J.现代图书
32、情报技术,2000(5):40-43.n 6 武献宇,谢金龙,米志强.基于内容信息检索技术研究J.电脑知识与技术,2009,5(8):1923-1924.n 7李广建，黄永文.基于内容的信息检索J.中国图书馆学会2000年会论文,2000:111-118.n 8黄敬泉，韩冰.基于内容的检索新进展J.现代计算机,2010:38-40.n 9黄志军，曾斌.多媒体数据库技术M.北京:国防工业出版社,2005:91-115.n 10高阳.数据库技术与应用M.北京:电子工业出版社,2003:316-318.34多媒体内容检索与管理多媒体内容检索与管理1多媒体数据库2多媒体内容管理3多媒体内容检索多媒体内
33、容检索6基于内容视频检索5基于内容音频检索4基于内容图像检索Page 353.13.1基于内容检索的实现技术基于内容检索的实现技术 1 1、模式识别、模式识别将用户提供的目标媒体数据对象与数据库中的源媒体数据对象进行模糊匹配，然后读取数据进行表示。这种检索方式精确度较低，查询执行时间较长。 2 2、特征提取、特征提取将基于媒体内容的检索转换为基于媒体内容特征的检索。特征检索就是从媒体数据中提取特定的信息线索特征，然后再根据这些数据特征在数据集合中检索出具有相似特征的媒体数据来。Page 363.13.1基于内容检索的实现技术基于内容检索的实现技术多媒体特征的多维性l空间特征，有对象的纹理和形状
34、特征以及对象的空间关系等；空间特征，有对象的纹理和形状特征以及对象的空间关系等；l时间特征，有对象随时间变化的轨迹，如音乐片段的持续时间。时间特征，有对象随时间变化的轨迹，如音乐片段的持续时间。特征表示是多层的：（1 1）客观特征客观特征：反映多媒体数据本身具备的特性，如对象的颜：反映多媒体数据本身具备的特性，如对象的颜色、形状、纹理、音频频率等。色、形状、纹理、音频频率等。（2 2）主观特征主观特征：指人们对多媒体数据的主观感知，如对情绪：指人们对多媒体数据的主观感知，如对情绪（快乐、愤怒）和风格的描述。（快乐、愤怒）和风格的描述。（3 3）作品特征作品特征：如作者、厂家、导演等信息。：如作
35、者、厂家、导演等信息。（4 4）合成特征合成特征：包括场景合成、编辑信息、用户的喜好等。：包括场景合成、编辑信息、用户的喜好等。（5 5）概念（高层特征）概念（高层特征）：用于描述事件和活动等概念。：用于描述事件和活动等概念。Page 373.13.1基于内容检索的实现技术基于内容检索的实现技术基本检索步骤：基本检索步骤：对入库的多媒体数据进行特征提取以提取的媒体特征建立索引输入用户描述将用户描述与库中媒体进行相似性匹配在相似性匹配的结果中选择最终结果常用的图像特征有颜色、纹理、形状等，音频特征有音量、频率分布、无声率等，视频特征有关键帧、运动对象等Page 383.23.2多媒体内容检索过程
36、多媒体内容检索过程整个过程可以分为下面几个步骤：整个过程可以分为下面几个步骤：（1 1）初始查询说明初始查询说明。用户查找一个对象时，。用户查找一个对象时，最初可以用示例查询（最初可以用示例查询（QBEQBE）或查询语言来）或查询语言来形成一个查询。系统提取该示例的特征或把形成一个查询。系统提取该示例的特征或把查询描述映射为具体的特征向量。查询描述映射为具体的特征向量。（2 2）相似性匹配相似性匹配。将查询特征与特征库中。将查询特征与特征库中的特征按照一定的匹配算法进行相似匹配。的特征按照一定的匹配算法进行相似匹配。（3 3）满足一定相似性条件的一组候选结果，）满足一定相似性条件的一组候选结果
37、，按相似度大小排列后返回给用户。按相似度大小排列后返回给用户。（4 4）特征调整特征调整。用户可以挑选系统返回的。用户可以挑选系统返回的查询结果，直至得到满意的结果；或者从候查询结果，直至得到满意的结果；或者从候选结果中选择一个示例。根据用户给出的结选结果中选择一个示例。根据用户给出的结果相关度反馈，对查询进行特征调整，形成果相关度反馈，对查询进行特征调整，形成一个新的查询。一个新的查询。（5 5）逐步缩小查询范围，重复步骤）逐步缩小查询范围，重复步骤(2)(2)(5)(5)，直到用户对查询结果满意为止。直到用户对查询结果满意为止。Page 393.33.3基于内容检索系统概念基于内容检索系统
38、概念基于内容检索（CBR，Content-Based Retrieval）每一种媒体数据都有难以用符号化方法来描述的每一种媒体数据都有难以用符号化方法来描述的信息线索信息线索（如图（如图像中的颜色、视频中的事件、音频中的音调等）。像中的颜色、视频中的事件、音频中的音调等）。当用户希望利用这些信息线索来对多媒体数据进行检索时，传统当用户希望利用这些信息线索来对多媒体数据进行检索时，传统的数据库检索多采用的数据库检索多采用基于关键字的检索方式基于关键字的检索方式，并且在许多情况下媒，并且在许多情况下媒体内容难以用几个关键字来进行充分描述，作为关键字的图像特征体内容难以用几个关键字来进行充分描述，作
39、为关键字的图像特征的选取也有很大的主观性。另一方面，用户很难将这些信息线索转的选取也有很大的主观性。另一方面，用户很难将这些信息线索转化成某种符号形式。化成某种符号形式。因此，要求数据库系统能对多媒体数据进行因此，要求数据库系统能对多媒体数据进行内容语义分析内容语义分析，以便，以便达到更深的检索层次，这就是所谓的达到更深的检索层次，这就是所谓的基于内容检索基于内容检索Page 403.33.3基于内容检索系统概念基于内容检索系统概念基于内容检索主要特点从媒体内容中提取信息线索从媒体内容中提取信息线索。基于内容检索突破了传统的基于。基于内容检索突破了传统的基于关键字检索的局限，直接对图像、视频、
40、音频等进行分析，抽取特关键字检索的局限，直接对图像、视频、音频等进行分析，抽取特征，使得检索更接近于媒体对象。征，使得检索更接近于媒体对象。提取特征的方法多种多样提取特征的方法多种多样。以图像特征提取为例，可以提取形。以图像特征提取为例，可以提取形状、颜色、纹理和轮廓等多种特征。状、颜色、纹理和轮廓等多种特征。人机交互人机交互。一般来说，用户对特征比较敏感，能够迅速分辨出。一般来说，用户对特征比较敏感，能够迅速分辨出目标的轮廓、音乐的旋律等。如果对象很多，则用户很难记住这些目标的轮廓、音乐的旋律等。如果对象很多，则用户很难记住这些对象的特征，从大量数据中查找目标的效率也非常低，但计算机能对象的
41、特征，从大量数据中查找目标的效率也非常低，但计算机能够轻松地做到这一点。因此，在使用基于内容检索系统时，用户与够轻松地做到这一点。因此，在使用基于内容检索系统时，用户与计算机配合进行检索。计算机配合进行检索。Page 413.33.3基于内容检索系统概念基于内容检索系统概念基于内容检索主要特点近似匹配近似匹配。基于内容检索时一种近似匹配过程。在检索过程中，。基于内容检索时一种近似匹配过程。在检索过程中，采用逐步求精的方法，每一层的中间结果是一个集合，不断地减小采用逐步求精的方法，每一层的中间结果是一个集合，不断地减小该集合的范围，直到定位到目标为止。这一特点与数据库检索的精该集合的范围，直到定
42、位到目标为止。这一特点与数据库检索的精确匹配算法显然不一样。确匹配算法显然不一样。综合利用多种相关技术综合利用多种相关技术。基于内容检索可以利用图像处理、语。基于内容检索可以利用图像处理、语音信号处理、模式识别、知识库系统、计算机图形学、数据库管理音信号处理、模式识别、知识库系统、计算机图形学、数据库管理系统、信息检索等众多领域的研究成果和研究方法，来研究各种新系统、信息检索等众多领域的研究成果和研究方法，来研究各种新的媒体数据表示和数据模型、高效可靠的查询处理算法、智能查询的媒体数据表示和数据模型、高效可靠的查询处理算法、智能查询接口以及与应用领域无关的系统结构。接口以及与应用领域无关的系统
43、结构。Page 423.33.3基于内容检索系统概念基于内容检索系统概念基于内容检索系统体系结构主要模块如下：主要模块如下：（1 1）目标标识模块目标标识模块（2 2）特征提取模块特征提取模块（3 3）数据库模块数据库模块（4 4）查询接口模块查询接口模块（5 5）检索引擎模块检索引擎模块（6 6）索引索引/ /过滤模块过滤模块Page 433.43.4未来的主要研究问题未来的主要研究问题（1 1）综合的多特征检索技术）综合的多特征检索技术（2 2）高层概念和低层特征的关联。）高层概念和低层特征的关联。（3 3）高维索引技术）高维索引技术（4 4）时序媒体的内容结构化）时序媒体的内容结构化 （
44、5 5）用户查询界面）用户查询界面（6 6）数据模型）数据模型 （7 7）性能评价）性能评价 （8 8）内容描述标准）内容描述标准 （9 9）多媒体信息安全）多媒体信息安全44多媒体内容检索与管理多媒体内容检索与管理1多媒体数据库2多媒体内容管理3多媒体内容检索6基于内容视频检索5基于内容音频检索4基于内容图像检索基于内容图像检索Page 454.14.1图像检索的发展图像检索的发展基于内容的图像检索涉及信息检索、图像处理、计算机视觉、机器学习、基于内容的图像检索涉及信息检索、图像处理、计算机视觉、机器学习、人工智能等诸多研究领域人工智能等诸多研究领域关于图像信息的检索技术经历了图像特征文本描
45、述关于图像信息的检索技术经历了图像特征文本描述图像表层视觉特征图像表层视觉特征图像语义内在特征的图像语义内在特征的3 3 个阶段。个阶段。Page 464.14.1图像检索的发展图像检索的发展20世纪70年代末人工文字注解图像利用文本检索实现对图像特征的查找费时费力不完整反映20世纪90 年代初使用颜色、纹理及形状等视觉特征实现了图像视觉内容特征的检索以图找图查询模式智能检索解决图像简单视觉特征和用户检索丰富语义之间存在的语义鸿沟问题的关键Page 474.14.1图像检索的发展图像检索的发展基于内容的图像检索技术研究的4个热点最初的图像检索研究主要集中于如何选择合适的全局特征去最初的图像检索
46、研究主要集中于如何选择合适的全局特征去描述图描述图像内容像内容和采用什么样的相似性度量方法进行和采用什么样的相似性度量方法进行图像匹配图像匹配。第二个研究热点是第二个研究热点是基于区域的图像检索方法基于区域的图像检索方法，其主要思想是通过图，其主要思想是通过图像分割技术提取出图像中的物体，然后对每个区域使用局部特征来像分割技术提取出图像中的物体，然后对每个区域使用局部特征来描述，综合每个区域特征可得到图像的特征描述。前两个研究方向描述，综合每个区域特征可得到图像的特征描述。前两个研究方向可称为可称为以图像为中心的方法以图像为中心的方法，对于用户的需求缺乏分析。，对于用户的需求缺乏分析。第三个研
47、究热点就是针对这一问题展开的，借助第三个研究热点就是针对这一问题展开的，借助相关反馈相关反馈的思想，的思想，根据用户需求及时调整系统检索时用的特征和相似性度量方法，从根据用户需求及时调整系统检索时用的特征和相似性度量方法，从而缩小底层特征和高层语义之间的差距。而缩小底层特征和高层语义之间的差距。第四个研究热点是研究如何从多种渠道获取第四个研究热点是研究如何从多种渠道获取图像语义信息图像语义信息，如何将，如何将图像底层特征与图像关键词结合进行图像自动标注以提高检索准确图像底层特征与图像关键词结合进行图像自动标注以提高检索准确率等。率等。Page 484.24.2基于内容图像检索的系统结构基于内容
48、图像检索的系统结构图图 基于内容图像检索的体系结构基于内容图像检索的体系结构分为特征提取和查询两个子系统：分为特征提取和查询两个子系统：(1)(1)预处理预处理包括图像格式的转换、包括图像格式的转换、规格化，图像的增强与去噪等功规格化，图像的增强与去噪等功能。能。(2) (2) 目标标识目标标识即标识出图像中用户即标识出图像中用户感兴趣的区域或对象，以便针对感兴趣的区域或对象，以便针对目标进行特征提取并查询。目标进行特征提取并查询。(3) (3) 特征提取特征提取包括提取图像颜色、包括提取图像颜色、纹理、形状、空间位置关系等特纹理、形状、空间位置关系等特征。征。Page 494.24.2基于内
49、容图像检索的系统结构基于内容图像检索的系统结构图图 基于内容图像检索的体系结构基于内容图像检索的体系结构(4) (4) 数据库数据库由图像库、特征库和知由图像库、特征库和知识库组成。识库组成。图像库图像库为数字化的图像信息，为数字化的图像信息，特征库特征库包含自动提取的内容特征，包含自动提取的内容特征，知识库知识库包含专门和通用知识，有包含专门和通用知识，有利于查询优化和快速匹配，知识利于查询优化和快速匹配，知识库中知识表达可以更换以适用于库中知识表达可以更换以适用于各种不同的应用领域。各种不同的应用领域。Page 504.24.2基于内容图像检索的系统结构基于内容图像检索的系统结构图图 基于
50、内容图像检索的体系结构基于内容图像检索的体系结构(5) (5) 查询接口查询接口提供一个友好的用户提供一个友好的用户界面。包括可视化的输入手段和界面。包括可视化的输入手段和结果浏览功能。结果浏览功能。(6) (6) 检索引擎检索引擎中包括一个有效可靠中包括一个有效可靠的相似性测度函数集。的相似性测度函数集。(7) (7) 检索引擎通过检索引擎通过索引索引/ /过滤过滤模块模块达到快速检索的目的。达到快速检索的目的。Page 514.34.3基于内容图像检索的特点基于内容图像检索的特点主要特点有主要特点有: :(1)(1)基于内容检索基于内容检索突破了传统的基于表达式检索的局限突破了传统的基于表