《第6章 多媒体信息检索ppt课件.ppt》由会员分享，可在线阅读，更多相关《第6章 多媒体信息检索ppt课件.ppt（42页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、科技信息资源检索及应用第7讲（2） 第6章 多媒体信息检索第6章 多媒体信息检索本章导读6.1 概述6.2 语义鸿沟问题6.3 多媒体信息检索 本章从多媒体信息检索的概念入手，分别介绍基于文本的多媒体信息检索、基于内容的多媒体信息检索等五种多媒体检索模式，同时引入基于内容的多媒体信息检索时遇到的语义鸿沟的问题及解决办法，最后分析了基于内容的多媒体的图像、音频、视频资源检索方法及应用案例。第6章 多媒体信息检索学习目标l 了解多媒体信息检索的概念；l 了解多媒体信息检索的两种方法；l 了解语义鸿沟的含义；l 了解图像、音频、视频检索的流程及系统平台；l 掌握图像、音频、视频信息检索的基本业务流程
2、。第6章 多媒体信息检索知识要点、难点1.要点要点基于内容的多媒体信息检索。基于内容的多媒体信息检索。2.难点难点图像、音频、视频信息检索的基本检索方式。图像、音频、视频信息检索的基本检索方式。6.1 概述第6章 多媒体信息检索6.1.1 多媒体信息检索的概念多媒体信息检索的概念多媒体信息多媒体信息特点特点：一方面它的一方面它的信息量很大信息量很大，百闻不如一见，一图值千言都说，百闻不如一见，一图值千言都说明了这个事实；明了这个事实；另一方面它的另一方面它的抽象和结构化程度较低抽象和结构化程度较低，不利于进行有效的，不利于进行有效的管理。管理。 6.1 概述第6章 多媒体信息检索6.1.1 多
3、媒体信息检索的概念多媒体信息检索的概念多媒体信息多媒体信息特点特点信息量信息量很大很大抽象和结构化程度抽象和结构化程度较低较低6.1 概述第6章 多媒体信息检索6.1.1 多媒体信息检索的概念多媒体信息检索的概念 多媒体信息检索的多媒体信息检索的基本原理：基本原理： 是对多媒体信息的是对多媒体信息的特征元数据特征元数据提取提取、索引建库索引建库，相似相似度匹配运算度匹配运算，识别和返回用户所需信息识别和返回用户所需信息，通过与用户之间，通过与用户之间的反馈，不断优化、调整显示结果。的反馈，不断优化、调整显示结果。 6.1 概述第6章 多媒体信息检索6.1.1 多媒体信息检索的概念多媒体信息检索
4、的概念多媒体信息多媒体信息 特征元特征元数据数据处理处理 提取提取 索引建索引建库库 相似度相似度匹配运匹配运算算 识别识别用户用户 反馈多媒体信息检索的基本原理图多媒体信息检索的基本原理图6.1 概述第6章 多媒体信息检索6.1.1 多媒体信息检索的概念多媒体信息检索的概念人机交互人机交互人工智能人工智能模式识别模式识别多媒多媒体信体信息检息检索的索的研究研究涉及涉及领域领域计算机视觉计算机视觉信号处理信号处理数据库数据库6.1 概述第6章 多媒体信息检索6.1.2 多媒体信息检索模式多媒体信息检索模式单一媒体类型基于元数据的多媒体查询基于内容的多媒体查询多媒体类型基于语义和内容结合的多媒体
5、查询社会化媒体查询跨媒体查询6.1 概述第6章 多媒体信息检索6.1.2 多媒体信息检索模式多媒体信息检索模式（1）基于）基于文本文本的多媒体信息检索的多媒体信息检索 基于文本的检索实现方式是利用主观性的基于文本的检索实现方式是利用主观性的文本文本标注媒标注媒体内容，如体内容，如信息分类、扩展名、关键词信息分类、扩展名、关键词等，从而将对媒体等，从而将对媒体内容的检索转换为基于文本描述的检索。其本质与纯文本内容的检索转换为基于文本描述的检索。其本质与纯文本信息的检索并无二致，是目前网络检索系统中的信息的检索并无二致，是目前网络检索系统中的主流方式主流方式。优点优点：其检索方式实现：其检索方式实
6、现原理相对简单原理相对简单，技术成熟度较高技术成熟度较高；缺点缺点：检索纯粹是以多媒体信息的：检索纯粹是以多媒体信息的外部特征作为检索入口外部特征作为检索入口，无法表达和揭示无法表达和揭示多媒体信息的多媒体信息的实质内容和语义信息实质内容和语义信息。应用应用：Google、百度等搜索引擎。、百度等搜索引擎。6.1 概述第6章 多媒体信息检索6.1.2 多媒体信息检索模式多媒体信息检索模式（2）基于）基于内容内容的多媒体信息检索的多媒体信息检索用户需求媒体资源内容查询内容索引匹配基于内容的多媒体信息检索的一般流程图基于内容的多媒体信息检索的一般流程图6.1 概述第6章 多媒体信息检索6.1.2
7、多媒体信息检索模式多媒体信息检索模式（2）基于）基于内容内容的多媒体信息检索的多媒体信息检索原理原理：主要是利用多媒体对象的：主要是利用多媒体对象的语义、视觉和听觉特征语义、视觉和听觉特征来来进行检索，如图像中的颜色、纹理、形状进行检索，如图像中的颜色、纹理、形状,视频中的镜头、视频中的镜头、场景、运动，声音中的音调、响度、音色等。在组织多媒场景、运动，声音中的音调、响度、音色等。在组织多媒体信息时，组织者根据媒体的体信息时，组织者根据媒体的内容特征进行分析内容特征进行分析，建立基，建立基于内容的于内容的特征库特征库，并与实际多媒体数据联系起来。当用户，并与实际多媒体数据联系起来。当用户检索时
8、，系统一方面接受检索时，系统一方面接受用户规定的图像、视频和音频等用户规定的图像、视频和音频等内容特征信息内容特征信息(即用户的检索提问即用户的检索提问)，另一方面接受特征信息，另一方面接受特征信息索引库中的特征信息索引库中的特征信息，然后进行两者之间的，然后进行两者之间的匹配匹配，以找出，以找出符合用户需求的多媒体信息。符合用户需求的多媒体信息。6.1 概述第6章 多媒体信息检索6.1.2 多媒体信息检索模式多媒体信息检索模式（3）基于）基于语义语义和和内容内容相结合的相结合的混合混合检索模式检索模式 混合检索模式通过对基于混合检索模式通过对基于语义语义和基于和基于内容内容两种检索方两种检索
9、方式得到的结果进行式得到的结果进行融合分析融合分析，使得到的检索结果既能反映，使得到的检索结果既能反映语义层次上的相似性语义层次上的相似性，又能体现，又能体现底层特征上的相似性底层特征上的相似性，从，从而可以进一步提高咨询效率，包括而可以进一步提高咨询效率，包括查全率和查准率查全率和查准率。 混合检索模式在视频检索领域得到了广泛的应用，这混合检索模式在视频检索领域得到了广泛的应用，这是因为原始视频数据包含多种类型的信息，如语义信息可是因为原始视频数据包含多种类型的信息，如语义信息可以通过声音识别或提取字幕信息等方式得到视觉的底层信以通过声音识别或提取字幕信息等方式得到视觉的底层信息可以通过息可
10、以通过视频关键帧视频关键帧获得，听觉信息则可通过提取视频获得，听觉信息则可通过提取视频中中伴随音频伴随音频信息获得。信息获得。6.1 概述第6章 多媒体信息检索6.1.2 多媒体信息检索模式多媒体信息检索模式（4）跨媒体跨媒体检索模式检索模式 近年来，互联网与多媒体技术的迅猛发展使得多媒体近年来，互联网与多媒体技术的迅猛发展使得多媒体数据呈现爆炸式增长的趋势，数据呈现爆炸式增长的趋势， 多种异构的多媒体数据多种异构的多媒体数据(如图如图像、视频、文档等像、视频、文档等)在在Web、数字图书馆以及其他多媒体应、数字图书馆以及其他多媒体应用中大量涌现，它们有相似的语义表达。但是，几乎所有用中大量涌
11、现，它们有相似的语义表达。但是，几乎所有现有的查询系统或方法都只是针对某种特定媒体对象的查现有的查询系统或方法都只是针对某种特定媒体对象的查询，仅依赖多媒体数据的某种特定的特征询，仅依赖多媒体数据的某种特定的特征,因此难以提供在因此难以提供在语义层面上的相关检索结果，有很大的局限性。跨媒体检语义层面上的相关检索结果，有很大的局限性。跨媒体检索模式将能满足人们对多媒体信息检索的新需求。索模式将能满足人们对多媒体信息检索的新需求。6.1 概述第6章 多媒体信息检索6.1.2 多媒体信息检索模式多媒体信息检索模式（5）社会化社会化媒体检索模式媒体检索模式 随着随着Web2.0技术的出现及不断发展和完
12、善，越来越多技术的出现及不断发展和完善，越来越多的社会化媒体共享网站如雨后春笋股飞速发展起来。最具的社会化媒体共享网站如雨后春笋股飞速发展起来。最具代表性的网站当属著名的代表性的网站当属著名的图片共享网站图片共享网站Flick及及视频共享网视频共享网站站YouTube。 与传统多媒体不同，社会化媒体对象允许用户对其进行与传统多媒体不同，社会化媒体对象允许用户对其进行标注标注。这些标注信息在一定程度上反映了该媒体对象的语。这些标注信息在一定程度上反映了该媒体对象的语义特征。义特征。6.1 概述第6章 多媒体信息检索6.1.2 多媒体信息检索模式（归纳）多媒体信息检索模式（归纳）基于基于文本文本的
13、的跨媒体跨媒体多媒体信息多媒体信息检索模式检索模式基于基于内容内容的的基于基于文本文本和和内容内容的的混合混合的的社会化社会化6.2 语义鸿沟问题第6章 多媒体信息检索“语义鸿沟语义鸿沟”定义定义：“用户从视觉数据中获取的信息与用用户从视觉数据中获取的信息与用户对视觉数据的理解，存在户对视觉数据的理解，存在不一致不一致”。 语义鸿沟问题，源于基于内容检索研究，但是这个问语义鸿沟问题，源于基于内容检索研究，但是这个问题同样存在于题同样存在于文本检索、网页检索、视频检索文本检索、网页检索、视频检索等应用领域等应用领域研究之中。这个问题产生的根源很复杂。研究之中。这个问题产生的根源很复杂。 1.在于
14、人与计算机室进行交互时，还没有找到合理的在于人与计算机室进行交互时，还没有找到合理的表达概念、意义的手段，表达概念、意义的手段，计算机也无法正确理解自然语言计算机也无法正确理解自然语言所表达的查询所表达的查询。 2.用户有时自己都用户有时自己都无法准确地用语言来表达其真正的查无法准确地用语言来表达其真正的查询需求询需求。 6.2 语义鸿沟问题第6章 多媒体信息检索 对于如何跨越语义鸿沟这一难题，目前主要采用的是对于如何跨越语义鸿沟这一难题，目前主要采用的是相关反馈相关反馈和和自动标注自动标注的方法。前者通过系统与用户的交互的方法。前者通过系统与用户的交互来获得多媒体数据高层语义与底层特征之间的
15、映射关系；来获得多媒体数据高层语义与底层特征之间的映射关系；后者使用关键词标注多媒体数据，这一技术在图像领域应后者使用关键词标注多媒体数据，这一技术在图像领域应用广泛。用广泛。 但是上述方法对应彻底解决语义鸿沟问题，还有相当但是上述方法对应彻底解决语义鸿沟问题，还有相当的一段距离。的一段距离。6.2 语义鸿沟问题第6章 多媒体信息检索语义鸿沟语义鸿沟解决方法解决方法相关反馈相关反馈通过系统与用户的交互获得通过系统与用户的交互获得多媒体数据高层语义与底层多媒体数据高层语义与底层特征之间的映射关系特征之间的映射关系自动标注自动标注使用关键词标注使用关键词标注多媒体数据多媒体数据6.3 多媒体检索第
16、6章 多媒体信息检索6.3.1 图像图像检索检索1.图像检索的概念图像检索的概念 传统传统的图像检索过程，先通过人工对图像进行文字标注，的图像检索过程，先通过人工对图像进行文字标注，简称简称“以字找图以字找图”，既耗时又主观多义。，既耗时又主观多义。 基于内容的基于内容的图像检索图像检索是指根据图像对象的内容及上下是指根据图像对象的内容及上下文信息在大规模多媒体数据中检索所需信息。它通过分析文信息在大规模多媒体数据中检索所需信息。它通过分析图像的颜色、纹理、形状或空间关系等这些底层视觉特征图像的颜色、纹理、形状或空间关系等这些底层视觉特征,建立特征索引建立特征索引,并存储在特征库中。用户在查询
17、时，直接从并存储在特征库中。用户在查询时，直接从待查找的图像视觉特征出发，在图像库（查找范围）中找待查找的图像视觉特征出发，在图像库（查找范围）中找出与之相似的图像，这种依据视觉相似程度给出图像检索出与之相似的图像，这种依据视觉相似程度给出图像检索结果的方式，简称结果的方式，简称“以图找图以图找图”。 6.3 多媒体检索第6章 多媒体信息检索6.3.1 图像检索图像检索2.检索工作检索工作原理原理特征提取特征提取：提取各种特征，如颜色、纹理、形状、空间、：提取各种特征，如颜色、纹理、形状、空间、语义等。根据提取的特征不同，采取不同的处理，比如提语义等。根据提取的特征不同，采取不同的处理，比如提
18、取形状特征，就需要先进行图像分割和边缘提取等步骤。取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确性方面加以改进，以适选择合适的算法，并在效率和精确性方面加以改进，以适应检索的需要，实现特征提取模块。应检索的需要，实现特征提取模块。特征分析特征分析：对图像的各种特征进行分析，选择提取效率高、：对图像的各种特征进行分析，选择提取效率高、信息浓缩性好的特征，或者将几种特征进行组合应用到检信息浓缩性好的特征，或者将几种特征进行组合应用到检索领域。索领域。特征匹配特征匹配：选择何种模型来衡量图像特征间的相似度。：选择何种模型来衡量图像特征间的相似度。6.3 多媒体检索第
19、6章 多媒体信息检索7.3.1 图像检索图像检索2.检索工作原理检索工作原理图像检索工作原理图图像检索工作原理图6.3 多媒体检索第6章 多媒体信息检索6.3.1 图像检索图像检索3.图像图像视觉特征视觉特征6.3 多媒体检索第6章 多媒体信息检索6.3.1 图像检索图像检索4.图像检索的图像检索的应用领域应用领域 在各种网站的搜索引擎中，图像检索系统成为重要工具。在各种网站的搜索引擎中，图像检索系统成为重要工具。在医学在医学CT，X射线检索系统中，可以为医生诊断提供重要射线检索系统中，可以为医生诊断提供重要的参考；在商标检索系统中，可在收录了已注册商标库中的参考；在商标检索系统中，可在收录了
20、已注册商标库中查找是否有欲注册商标类似的，防止商标的雷同；在公安查找是否有欲注册商标类似的，防止商标的雷同；在公安系统中，根据嫌疑犯面部特征在照片库中进行查找类似人系统中，根据嫌疑犯面部特征在照片库中进行查找类似人员等。员等。6.3 多媒体检索第6章 多媒体信息检索6.3.1 图像检索图像检索医学医学CT，X射线检索系统射线检索系统信息检索信息检索应用领域应用领域商标检索系统商标检索系统公安系统公安系统6.3 多媒体检索第6章 多媒体信息检索6.3.2 音频检索音频检索1.音频检索概述音频检索概述 音频是多媒体中的一种重要媒体，人类能够听见的音频音频是多媒体中的一种重要媒体，人类能够听见的音频
21、频率范围是频率范围是60Hz20kHz，其中语音大约分布在，其中语音大约分布在300Hz4kHz之内，而音乐和其他自然声响是全范围分布的。之内，而音乐和其他自然声响是全范围分布的。 声音经过模拟设备记录或再生，成为模拟音频，再经数声音经过模拟设备记录或再生，成为模拟音频，再经数字化成为数字音频。数字化时的采样率必须高于信号带宽的字化成为数字音频。数字化时的采样率必须高于信号带宽的2倍，才能正确恢复信号。倍，才能正确恢复信号。6.3 多媒体检索第6章 多媒体信息检索6.3.2 音频检索音频检索1.音频检索概述音频检索概述音频可以分为音频可以分为三种类型三种类型：波形声音波形声音，对模拟声音数字化
22、而得到的数字音频信号。，对模拟声音数字化而得到的数字音频信号。它可以代表语音、音乐、自然界和合成的声响。它可以代表语音、音乐、自然界和合成的声响。语音语音，具有字词、语法等语素，是一种高度抽象的概念，具有字词、语法等语素，是一种高度抽象的概念交流媒体。语音经过识别可以转换为文本。文本是语音的交流媒体。语音经过识别可以转换为文本。文本是语音的一种脚本形式。一种脚本形式。音乐音乐，具有节奏、旋律或和声等要素，是人声或，具有节奏、旋律或和声等要素，是人声或/和乐器和乐器音响等配合所构成的一种声音，音乐可以用乐谱来表示。音响等配合所构成的一种声音，音乐可以用乐谱来表示。6.3 多媒体检索第6章 多媒体
23、信息检索6.3.2 音频检索音频检索2.音频音频检索方式检索方式 基于内容的音频信息检索技术是继基于内容的图像检索基于内容的音频信息检索技术是继基于内容的图像检索之后发展起来的一个新兴研究方向，之后发展起来的一个新兴研究方向， 是指通过音频特征分是指通过音频特征分析，析， 对不同音频数据赋以不同的语义，对不同音频数据赋以不同的语义， 使具有相同语义的使具有相同语义的音频在听觉上保持相似，音频在听觉上保持相似， 其中基于内容的音乐检索是具有其中基于内容的音乐检索是具有较高实用价值的一个部分。较高实用价值的一个部分。 它研究如何利用音频的幅度、它研究如何利用音频的幅度、 频谱等物理特征，频谱等物理
24、特征， 响度、音高、音色等听觉特征，词字、响度、音高、音色等听觉特征，词字、旋律等语义特征实现基于内容的音频信息检索。旋律等语义特征实现基于内容的音频信息检索。6.3 多媒体检索第6章 多媒体信息检索6.3.2 音频检索音频检索2.音频音频检索方式检索方式音频特征提取图音频特征提取图6.3 多媒体检索第6章 多媒体信息检索6.3.2 音频检索音频检索2.音频音频检索方式检索方式 1）音频特征的）音频特征的提取提取 特征提取是指寻找原始音频信号表达形式，特征提取是指寻找原始音频信号表达形式， 提取能代表提取能代表原始信号的数据。原始信号的数据。 音频特征提取有两种不同的技术线路：音频特征提取有两
25、种不同的技术线路： 一种是从叠加音频帧中提取特征，一种是从叠加音频帧中提取特征， 其原因在于音频信号是其原因在于音频信号是短时平稳的，短时平稳的， 所以在短时提取的特征较稳定；所以在短时提取的特征较稳定； 二是从音频二是从音频片段中提取，片段中提取， 因为任何语义都有时间延续性，在长时间刻因为任何语义都有时间延续性，在长时间刻度内提取音频特征可以更好反映音频所蕴涵的语义信息，度内提取音频特征可以更好反映音频所蕴涵的语义信息， 一般是提取音频帧的统计特征作为音频片段特征。常用到一般是提取音频帧的统计特征作为音频片段特征。常用到的频域特征有：能量谱特征、平均功率和功率谱特征以及的频域特征有：能量谱
26、特征、平均功率和功率谱特征以及倒谱特征等。倒谱特征等。6.3 多媒体检索第6章 多媒体信息检索6.3.2 音频检索音频检索2.音频音频检索方式检索方式 2）相似度）相似度匹配匹配 音频的相似度匹配是基于内容的音频检索技术的关键音频的相似度匹配是基于内容的音频检索技术的关键环节，环节， 匹配算法的性能直接影响着检索结果和整个系统性匹配算法的性能直接影响着检索结果和整个系统性能。相似度匹配包括精确匹配、模糊匹配、相似度计算、能。相似度匹配包括精确匹配、模糊匹配、相似度计算、相关度计算等，其性能各不相同适用范围也不同，通常根相关度计算等，其性能各不相同适用范围也不同，通常根据实际需要对其进行组合使用
27、。据实际需要对其进行组合使用。 基于内容的音频检索是一个新兴的研究领域，在国内基于内容的音频检索是一个新兴的研究领域，在国内外仍处于研究、探索阶段。当今时代，多媒体信息可以说外仍处于研究、探索阶段。当今时代，多媒体信息可以说是无所不在，不仅数据量大、而且包含有大量的非结构信是无所不在，不仅数据量大、而且包含有大量的非结构信息，所以如何高效地检索多媒体信息就显得非常重要。息，所以如何高效地检索多媒体信息就显得非常重要。6.3 多媒体检索第6章 多媒体信息检索6.3.3 视频检索视频检索1.视频资源检索视频资源检索 近年来，数字视频信息出现了飞速膨胀，新的视频应近年来，数字视频信息出现了飞速膨胀，
28、新的视频应用，如数字图书馆、视频点播、数字电视等，已经为越来用，如数字图书馆、视频点播、数字电视等，已经为越来越多的人所接受和熟悉。面对海量的视频数据，如何找到越多的人所接受和熟悉。面对海量的视频数据，如何找到所需的视频信息就成为了一个急需解决的问题。人们总是所需的视频信息就成为了一个急需解决的问题。人们总是希望可以直接检索到一段包含特定信息的视频片段。如足希望可以直接检索到一段包含特定信息的视频片段。如足球比赛中的射门镜头、含有日出景色的片段。球比赛中的射门镜头、含有日出景色的片段。 基于内容的视频检索是根据视频的内容和上下文关系基于内容的视频检索是根据视频的内容和上下文关系,对大规模视频数
29、据库中的视频数据进行检索。它提供一种对大规模视频数据库中的视频数据进行检索。它提供一种算法在没有人工参与的情况下，自动提取并描述视频的特算法在没有人工参与的情况下，自动提取并描述视频的特征和内容。征和内容。6.3 多媒体检索第6章 多媒体信息检索6.3.3 视频检索视频检索2.视频视频检索方法检索方法图像特征提取图图像特征提取图6.3 多媒体检索第6章 多媒体信息检索6.3.3 视频检索视频检索2.视频检索方法视频检索方法1）视频的结构化分析2) 镜头分割3) 关键帧提取4) 视频特征提取5）视频聚类6）视频检索和浏览6.3 多媒体检索第6章 多媒体信息检索6.3.4 多媒体检索多媒体检索工具
30、工具与实例与实例1.国内国内外常见的检索工具外常见的检索工具Infor media数字视频库工程数字视频库工程是卡耐基梅隆大学是卡耐基梅隆大学(CMU)关于数字视频媒体的处理与管理关于数字视频媒体的处理与管理的一个重大项目，是较为完整的基于内容视频分析原型系的一个重大项目，是较为完整的基于内容视频分析原型系统的先驱。该系统率先将数字音频处理技术和文本处理技统的先驱。该系统率先将数字音频处理技术和文本处理技术运用到基于内容视频分析中，通过语音识别和文字识别术运用到基于内容视频分析中，通过语音识别和文字识别获取视频语义、辅助视频分段、抽取有意义的视频片段生获取视频语义、辅助视频分段、抽取有意义的视
31、频片段生成视频摘要，支持自动的全方位的视频信息查询，以支撑成视频摘要，支持自动的全方位的视频信息查询，以支撑基于内容的视频浏览、检索和服务。基于内容的视频浏览、检索和服务。6.3 多媒体检索第6章 多媒体信息检索6.3.4 多媒体检索多媒体检索工具工具与实例与实例1.国内国内外常见的检索工具外常见的检索工具videoQ视频查询系统视频查询系统是由哥伦比亚大学的图像与高级电视实验室研制的一个原是由哥伦比亚大学的图像与高级电视实验室研制的一个原型系统。它拓展了基于关键词或主题浏览的传统检索方式，型系统。它拓展了基于关键词或主题浏览的传统检索方式，提出了全新的基于丰富视觉特征和时空关系的查询技术，提
32、出了全新的基于丰富视觉特征和时空关系的查询技术，可以帮助用户查询视频中的对象，其目的在于探究视频中可以帮助用户查询视频中的对象，其目的在于探究视频中潜在的所有视觉线索并用于面向对象的基于内容的视频查潜在的所有视觉线索并用于面向对象的基于内容的视频查询。目前询。目前VideoQ支持着一个巨大的视频数据库，同时，支持着一个巨大的视频数据库，同时，VideoQ又是一个面向又是一个面向Web的视频搜索系统。的视频搜索系统。6.3 多媒体检索第6章 多媒体信息检索6.3.4 多媒体检索多媒体检索工具工具与实例与实例1.国内国内外常见的检索工具外常见的检索工具viSION数字视频图书馆数字视频图书馆是是K
33、ANSAS大学开发的原型系统，在该系统中综合了视频大学开发的原型系统，在该系统中综合了视频处理和语音识别，根据基于视频和音频内容的两段式算法，处理和语音识别，根据基于视频和音频内容的两段式算法，自动把视频分成大量具有逻辑语义的视频剪辑，在系统中自动把视频分成大量具有逻辑语义的视频剪辑，在系统中加入标题译码器和字指示器提取文本信息，通过他们索引加入标题译码器和字指示器提取文本信息，通过他们索引视频剪辑。视频剪辑。6.3 多媒体检索第6章 多媒体信息检索6.3.4 多媒体检索多媒体检索工具工具与实例与实例1.国内国内外常见的检索工具外常见的检索工具TV-FI视频节目管理系统视频节目管理系统Tv-F
34、I(Tsinghua Video Find It)是由清华大学开发的，功能是由清华大学开发的，功能包括：视频数据入库，基于内容的浏览、检索等。包括：视频数据入库，基于内容的浏览、检索等。iVideo视频检索系统视频检索系统iVideo是由中国科学院计算技术研究所数字化技术研究室是由中国科学院计算技术研究所数字化技术研究室开发的，是一套基于开发的，是一套基于J2EE平台的具有视频分析、内容管理、平台的具有视频分析、内容管理、基于基于Web检索和浏览等功能的视频检索系统。检索和浏览等功能的视频检索系统。6.3 多媒体检索第6章 多媒体信息检索6.3.4 多媒体检索工具与多媒体检索工具与实例实例2.多媒体信息检索实例多媒体信息检索实例视频文字识别图视频文字识别图视频文字示意图视频文字示意图小结