《第二章音频信息的获取与处理精选文档.ppt》由会员分享，可在线阅读，更多相关《第二章音频信息的获取与处理精选文档.ppt（36页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第二章音频信息的获取与处理1本讲稿第一页，共三十六页 考核目的：考核目的：考核学生对数字音频获取与处理的基本考核学生对数字音频获取与处理的基本原理、采样量化的基本原理、音频卡的原理、采样量化的基本原理、音频卡的组成及工作原理、音频编码标准以及音组成及工作原理、音频编码标准以及音乐合成原理的理解和掌握。乐合成原理的理解和掌握。本讲稿第二页，共三十六页考核的知识点：考核的知识点：什什么么是是数数字字音音频频、数数字字音音频频采采样样和和量量化化的的基基本本原原理理、音音频频卡卡的的工工作作原原理理、音音频频编码标准和音乐合成的原理。编码标准和音乐合成的原理。本讲稿第三页，共三十六页考核要求：考核要
2、求：掌掌握握：数数字字音音频频信信息息的的获获取取与与处处理理的的原原理过程、音频卡的工作原理。理过程、音频卡的工作原理。理理解解：数数字字音音频频采采样样量量化化的的原原理理过过程程、音乐合成的原理。音乐合成的原理。了解：数字音频编码的标准。了解：数字音频编码的标准。本讲稿第四页，共三十六页2-1 2-1 数字音频：数字音频：在计算机内，所有的信息均以数字表在计算机内，所有的信息均以数字表示。各种命令是不同的数字，各种幅度的示。各种命令是不同的数字，各种幅度的物理量也是不同的数字。音频信号也用一物理量也是不同的数字。音频信号也用一系列数字表示，称之为数字音频。数字音系列数字表示，称之为数字音
3、频。数字音频的特点是保真度好，动态范围大。频的特点是保真度好，动态范围大。本讲稿第五页，共三十六页2-2 2-2 采样：采样：模模拟拟声声音音在在时时间间上上是是连连续续的的，而而数数字字音音频频是是一一个个数数字字序序列列，在在时时间间上上只只能能是是断断续续的的。因因此此当当把把模模拟拟声声音音变变成成数数字字声声音音时时，需需要要每每隔隔一一个个时时间间间间隔隔在在模模拟拟声声音音波波形形上上取取一一个个幅幅度度值值，称称之之为为采采样样，采采样样的的时时间间间隔称为采样周期。间隔称为采样周期。本讲稿第六页，共三十六页2-3 2-3 量化：量化：在在数数字字音音频频技技术术中中，把把采采
4、样样得得到到的的表表示示声声音音强强弱弱的的模模拟拟电电压压用用数数字字表表示示。模模拟拟电电压压的的幅幅值值仍仍然然是是连连续续的的，而而用用数数字字表表示示音音频频幅幅度度时时，只只能能把把无无穷穷多多个个电电压压幅幅度度用用有有限限个个数数字字表表示示，即即把把某某一一幅幅度度范范围围内内的的电压用一个数字表示，这称之为量化。电压用一个数字表示，这称之为量化。本讲稿第七页，共三十六页2-42-4奈奎斯特采样定理奈奎斯特采样定理 1927年年，奈奈奎奎斯斯特特确确定定了了如如果果对对某某一一带带宽宽的的有有限限时时间间连连续续信信号号（模模拟拟信信号号）进进行行抽抽样样，且且在在抽抽样样率
5、率达达到到一一定定数数值值时时，根根据据这这些些抽抽样样值值可可以以在在接接收收端端准准确确地地恢恢复复原原信信号号。为为不不使使原原波波形形产产生生“半半波波损损失失”，采采样样率率至至少少应应为为信信号号最最高高频频率率的的两两倍倍，这这就就是是著著名名的的奈奈奎奎斯斯特特采采样样定定理理。奈奈奎奎斯斯特特1928年年发发表表了了电电报报传传输输理理论论的的一一定定论论题题。常常用用的的音音频频采采样样率率有有：8kHz8kHz、11.025kHz11.025kHz、22.05kHz22.05kHz、16kHz16kHz、37.8kHz37.8kHz、44.1kHz44.1kHz、48kH
6、z48kHz。本讲稿第八页，共三十六页均均匀匀量量化化：就是将输入数据的振幅进行等值均分，优点是计算处理简单，缺点是量化误差大；非均匀量化非均匀量化：就是将输入数据的振幅，按照其变化曲线的曲率大小进行不等值划分。优点是量化误差大，缺点是计算处理复杂，需要较多的比特数。自适应量化自适应量化：就是按照输入数据的变化曲线的局部区域的特点，自适应地修改和调整量化器的箱宽。优点是量化误差小，缺点是计算处理复杂。本讲稿第九页，共三十六页2-5 2-5 数字音频的文件格式数字音频的文件格式.WAV Microsoft.WAV Microsoft公司的波形音频文件格式。公司的波形音频文件格式。.MID MID
7、I.MID MIDI文件格式。文件格式。.VOC Creative.VOC Creative公司的波形音频文件格式。公司的波形音频文件格式。.SND NeXT.SND NeXT计算机的波形音频文件格式。计算机的波形音频文件格式。.AIF Apple.AIF Apple计算机的波形音频文件格式。计算机的波形音频文件格式。.RMI.RMI MicrosoftMicrosoft公公司司的的MIDIMIDI文文件件格格式式。它它可可以以包括图片、标记和文本。包括图片、标记和文本。本讲稿第十页，共三十六页2-6 WAV2-6 WAV文件储存容量计算（教材文件储存容量计算（教材2424）WAVWAV文件的
8、字节数文件的字节数/每秒每秒=采样频率（采样频率（HzHz）量化位数（位）量化位数（位）声道数声道数/8/8本讲稿第十一页，共三十六页2-7 MIDI2-7 MIDI文件文件 由由于于MIDIMIDI文文件件记记录录的的是是一一系系列列的的计计算算指指令令而而不不是是数数据据化化后后的的波波形形数数据据，因因此此占占用用的的存存储储空空间间比比WAVWAV文文件件要要小小很很多多。所所以以预预装装MIDIMIDI文文件件比比装装入入WAVWAV文文件件要要容容易易很很多多。这这为为设设计计多多媒媒体体应应用用系系统统和和指指何何时时播播放放音音乐乐带带来来很很大大的的灵灵活活性性。但但是是MI
9、DIMIDI文文件件的的录录制制比比较较复复杂杂，这这要要学学习习一一些些使使用用MIDIMIDI创创作作并并改改编编作作品品的的专专业业知知识识，并并且且还还必必须须有有专专门门工具，如键盘合成器等。工具，如键盘合成器等。本讲稿第十二页，共三十六页2-8 2-8 音频信号处理的特点（教材音频信号处理的特点（教材P26P26）(1)(1)音频信号是时间依赖的连续媒体。音频信号是时间依赖的连续媒体。(2)(2)理想的合成声音应是立体声。理想的合成声音应是立体声。(3)(3)对语音信号的处理，要抽取语意等其对语音信号的处理，要抽取语意等其它信息，如可能会涉及到语言学、社会学、它信息，如可能会涉及到
10、语言学、社会学、声学等。声学等。本讲稿第十三页，共三十六页2-9 2-9 从人与计算机交互的角度来看音频信从人与计算机交互的角度来看音频信 号相应的处理如下号相应的处理如下:(1)(1)人与计算机通信人与计算机通信(接收音频信号接收音频信号)音频获取；语音识别与理解。音频获取；语音识别与理解。(2)(2)计算机与人通信计算机与人通信(输出音频输出音频)音频合成；音频合成；声音定位；音频声音定位；音频/视频同步。视频同步。(3)(3)人人计算机计算机别人通信别人通信本讲稿第十四页，共三十六页2-10 2-10 音频卡的主要功能（教材音频卡的主要功能（教材P28P28）音频的录制与播放、编辑与合成
11、、音频的录制与播放、编辑与合成、MIDIMIDI接口、接口、文语转换、文语转换、CD-ROMCD-ROM接口及游戏接口等。接口及游戏接口等。本讲稿第十五页，共三十六页2-11 2-11 音频卡的分类音频卡的分类音频卡的分类主要根据数据采样量化的位音频卡的分类主要根据数据采样量化的位数来分，通常分为数来分，通常分为8 8位、位、1616位和位和3232位等几类。位等几类。位数越高，量化精度越高，音质就越好。位数越高，量化精度越高，音质就越好。本讲稿第十六页，共三十六页2-12 2-12 音频卡的工作原理（教材音频卡的工作原理（教材P33-55P33-55）音频卡的组成平面图音频卡的组成平面图(图
12、图2.2)2.2)音频卡的工作原理框图音频卡的工作原理框图(图图2.52.5)（1 1）声音的合成与处理：这部分是音频）声音的合成与处理：这部分是音频卡的核心，一般由数字声音处理器、卡的核心，一般由数字声音处理器、FMFM音乐音乐合成器及合成器及MIDIMIDI控制器组成。控制器组成。它的主要任务是完成声波信号的它的主要任务是完成声波信号的 模模/数、数、数数/模转换，利用调频技术控制声音的音调、模转换，利用调频技术控制声音的音调、音色、和幅度。音色、和幅度。本讲稿第十七页，共三十六页（2 2）混合信号处理器及功率放大器：内置）混合信号处理器及功率放大器：内置数字数字/模拟混音器，混音器的声源
13、可以是模拟混音器，混音器的声源可以是MIDIMIDI信号、信号、CDCD音频、线输入、话筒和音频、线输入、话筒和PCPC的扬声器等，可以选择输入一个声源或的扬声器等，可以选择输入一个声源或将几个不同的声源进行混合录音。将几个不同的声源进行混合录音。（3 3）计算机总线接口和控制器：总线接口）计算机总线接口和控制器：总线接口和控制器是由数据总线双向驱动器、总和控制器是由数据总线双向驱动器、总线接口控制逻辑、总线中断逻辑及线接口控制逻辑、总线中断逻辑及DMADMA（直接存储器存取）控制逻辑组成。（直接存储器存取）控制逻辑组成。本讲稿第十八页，共三十六页2-132-13音频卡硬件的安装步骤音频卡硬件
14、的安装步骤:（1 1）将电脑电源关闭，拔下供电电源和所有外接线插头；）将电脑电源关闭，拔下供电电源和所有外接线插头；（2 2）打开机箱外壳，选择一个空闲的）打开机箱外壳，选择一个空闲的1616位扩展槽并将位扩展槽并将声卡插入扩展槽，声卡一般应尽可能远离显示卡，以声卡插入扩展槽，声卡一般应尽可能远离显示卡，以防两者互相干扰；防两者互相干扰；（3 3）连接来自）连接来自CD-ROMCD-ROM驱动器的音频线及声卡的输入驱动器的音频线及声卡的输入/输输出线和游戏棒等；出线和游戏棒等；（4 4）如果需要，将）如果需要，将CD-ROMCD-ROM驱动器的接口电缆插在卡上相驱动器的接口电缆插在卡上相应的接
15、口上，并将应的接口上，并将CD-ROMCD-ROM的音频输出线接到声卡的针的音频输出线接到声卡的针形输入线上；形输入线上；（5 5）连接诸如麦克风、外部音源和游戏棒等其它设备；）连接诸如麦克风、外部音源和游戏棒等其它设备；（6 6）盖上机箱外壳，并将电源插头插回，待全部调试通过后）盖上机箱外壳，并将电源插头插回，待全部调试通过后再将固定螺丝拧紧。再将固定螺丝拧紧。本讲稿第十九页，共三十六页2-14 2-14 音频编码基础音频编码基础 从信息保持的角度讲从信息保持的角度讲,只有当信源本身只有当信源本身具有冗余度具有冗余度,才能对其进行压缩。根据统计才能对其进行压缩。根据统计分析结果，语音信号存在
16、着多种冗余度，分析结果，语音信号存在着多种冗余度，其最主要部分可以分别从时域和频域来考其最主要部分可以分别从时域和频域来考虑。另外由于语音主要是给人听的，所以虑。另外由于语音主要是给人听的，所以考虑了人的听觉机理，也能对语音信号实考虑了人的听觉机理，也能对语音信号实行压缩。行压缩。（教材（教材P41P41）本讲稿第二十页，共三十六页2-15 2-15 音频编码的分类（教材音频编码的分类（教材P44P44）（1 1）基于音频数据的统计特性进行编码）基于音频数据的统计特性进行编码,其典型技术是波形编码。其典型技术是波形编码。（2 2）基于音频的声学参数，进行参数编码）基于音频的声学参数，进行参数编
17、码,可进一步降低数据率。其目标是使重建可进一步降低数据率。其目标是使重建音频保持原音频的特性。音频保持原音频的特性。（3 3）基于人的听觉特性进行编码：从人的）基于人的听觉特性进行编码：从人的听觉系统出发，利用掩蔽效应，设计心听觉系统出发，利用掩蔽效应，设计心理声学模型，从而实现更高效率的数字理声学模型，从而实现更高效率的数字音频的压缩。其中以音频的压缩。其中以MPEGMPEG标准中的高频标准中的高频编码和编码和Doldy AC-3Doldy AC-3最有影响。最有影响。本讲稿第二十一页，共三十六页音频编码的分类如下：音频编码的分类如下：1）基于音频数据的统计特性进行编码）基于音频数据的统计特
18、性进行编码典型技术是波形编码：典型技术是波形编码：PCM（脉冲编码调制）（脉冲编码调制）DPCM（线性预测或差值脉冲编码调制）（线性预测或差值脉冲编码调制）APCM（自适应量化编码）（自适应量化编码）ADPCM（自适应差分脉冲编码调制）（自适应差分脉冲编码调制）2）基于音频的声学参数，进行参数编码）基于音频的声学参数，进行参数编码3）基于人的听觉特性进行编码）基于人的听觉特性进行编码本讲稿第二十二页，共三十六页2-16 2-16 音频编码算法和标准（表音频编码算法和标准（表2.22.2）CCITT,ISO CCITT,ISO（1 1）G.711 G.711、G.721 G.721、G.722
19、G.722、G.728 G.728（2 2）MPEGMPEG中的音频编码中的音频编码 （3 3）AC-3AC-3编码和解码编码和解码本讲稿第二十三页，共三十六页l律律l律压扩的数学解析式：律压扩的数学解析式：ll其中：其中：x为输入信号的归一化值；为输入信号的归一化值；y为压扩后的信号。为压扩后的信号。对话音信号编码，常采用对话音信号编码，常采用=255，这样适量化信噪比，这样适量化信噪比改善约改善约24dB。l2、A律律l其特性可表示为：其特性可表示为：lll很明显，小信号时为线性特性，大信号时近似为对数很明显，小信号时为线性特性，大信号时近似为对数特性。这种压扩特性常把压缩、量化和编码合为
20、一体。特性。这种压扩特性常把压缩、量化和编码合为一体。A律可用律可用13段折线逼近（相当于段折线逼近（相当于A=87.6），便于用数），便于用数字电路实现。字电路实现。本讲稿第二十四页，共三十六页2-17 AC-32-17 AC-3编码和解码（教材编码和解码（教材P49-53P49-53）(1)AC-3(1)AC-3编码编码(2)AC-3(2)AC-3解码解码本讲稿第二十五页，共三十六页AC-3可编程解码器可编程解码器（图（图2.15）AC-3编码器框图编码器框图（图（图2.16）AC-3编码流程图编码流程图（图（图2.17）同步帧结构图同步帧结构图（图（图2.18）AC-3解码器框图解码器框
21、图（图（图2.19）本讲稿第二十六页，共三十六页2-18 2-18 音乐合成音乐合成l音的分类音的分类:乐音、乐音、噪音噪音l根据音振动状态的规则与不规则，音被分为乐音与噪音根据音振动状态的规则与不规则，音被分为乐音与噪音两类。两类。l音乐中使用的主要是乐音，但噪音在是音乐表现中音乐中使用的主要是乐音，但噪音在是音乐表现中必不可少。如架子鼓发出的声响就是一种噪音，不必不可少。如架子鼓发出的声响就是一种噪音，不过，这种噪音有一定的规律。过，这种噪音有一定的规律。l一个乐音，包括必备的三要素：音高、音色和响度。一个乐音，包括必备的三要素：音高、音色和响度。若把一个乐音放在运动的旋律中，它还应具备时
22、值若把一个乐音放在运动的旋律中，它还应具备时值持续时间。这些要素的理想配合是产生优美动听持续时间。这些要素的理想配合是产生优美动听的旋律的必要条件。的旋律的必要条件。本讲稿第二十七页，共三十六页音高：音高：音音高高指指声声波波的的基基频频。基基频频越越低低，给给人人的的感感觉越低沉。音阶与频率的对应关系觉越低沉。音阶与频率的对应关系音色：音色：声声音音的的音音质质。由由声声音音的的频频谱谱决决定定的的：各各阶阶谐谐波波的的比比例例不不同同，随随时时间间衰衰减减的的程程度度不不同同，音音色就不同。色就不同。响度：响度：响度是对声音强度的衡量，它是听判乐音响度是对声音强度的衡量，它是听判乐音的基础
23、。的基础。本讲稿第二十八页，共三十六页音乐合成技术的种类：音乐合成技术的种类：调频调频(FM)音乐合成技术。音乐合成技术。FM是是使使高高频频震震荡荡波波的的频频率率按按调调制制信信号号规律变化的一种调制方式。规律变化的一种调制方式。本讲稿第二十九页，共三十六页波形表波形表(Wavetable)(Wavetable)音乐合成技术。音乐合成技术。乐乐器器发发出出的的声声音音进进行行采采样样后后，将将数数字字音音频频信信号号存存储储在在ROMROM芯芯片片或或硬硬盘盘中中，进进行行合合成成时时将将再再将将相相应应乐乐器器的的波波形形记记录录播播放放出出来来，即波形表音乐合成技术。即波形表音乐合成技
24、术。音乐系统框图音乐系统框图（P55图图2.21）本讲稿第三十页，共三十六页2-19 MIDI2-19 MIDI规范（教材规范（教材P55P55）MIDI(Musical Instrument Digital MIDI(Musical Instrument Digital Interface)Interface)是乐器数字接口的缩写，泛指是乐器数字接口的缩写，泛指数字音乐的国际标准。数字音乐的国际标准。MIDIMIDI标准规定了不同厂家的电子乐器与计标准规定了不同厂家的电子乐器与计算机连接的电缆和硬件。它还指定从一个算机连接的电缆和硬件。它还指定从一个装置传送数据到另一个装置的通信协议。装置传
25、送数据到另一个装置的通信协议。这样，任何电子乐器，只要有处理这样，任何电子乐器，只要有处理MIDIMIDI信信息的处理器和适当的硬件接口都能变成息的处理器和适当的硬件接口都能变成MIDIMIDI装置。装置。MIDIMIDI间靠这个接口传递消息而间靠这个接口传递消息而进行彼此通信。进行彼此通信。本讲稿第三十一页，共三十六页MIDIMIDI是音乐与计算机结合的产物。是音乐与计算机结合的产物。什么时候使用什么时候使用MIDIMIDI？长时间高质量音乐长时间高质量音乐以音乐做背景音响效果，同时从以音乐做背景音响效果，同时从CDROMCDROM中中装载其他数据装载其他数据以音乐做背景音响效果，同时播放波
26、形音以音乐做背景音响效果，同时播放波形音频或实现文语转换，以实现音乐和语音同频或实现文语转换，以实现音乐和语音同时输出。时输出。本讲稿第三十二页，共三十六页2-20 MIDI2-20 MIDI的技术规范的技术规范1988年，年，MIDI制造商协会正式公布制造商协会正式公布MIDI技术技术规范第一版（规范第一版（MIDI1.0），作为数字式音乐的国际），作为数字式音乐的国际标准。标准。MIDI是由软件和硬件两部分共同组成的系统规范，它定义了电子合成器、定序器、节拍器、个人计算机和其他电子乐器的相互连接性和通信协议。相互连接性定义了使这些不同的MIDI仪器能够相互连接的接线方式、连接器类型，和输入
27、输出线路。通信协议定义了能够控制乐器声音和消息(包括：发出反应，发出状态，及发出系统独有)的标准多字节消息。本讲稿第三十三页，共三十六页MIDI硬件规范：硬件规范：MIDI硬件规范要求硬件规范要求5针针DIN连接器，用于连接器，用于MIDIIN，MIDIOUT和和MIDITHRU信号信号的引线面板安装的引线面板安装(如图如图)。本讲稿第三十四页，共三十六页MIDI通信协议通信协议：MIDI通信协议使用多字节消息，字节数取决于消息的类型。有通道消息和系统消息两种类型的消息。本讲稿第三十五页，共三十六页小结：小结：P70作业作业:2.1、2.2、2.3、2.4、2.5、2.6、2.7、2.8、2.92.10本讲稿第三十六页，共三十六页