《第2章-音频信息的获取和处理.ppt》由会员分享，可在线阅读，更多相关《第2章-音频信息的获取和处理.ppt（78页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2.1声音与听觉（1）o声音：声音：通过空气传播的一种连续的波，又称声波。由空气振动引起耳膜的振动，由人耳所感知。o声音的度量：声音的度量：频率与幅度（声波压力的大小）n频率用音高表示，幅度用声强表示n与看得见的水波类似2.1声音与听觉（2）o声音被分为无规则的噪音和有规则的音频信号；有规则音频信号是一种连续变化、周期性的模拟信号，可用一条连续的曲线来表示，称为声波。o声音分类声音分类n语音：人的说话声虽是一种特殊的媒体，但也是一种波形，所以和波形声音的文件格式相同。n音乐：规范的符号化了的声音，乐谱可转变为符号媒体形式。n音效：指人类熟悉的其他声音，如动物发声、机器产生的声音、自然界的风雨雷
2、电等。2.1声音与听觉（3）o带宽与听觉带宽与听觉 音频是指人类听觉所感知范围内的频率，也称声频。n次声波(subsonic)：频率低于20Hz的信号。n超声波(ultrasonic)：频率高于20KHz的信号。n音频(Audio):频率范围是20Hz20KHz的声音信号。是人耳能听到的声音信号，次声波和超声波之间的音。n音频为可听声波，即属于多媒体音频信息范畴。2.1声音与听觉（4）10 20 50 200 3.4k 7k 15k 20kCD-DAFM广播广播AM广播广播电话电话f(Hz)频带频带频带频带2.1声音与听觉（5）o模拟声音信号：模拟声音信号：可分解成一系列正弦波的线性叠加。n最
3、低频的音波称为基音，频率为基频n其余的为泛音（或称谐音），频率是基频的整数倍o声音三要素：音高、音色、音强声音三要素：音高、音色、音强n音调：由基频决定，基频取对数后与人的音调感觉成线形关系，基频的频率高则音调高，频率低则音调低。音调高时声音尖锐，俗称高音；音调低时声音沉闷，俗称低音。n音色：与波形相关，取决于声波的频谱，即由混入基音中的泛音决定，一个声波上的谐波越丰富，音色越好。n音强：即声音的响亮程度，与声音信号的幅度成正比。用声音信号的幅度取对数后再乘20所得值来描述声强，以分贝（dB）为单位，此时称为音量，振幅高时音强强，振幅低时音强弱。2.1声音与听觉（6）o听觉特性听觉特性n1 1
4、、等响曲线、等响曲线 响度与频率和强度有关，同一响度的声音可以在频率上和强度上响度与频率和强度有关，同一响度的声音可以在频率上和强度上有很大的差别。有很大的差别。先设一个音为标准音，给予固定的频率、强度和持续时间，例先设一个音为标准音，给予固定的频率、强度和持续时间，例如如1000Hz、40分贝、持续分贝、持续0.5秒；再给一个音也持续秒；再给一个音也持续0.5秒，但秒，但频率不同，通过调整使其响度听起来一样，得到的这样一组曲线称之频率不同，通过调整使其响度听起来一样，得到的这样一组曲线称之为等响曲线。为等响曲线。意义：多媒体系统的声音再现意义：多媒体系统的声音再现频率强度2.12.1声音与听
5、觉声音与听觉声音与听觉声音与听觉（7 7）n2 2、掩蔽、掩蔽 声音的响度同时也受到其他同时出现的声音的影声音的响度同时也受到其他同时出现的声音的影响，各种声音可能相互掩蔽。如：开会场景。响，各种声音可能相互掩蔽。如：开会场景。各种声音可以互相掩蔽，也就是说一种声音的出各种声音可以互相掩蔽，也就是说一种声音的出现可能使得另一种声音难于听清。例如，本来是多种现可能使得另一种声音难于听清。例如，本来是多种频率的声音的复合，但听众以为是另一种声音。频率的声音的复合，但听众以为是另一种声音。声音的掩蔽效果可以欺骗人的听觉，可用于声音的压声音的掩蔽效果可以欺骗人的听觉，可用于声音的压缩。缩。2.12.1
6、声音与听觉声音与听觉声音与听觉声音与听觉（8 8）n3 3、相位、相位 声音的加强与抵消（同相和反相）从声音的波形来看，声音的起点和方向也要反映从声音的波形来看，声音的起点和方向也要反映声音的特性，这就是声音的相位。声音的特性，这就是声音的相位。当两个声音相同相位完全相反时，它们将相互抵当两个声音相同相位完全相反时，它们将相互抵消；当两个声音相同而且相位也相同时，声音就会得到消；当两个声音相同而且相位也相同时，声音就会得到加强。加强。声音的波形相位对于多声道系统的设计非常重要，应用于回声的消除、会议系统的声音设计等。2.12.1声音与听觉声音与听觉声音与听觉声音与听觉（9 9）声音的心理模拟声
7、音的心理模拟 通过人工真实的方法，可以对视觉空间的景物进行再通过人工真实的方法，可以对视觉空间的景物进行再造或虚构，同样也可以对听觉空间的声音进行心理的模拟，造或虚构，同样也可以对听觉空间的声音进行心理的模拟，这就是所谓的可听化（这就是所谓的可听化（audiolization）。）。用声音可以表达出用声音可以表达出一些声音的效果。一些声音的效果。2.12.1声音与听觉（声音与听觉（声音与听觉（声音与听觉（1010）2.2声音信号数字化（1）1.从模拟信号到数字信号从模拟信号到数字信号n模拟信号：在时间与幅度上都连续，记为x(t).n离散信号：按一定的时间间隔T采样，得到的x(nT).oT为抽样
8、周期，1/T抽样频率o此过程成为声音信号的采样n数字信号：把抽样序列x(nT)量化成一个有限个幅度的集合X(nT)，此过程为模拟信号的量化过程。将量化后的离散信号的进行二进制编码，即以二进制编码来表示离散值的幅度，这种二进制编码信号叫做数字信号，2.2声音信号数字化（2）图图 模拟信号、离散信号及数字信号模拟信号、离散信号及数字信号1、用连续变化的曲线表示模拟信号；、用连续变化的曲线表示模拟信号；2、用圆点表示以相等时间间隔取值而得到的离散信号；、用圆点表示以相等时间间隔取值而得到的离散信号；3、纵坐标上标的是幅度的二进制编码值。、纵坐标上标的是幅度的二进制编码值。2.2声音信号数字化（3）2
9、.2声音信号数字化（4）2.声音数字化：声音数字化：nSampling,Quantization,Codingn采样频率与量化精度2.2声音信号数字化（5）n数字声音波形质量的主要技术参数数字声音波形质量的主要技术参数o采样频率采样频率n等于波形被等分的份数，份数越多，质量越好等于波形被等分的份数，份数越多，质量越好11.025KHZ、22.05KHZ、44.1KHZo采样精度采样精度n每次采样信息量每次采样信息量8位、位、16位位o声道数声道数n声音产生的波形数，声音产生的波形数，如多种语言音频混存时，需要多声如多种语言音频混存时，需要多声道道n单声道、立体声道、单声道、立体声道、5.1声道
10、声道数据量计算：(采样频率采样精度通道数 时间)/8 字节2.2声音信号数字化（6）3.采样频率采样频率n n奈奎斯特理论奈奎斯特理论奈奎斯特理论奈奎斯特理论(Nyquist)定理（1928年提出原理，仙侬形成定理并应用，1933年卡切尼科夫用公式表述）：采样频率2f这里f为被采样信号的最高频率。根根据据该该定定理理，只只要要采采样样频频率率高高于于信信号号中中最最高高频频率率的的两两倍倍，就就可可以以从从采采样样中中完完全全恢恢复复原原始始信信号号的的波波形形。因因为为人人耳耳所所能能听听到到的的频频率率范范围围为为20Hz到到20KHz，所所以以实实际际的的采采样样过过程程中中，为为了了达
11、达到到好好的的效效果果，就就采采用用44.1KHz作作为为高高质质量量声声音音的的采采样样频频率率。如如果果达达不不到到这这么么高高的的频频率率，声声音音恢恢复复的的效效果果就就会会差差一一些些，例例如如电电话话声声音音的的质质量量等等。一般来说，声音恢复和采样频率、信道带宽都有关。一般来说，声音恢复和采样频率、信道带宽都有关。2.2声音信号数字化（7）p采采样样频频率率与与声声音音的的质质量量关关系系最最为为紧紧密密。采采样样频频率率越越高高，声声音音质质量量越越接接近近原原始始声声音音，所所需需的的存存储储量量便便越越多多。标标准准的采样频率有三个：的采样频率有三个：44.1KHz，22.
12、05kHz，和，和11.025kHz。2.2声音信号数字化（8）4.量化精度量化精度n存放一个采样点所需的比特数。一般的采样位数为存放一个采样点所需的比特数。一般的采样位数为8位或位或16位，即把声音采集为位，即把声音采集为256等份或等份或65536等分。等分。n量化：量化：取样值（取样值（-,+）有限个数（量化值近似）有限个数（量化值近似）n若量化值有若量化值有J个，若用二进制表示，需要个，若用二进制表示，需要R=log(J)位位n量化误差：用有限的离散值表示无限多的连续值，必量化误差：用有限的离散值表示无限多的连续值，必然存在误差然存在误差.该误差又称为量化噪声（与一般的噪声该误差又称为
13、量化噪声（与一般的噪声不同）。不同）。2.2声音信号数字化（9）采样精度可用信噪比表示:R为编码位数2.2声音信号数字化（10）5.音频数据率音频数据率未经压缩的数字音频数据率（未经压缩的数字音频数据率（bit/s）采样频率（采样频率（Hz）量化位数量化位数（bit）声道数声道数音频数据量（音频数据量（Byte）数据率（）数据率（bit/s）持持续时间（续时间（s）/82.2声音信号数字化（11）例：例：采样率11.025KHz、量化位8位、单声道，采集1分则：音频数据率11.025（KHz）8(bit)88.2(Kbit/s)音频数据量11.025（KHz）8(bit)60（s）/8 0.6
14、6(MByte)2.2声音信号数字化（12）6.声道数声道数 声道数指的是一次同时产生的声波组数。n（1）单声道 缺乏位置感n（2）立体声o声音在录制过程中被分配到两个独立的声道，但所占空间比单声道多一倍。o这种技术在音乐欣赏中尤为有用o依然是许多产品遵循的技术标准2.2声音信号数字化（13）n（3）四声道环绕规定了4个发音点：前左、前右，后左、后右，同时建议增加一个低音音箱，以加强对低频信号的回放处理（4.1声道音箱系统广泛流行的原因)。2.2声音信号数字化（14）o（4）5.1声道n运用于各类传统影院和家庭影院中，一些知名的声音录制压缩格式，都以5.1声音系统为技术蓝本的。增加了“.1”声
15、道，一个中置单元,负责传送低于80Hz的声音信号。n采用左(L)、中(C)、右(R)、左后(LS)、右后(RS)五个方向输出声音，使人产生犹如身临音乐厅的感觉。五个声道相互独立，中央声道大部份时间负责重放人物对白的部份；前置左/右声道则用来弥补在屏幕中央以外或不能从屏幕看到的动作及其它声音；后置环绕音效则是负责外围及整个背景音乐，让人感觉置身于整个场景的正中央，万马奔腾的震撼、喷射机从头顶呼啸而过的效果，就是拜它所赐；而马达达声、轰炸机的声音或是大鼓等震人心弦的重低音，则是由重低音喇叭一手包办2.2声音信号数字化（15）o7.音频信号的获取和处理音频信号的获取和处理n从人与计算机从人与计算机交
16、互的角度交互的角度看，音频信号的处理包括下述看，音频信号的处理包括下述3点：点：n人与计算机人与计算机通信，也就是计算机接收音频信号。包括音通信，也就是计算机接收音频信号。包括音频获取、语音的识别和理解。频获取、语音的识别和理解。n计算机与人通信计算机与人通信，也就是计算机输出音频。包括音乐合，也就是计算机输出音频。包括音乐合成、语音合成、声音的定位以及音频视频的同步。成、语音合成、声音的定位以及音频视频的同步。n人人-计算机计算机-人通信人通信。人通过网络与异地的人进行语音通。人通过网络与异地的人进行语音通信，相关的音频处理有语音采集、音频的编码和解码、信，相关的音频处理有语音采集、音频的编
17、码和解码、音频的存储、音频的传输、基于内容的检索等。音频的存储、音频的传输、基于内容的检索等。2.2声音信号数字化（16）n音频信号的获取音频信号的获取图图 音频信号获取框图音频信号获取框图压缩压缩2.2声音信号数字化（17）o音频信号的处理音频信号的处理 不不管管多多媒媒体体信信息息是是音音频频信信号号还还是是视视频频信信号号，其其数数据据量量都都是是十十分分巨巨大大的的。如如果果像像上上图图的的那那样样，经经A/D转转换换的的数数字字化化音音频频信信号号直直接接进进入入计计算算机机进进行行存存储储(记记录录)或或进进行行传传送送，是是不不可可取取的的。应应该该先先对对音音频频信信号号进进行
18、行压压缩缩，然然后后进进行行存存储储和和传传输输。数数据据压压缩缩可以由可以由专用芯片专用芯片来完成也可以由来完成也可以由软件软件来实现。来实现。o音频信号的回放音频信号的回放 经经压压缩缩的的音音频频信信号号以以一一定定的的格格式式记记录录在在有有关关的的媒媒体体上上，例例如，磁带、磁盘及光盘等，或者以一定的格式传送到接收端。如，磁带、磁盘及光盘等，或者以一定的格式传送到接收端。在在音音频频信信号号接接收收端端或或由由媒媒体体回回放放音音频频信信号号时时，首首先先由由专专用用的的硬硬件件或或软软件件对对压压缩缩数数据据进进行行解解压压缩缩，恢恢复复音音频频数数字字信信号号，然然后，经由下图所
19、示的电路框图对音频信号进行放音。后，经由下图所示的电路框图对音频信号进行放音。2.2声音信号数字化（18）图图 音频信号的回放框图音频信号的回放框图解压缩解压缩2.3声音质量的度量（1）1.声音信号的带宽:复合信号的频率范围称为频带宽度。2.客观质量度量 SNR=有用信号的平均功率/噪声的平均功率3.主观质量度量:人的感觉MOS:mean opinion score.在语音评价过程中，主观的质量评价比较客观的质量评价更为恰当。2.3声音质量的度量（2）2.3声音质量的度量（3）o通常把声音的质量分为5个等级，由低到高分别是：电电话、调幅广播（话、调幅广播（AM）、调频广播）、调频广播(FM)、
20、光盘、光盘(CD)、数字录音带数字录音带(digital audio tape,DAT),它们使用的采样频率、样本精度、通道数和数据率如下表：2.4声音信号的编码（4）根据编码器的实现机理，根据编码器的实现机理，分成三大类分成三大类波形编码波形编码参数编码参数编码混合编码混合编码p语音编码分类语音编码分类2.4声音信号的编码（5）o波形编码（或非参数编码）波形编码（或非参数编码）语音编码系统早期语音编码系统早期用的是波形编码方法。用的是波形编码方法。目的：目的：力图使重建的语音波形保持原语音信号的力图使重建的语音波形保持原语音信号的波形形状波形形状。这种编码器是把语音信号当成一般的波形信号来处
21、理，而并未这种编码器是把语音信号当成一般的波形信号来处理，而并未考虑语音信号的冗佘度。考虑语音信号的冗佘度。特点：特点：优点是具有较强的适应能力，有较好的合成语音质优点是具有较强的适应能力，有较好的合成语音质量，然而编码速率高（量，然而编码速率高（64Kbits），编码效率极低。），编码效率极低。o脉冲编码调制（脉冲编码调制（PCM）、自适应增量调制（）、自适应增量调制（ADM）、自适应）、自适应差分编码（差分编码（ADPCM）、自适应编码（）、自适应编码（APC）等都是属于波形）等都是属于波形编码（非参数编码）。编码（非参数编码）。o参数编码参数编码 提取语音的一些特征信息进行编码，在收端利
22、提取语音的一些特征信息进行编码，在收端利用这些特征参数合成语音。用这些特征参数合成语音。20世纪世纪30年代末年代末脉冲编码调制（脉冲编码调制（PCM，Pulse Code Modulation）原理和声码器）原理和声码器（Vocoder）概念被提出后，语音数字编码便一直）概念被提出后，语音数字编码便一直沿着这两个方向发展。沿着这两个方向发展。2.42.4声音信号的编码声音信号的编码声音信号的编码声音信号的编码（6 6）2.4 声音信号的编码声音信号的编码（7）pp声码器又称参数编码声码器又称参数编码声码器又称参数编码声码器又称参数编码（或模型编码），它主要是对提取的语音信号（或模型编码），它
23、主要是对提取的语音信号（或模型编码），它主要是对提取的语音信号（或模型编码），它主要是对提取的语音信号特征参数进行编码。特征参数进行编码。特征参数进行编码。特征参数进行编码。目的目的目的目的主要是使重建的语音信号具有尽可能高的主要是使重建的语音信号具有尽可能高的主要是使重建的语音信号具有尽可能高的主要是使重建的语音信号具有尽可能高的可懂度可懂度可懂度可懂度，而不是，而不是，而不是，而不是要求重建波形保持原语音波形的形状。因此，可能出现的情况是即要求重建波形保持原语音波形的形状。因此，可能出现的情况是即要求重建波形保持原语音波形的形状。因此，可能出现的情况是即要求重建波形保持原语音波形的形状。因
24、此，可能出现的情况是即使重建语音的可懂度高，但其时域波形与原语音的时域波形有较大使重建语音的可懂度高，但其时域波形与原语音的时域波形有较大使重建语音的可懂度高，但其时域波形与原语音的时域波形有较大使重建语音的可懂度高，但其时域波形与原语音的时域波形有较大的差别。的差别。的差别。的差别。优点优点优点优点是可达到极低的编码速率而语音依然可懂，编码速率可达是可达到极低的编码速率而语音依然可懂，编码速率可达是可达到极低的编码速率而语音依然可懂，编码速率可达是可达到极低的编码速率而语音依然可懂，编码速率可达到到到到8Kbit8Kbits s、4 48Kbit8Kbits s甚至更低。甚至更低。甚至更低。
25、甚至更低。缺点缺点缺点缺点是重建语音自然度低，韵律感差，合成语音质量差。声码是重建语音自然度低，韵律感差，合成语音质量差。声码是重建语音自然度低，韵律感差，合成语音质量差。声码是重建语音自然度低，韵律感差，合成语音质量差。声码器的典型代表是通道声码器、共峰声码器及线性预测声码器等。器的典型代表是通道声码器、共峰声码器及线性预测声码器等。器的典型代表是通道声码器、共峰声码器及线性预测声码器等。器的典型代表是通道声码器、共峰声码器及线性预测声码器等。20世纪世纪80年代至今，不仅声码器和波形编码器得到了很大发展，年代至今，不仅声码器和波形编码器得到了很大发展，并且还有一种全新的革命性编码方法被普遍
26、推广，这类编码器叫并且还有一种全新的革命性编码方法被普遍推广，这类编码器叫混合混合编码器编码器。这种编码器在传送器中对给定编码结构的所有可能性进行综合，这种编码器在传送器中对给定编码结构的所有可能性进行综合，找出输人语音的最好编码形式，并从这些可能性中发现输入语音的最找出输人语音的最好编码形式，并从这些可能性中发现输入语音的最优主观匹配，然后用数码表示这种主观匹配并发送到接收器。优主观匹配，然后用数码表示这种主观匹配并发送到接收器。利用线性预测、利用线性预测、VQ、ABS、感觉加权、后滤波等技术得到、感觉加权、后滤波等技术得到的多脉冲激励线性预测（的多脉冲激励线性预测（MPELP，Multi
27、Pulse Enspirit LinePrognosticate），规则脉冲激励线性预测（），规则脉冲激励线性预测（RPELP，Rule Pulse Enspirit Line Prognosticate），码本激励线性预测），码本激励线性预测（CELP，Code Enspirit Line Prognosticate）编码速率达到编码速率达到816Kbits甚至更底，甚至更底，其话音质量高、编码速率低，但算法复杂。其话音质量高、编码速率低，但算法复杂。2.42.4声音信号的编码声音信号的编码声音信号的编码声音信号的编码（8 8）2.5电子乐器数字接口MIDI（1）p声音的符号化声音的符号化
28、波形声音可以把音乐、语音都进行数据波形声音可以把音乐、语音都进行数据化并且表示出来，但是并没有把它看成音乐化并且表示出来，但是并没有把它看成音乐和语音。和语音。对于声音的符号化（也可以称为抽象化）对于声音的符号化（也可以称为抽象化）表示包括两种类型：一种是音乐，一种是语表示包括两种类型：一种是音乐，一种是语音。音。2.5电子乐器数字接口MIDI（2）1）音乐的符号化）音乐的符号化MIDI MIDI(Music Instrument Digital Interface)是指乐器数字接口是指乐器数字接口的国际标准。的国际标准。MIDI的的关键关键是作为媒体能够记录这些音乐的符号，相应的是作为媒体能
29、够记录这些音乐的符号，相应的设备能够产生和解释这些符号。它给出了一种得到音乐声音的方设备能够产生和解释这些符号。它给出了一种得到音乐声音的方法。法。MIDI规定了数字乐器接口的国际标准，它定义了不同厂家规定了数字乐器接口的国际标准，它定义了不同厂家的乐器连接到计算机的电缆和的乐器连接到计算机的电缆和硬件的规范硬件的规范，它定义了从一个设备，它定义了从一个设备向另一个设备传送数据的向另一个设备传送数据的通信接口通信接口。任何电子乐器，只要有处理任何电子乐器，只要有处理MIDI消息的微处理器和合适的硬消息的微处理器和合适的硬件接口，就构成了一个件接口，就构成了一个MIDI设备。当一组设备。当一组M
30、IDI消息通过音乐合成消息通过音乐合成芯片处理时，合成器能解释这些符号并且产生音乐。芯片处理时，合成器能解释这些符号并且产生音乐。2.5电子乐器数字接口MIDI（3）pMIDI术语术语nMIDI消息消息：指乐谱的数字描述，实际上是一段对：指乐谱的数字描述，实际上是一段对音乐音乐的符号描述。的符号描述。nMIDI设备设备：任何电子乐器，只要有处理任何电子乐器，只要有处理MIDI消息的微消息的微处理器和合适的硬件接口，就构成了一个处理器和合适的硬件接口，就构成了一个MIDI设备。设备。当一组当一组MIDI消息通过音乐合成芯片处理时，合成器能消息通过音乐合成芯片处理时，合成器能解释这些符号并且产生音
31、乐。解释这些符号并且产生音乐。复音复音：是指一个合成器每次可支持的最多音符个数。：是指一个合成器每次可支持的最多音符个数。音色音色：音色就是音质，指与某特定的乐器相关联的特有：音色就是音质，指与某特定的乐器相关联的特有的声音。的声音。2.5电子乐器数字接口MIDI（4）oMIDI文件文件：记录：记录MIDI信息的标准文件格式。信息的标准文件格式。MIDI文件中包含音符、定时和多达文件中包含音符、定时和多达16个通道的乐器定义。个通道的乐器定义。文件中含有每个音符的信息，包括键、通道号、持续时文件中含有每个音符的信息，包括键、通道号、持续时间、音量和力度等。间、音量和力度等。MIDI文件中包含了
32、一连串的文件中包含了一连串的MIDI信息，信息，MIDI信息由若干个字节组成。下表为信息由若干个字节组成。下表为MIDI信息标准。信息标准。2.5电子乐器数字接口MIDI（5）通常第一个字节为状态字节，其高位为通常第一个字节为状态字节，其高位为1，数据字，数据字节高位为节高位为0。例如信息：。例如信息：9nkkvv，9表示音乐起始，表示音乐起始，n表示通道号（表示通道号（015），），kk表示键编号（表示键编号（0127），），vv表示速度（表示速度（0127）。）。2.5电子乐器数字接口MIDI（6）oMIDI的通道概念 单个物理MIDI通道分为16个逻辑通道，每个逻辑通道可指定一种乐器。M
33、IDI键盘可设置在这16个通道中的任何一个，MIDI合成器可以被设置在指定的通道上接受。通道的编码为015，0通道为基本通道。2.5电子乐器数字接口MIDI（7）oMIDI的物理接口标准 各个MIDI设备通过专用的串行电缆(MIDI线)连接，并以 31.25 kbps（每字节10位）的速度传送着数字音乐信息。Thru Out InoMPC的声卡上包含一个内部合成器和标准的的声卡上包含一个内部合成器和标准的三类三类MIDI接口：接口：n从从MIDI设备接收信息的设备接收信息的MIDI输入，输入，n向向MIDI设备发送信息的设备发送信息的MIDI输出，输出，n从从MIDI设备输入并转到其他设备输入
34、并转到其他MIDI设备的设备的MIDIthru。2.52.5电子乐器数字接口电子乐器数字接口电子乐器数字接口电子乐器数字接口MIDI MIDI（8 8）2.5电子乐器数字接口MIDI（9）oo最常用的最常用的最常用的最常用的MIDIMIDIMIDIMIDI设备连接方法，设备连接方法，设备连接方法，设备连接方法，是用一根是用一根MIDIMIDI电缆将电缆将演奏演奏控制器控制器的的MIDI OUTMIDI OUT端口与端口与计算机计算机(内有音序器内有音序器)的的MIDI MIDI ININ端口相连接，同时用另一根端口相连接，同时用另一根MIDIMIDI电缆将计算机的电缆将计算机的MIDI MID
35、I OUTOUT端口与端口与音源音源MIDI INMIDI IN端口相连接，这样由演奏控制器端口相连接，这样由演奏控制器发出的演奏信息便可被计算机接收和存储，经过处理后发出的演奏信息便可被计算机接收和存储，经过处理后送到音源去演奏。送到音源去演奏。pMIDI声音与波形数字音频的比较声音与波形数字音频的比较文件内容不同文件内容不同：弹奏指令声音波形本身弹奏指令声音波形本身存储容量不同：存储容量不同：半小时半小时16位立体声音，位立体声音，MIDI数据为数据为200KB，无，无压缩的波形音频为压缩的波形音频为300MB，相差，相差1500倍之多。倍之多。可处理声音不同：可处理声音不同：波形音频可处
36、理各类声音，包括语音、自然声音、波形音频可处理各类声音，包括语音、自然声音、音乐等，而音乐等，而MIDI只适合于电子合成乐只适合于电子合成乐可编辑性不同：可编辑性不同：在音序器的帮助下，可灵活编辑在音序器的帮助下，可灵活编辑MIDI，自由改变，自由改变音调、音色等，而波形较困难。音调、音色等，而波形较困难。使用方式不同：使用方式不同：MIDI可用于长时间的音乐、伴乐、背景音效等。可用于长时间的音乐、伴乐、背景音效等。波形音频常用于语音表现，文语转换等（波形音频常用于语音表现，文语转换等（TTS）。）。2.52.5电子乐器数字接口电子乐器数字接口电子乐器数字接口电子乐器数字接口MIDI MIDI
37、（1010）pMIDI音乐合成音乐合成使用电子元器件（计算机）生成音乐的技术称为电使用电子元器件（计算机）生成音乐的技术称为电子音乐合成。子音乐合成。MIDI文件文件音序器音序器合成器合成器扬声器扬声器2.52.5电子乐器数字接口电子乐器数字接口电子乐器数字接口电子乐器数字接口MIDI MIDI（1111）2.5电子乐器数字接口MIDI（12）oMIDI文件：记录存储文件：记录存储MIDI信息的标准文件格式信息的标准文件格式MIDI信息：一段音乐的描述，乐谱的数字描述，弹奏指令信息：一段音乐的描述，乐谱的数字描述，弹奏指令（音符的信息包括按键、通道号、持续时间、音量和力度等）（音符的信息包括按
38、键、通道号、持续时间、音量和力度等）o音序器（音序器（Sequencer）:用于记录、编辑、播放用于记录、编辑、播放 MIDI文件，输入并输出文件，输入并输出MIDI信息，分为软件音序器与硬件信息，分为软件音序器与硬件音序器。音序器。o合成器：接收数字音频，生成模拟信号波形合成器：接收数字音频，生成模拟信号波形FM调频合成波表合成（调频合成波表合成（Wave Table）音乐合成器有许多不同的类型和芯片集。音乐合成器有许多不同的类型和芯片集。2.5电子乐器数字接口MIDI（13）MIDI的特点：的特点：p与波形声音相比，与波形声音相比，MIDI不是声音数据而是指令，所以不是声音数据而是指令，所
39、以数据量要少得多。数据量要少得多。30分钟的音乐，分钟的音乐，用用MIDI文件记录只文件记录只需需200KB，用用16位位CD品质的未压缩品质的未压缩WAV文件记录需文件记录需317MBp MIDI可以与其他波形声音配合使用，形成伴乐的效果。可以与其他波形声音配合使用，形成伴乐的效果。而两个波形声音一般是不能同时使用的而两个波形声音一般是不能同时使用的p对对MIDI的编辑也很灵活，用户可以自由地改变音调、的编辑也很灵活，用户可以自由地改变音调、音色等属性，直到自己想要的效果音色等属性，直到自己想要的效果p MIDI在音质上还不能与真正的乐器完全相似。无法模在音质上还不能与真正的乐器完全相似。无
40、法模拟自然界中其它非乐曲类声音拟自然界中其它非乐曲类声音2.5电子乐器数字接口MIDI（14）2）语音的符号化）语音的符号化 语音与文字是对应的。波形声音可以记录表示语音与文字是对应的。波形声音可以记录表示语音，它是不是语音取决于听者对声音的理解。对语音，它是不是语音取决于听者对声音的理解。对语音的符号化实际上就是对语音的识别，将语音转语音的符号化实际上就是对语音的识别，将语音转变为字符，反之也可以将文字合成语音。变为字符，反之也可以将文字合成语音。语音指构成人类语音信号的各种声音。在采集语音指构成人类语音信号的各种声音。在采集和存储上可以与波形声音一样，但由于语音是由一和存储上可以与波形声音
41、一样，但由于语音是由一连串的音素组成。连串的音素组成。“一句话一句话”中包含许多音节以及中包含许多音节以及上下文过渡过程的连接体等特殊的信息，并且语音上下文过渡过程的连接体等特殊的信息，并且语音本身与语言有关，所以要把它作为一个独立的媒体本身与语言有关，所以要把它作为一个独立的媒体来看待。来看待。2.6音频媒体的三维化处理（1）1三维虚拟声空间三维虚拟声空间 虚虚拟拟听听觉觉空空间间就就是是在在虚虚拟拟环环境境中中加加入入与与视视觉觉并并行行的的三三维维虚虚拟拟声声音音，使使收收听听者者在在模模拟拟环环境境中中收收听听到到的的声声信号逼近在真实环境声场中收听到的声信号。信号逼近在真实环境声场中
42、收听到的声信号。三三维维虚虚拟拟声声空空间间（Three Dimensional Virtual Acoustic，3DVA），是是指指用用一一定定的的声声音音设设备备人人为为地地产产生出来的具有空间位的、声音空间。生出来的具有空间位的、声音空间。2.6音频媒体的三维化处理（2）三三维维听听觉觉的的使使用用明明显显地地依依赖赖于于用用户户对对听听觉觉空空间间中中各各种种信信息息源源的的定定位位能能力力。一一般般说说来来，三三维维虚虚拟拟声声空空间间要要达到以下的一些目标：达到以下的一些目标：p在可听的范围内重现在可听的范围内重现频率分辨度和动态范围频率分辨度和动态范围；p在三维空间中精确地呈现
43、在三维空间中精确地呈现声音的位置信息声音的位置信息；p能表达能表达多个静止和移动的声源多个静止和移动的声源；p能和能和头部的动作头部的动作具有一定的关联；具有一定的关联；p能够支持一定程度的能够支持一定程度的交互交互。2.6音频媒体的三维化处理（3）23DVA的基本理论的基本理论 人类感知声源位置的最基本的理论是双工理论，该人类感知声源位置的最基本的理论是双工理论，该理论基于两种因素：理论基于两种因素：n两耳间声音的到达时间差两耳间声音的到达时间差ITD（Interaural Time Differences）n两耳间声音的强度差两耳间声音的强度差IID（Interaural Intensit
44、y Differences）时间差时间差是由于距离的原因造成的，当声音从正面传来时，距离是由于距离的原因造成的，当声音从正面传来时，距离相等，所以没有时间差；但若偏右相等，所以没有时间差；但若偏右3o，则到达右耳的时间就要比左，则到达右耳的时间就要比左耳约早耳约早30ms，而正是这，而正是这30ms，使我们辨别出了声源的位置。，使我们辨别出了声源的位置。强度差强度差是由于信号衰减造成的，信号的衰减是因为距离产生的，是由于信号衰减造成的，信号的衰减是因为距离产生的，在很多情况下是因为人的头部遮挡，使声音衰减，产生了强度的在很多情况下是因为人的头部遮挡，使声音衰减，产生了强度的差别，使靠近声源一侧
45、的耳朵听到的声音强度要大于另一耳。差别，使靠近声源一侧的耳朵听到的声音强度要大于另一耳。双工理论双工理论(Duplex Theory)-人类感知声源位置的最基本的理论人类感知声源位置的最基本的理论 两耳间的时间差(ITD,Interaural Time Differences)：nITD（3*头部的半径*100/声音速度）*Sin(方位角)f 4kHz 方位角是人头部相对声源的角度。Example:方位角45，高频，头部半径9cm，声音速度343m/s。则：ITD0.037107s（模拟）把给右耳送声音之后隔37.1ms再给左耳 送声音。ITD2.62.6音频媒体的三维化处理音频媒体的三维化处
46、理音频媒体的三维化处理音频媒体的三维化处理（4 4）双工理论双工理论两耳间的强度差(Interaural Intensity Differences)IID1.0(f/1000)0.8*Sin(方位角)其中f是频率。理想条件：无反射、无折射、单频率理想条件：无反射、无折射、单频率实际情况：复杂、双工理论无法区分前后、垂直平面实际情况：复杂、双工理论无法区分前后、垂直平面ITD信号的衰减造成3DVA理论较形象地说明：人耳对声音定位的特性，通过大理论较形象地说明：人耳对声音定位的特性，通过大脑的综合作用后，对有差别的声音信号进行了相对于空间位脑的综合作用后，对有差别的声音信号进行了相对于空间位置的
47、定位。置的定位。2.62.6音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理（5 5）3.HRTF（Head-Related Transfer Function）方法方法生理学与心理学的研究表明：人耳对声源方位的判定起决定作用的是耳廓声音信号的两个重要信息：空间真实感与环境真实感 美国NASAAmes研究中心音响实验室：在人的头部和耳廓的作用下，声波的时域与频域，对两耳都不同实现空间真实感的实现空间真实感的关键是：关键是：建立耳廓模型，建立耳廓模型，“双耳相关函数法双耳相关函数法”，利用，利用HRTF算法来实算法来实现三维虚拟声音现三维虚拟声音HRTF：与头部有
48、关的转移函数。：与头部有关的转移函数。HRTF是一种声音定位的处理技术，由于声音会从耳廓、或肩膀反射到人耳内部，所以其算法与处理的原理非常复杂。2.62.6音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理（6 6）HRTF是从测量声音强度开始的，它测量了在十分精确的角度下声音频率对声音强度变化的影响。当声音频率变化时，在听者的耳中的微型麦克风拾取了原始声音的改变信息，在一个频率范围内的全部变化就被称为“转移函数”测量一个位置的频率变化，以及多个位置的转移函数作为合成声激励的滤波器的基础把单音变成虚拟声2.62.6音频媒体的三维化处理音频媒体的三维化处理音频媒体的
49、三维化处理音频媒体的三维化处理（7 7）因此，在利用因此，在利用HRTF进行虚拟声音的产生时，不同的算法其效果差异进行虚拟声音的产生时，不同的算法其效果差异很大，而且，随着具体听者的不同，其效果也会有所不同。因此，有的很大，而且，随着具体听者的不同，其效果也会有所不同。因此，有的标准如标准如A3D3.0支持个人化的支持个人化的HRTF设置（即根据自己头部的形状来下载设置（即根据自己头部的形状来下载HRTF设置库），从而达到最好效果的虚拟声音空间。设置库），从而达到最好效果的虚拟声音空间。左图是左图是F.Wightman和和D.Kistler通通过实验测量所得到的过实验测量所得到的HRTF（幅度
50、（幅度部分）的例子。在高频（部分）的例子。在高频（f5KHz)的情况，曲线的峰和谷是由耳壳的情况，曲线的峰和谷是由耳壳散射所引起的。值得注意的是，散射所引起的。值得注意的是，对不同的倾听者，曲线的高频部对不同的倾听者，曲线的高频部分相差较大，峰谷的位置互不相分相差较大，峰谷的位置互不相同。这是因为人的耳壳形状的差同。这是因为人的耳壳形状的差别所致。别所致。图 实验测量所得的三个不同倾听者的HRTF曲线2.62.6音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理（8 8）从理论上利用从理论上利用HRTF产生真实空间声音的产生真实空间声音的算法如左图所示。算法如左图