《第5讲第二章 数字音频处理技术2精选PPT.ppt》由会员分享，可在线阅读，更多相关《第5讲第二章 数字音频处理技术2精选PPT.ppt（25页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第5讲第二章 数字音频处理技术2第1页，本讲稿共25页数字音频处理技术数字音频处理技术基本概念基本概念 声音概念声音概念 声音频率分布声音频率分布 音质与数据量音质与数据量 数字音频文件的种类数字音频文件的种类音频数字化音频数字化 声音的采样量化声音的采样量化 采样过程简介采样过程简介MIDI 音频音频 MIDI文件与文件与WAV文件文件 MIDI音频数字化音频数字化 MIDI 音频处理音频处理主要内容主要内容主要内容主要内容 计算机音乐计算机音乐处理声音处理声音 转换采样频率转换采样频率 GoldWave软件软件 设定编辑区域设定编辑区域 简单编辑简单编辑 使用剪贴板使用剪贴板 合成声音合成
2、声音 增加效果增加效果 调整固有音量调整固有音量2第2页，本讲稿共25页数字音频处理技术数字音频处理技术数字音频处理技术数字音频处理技术教学要求教学要求教学要求教学要求1.1.了解声音的基本特点；了解声音的基本特点；2.2.了解声音采样、量化与编码的处理过程；了解声音采样、量化与编码的处理过程；3 3掌握数字音频中采样频率、量化精度和声道的概念；掌握数字音频中采样频率、量化精度和声道的概念；4.4.掌握数字音频文件的存储；掌握数字音频文件的存储；5.5.掌握数字音频文件数据量的计算方法；掌握数字音频文件数据量的计算方法；6.6.掌握掌握Gold WaveGold Wave的基本使用方法，能够利
3、用其采集、编辑和的基本使用方法，能够利用其采集、编辑和合成数字音频；合成数字音频；7.7.了解了解MIDIMIDI的有关概念以及计算机音乐合成基本思想；的有关概念以及计算机音乐合成基本思想；8.8.掌握掌握WAVEWAVE文件与文件与MIDIMIDI文件的区别。文件的区别。3第3页，本讲稿共25页MIDI 音频音频MIDI定义定义MIDI Musical Instrument Digital Interface 乐器数字化接口乐器数字化接口 用于在音乐合成器、乐器和计算机之间交换音乐信息的一种用于在音乐合成器、乐器和计算机之间交换音乐信息的一种标准协议。标准协议。将乐器演奏时的音高、音长和力度
4、等指令信息通过将乐器演奏时的音高、音长和力度等指令信息通过MIDIMIDI控制器输入计控制器输入计算机，以文件的形式存储。回放时经过合成器把指令信息转换成声音信号，再由混音算机，以文件的形式存储。回放时经过合成器把指令信息转换成声音信号，再由混音器生成声波。器生成声波。使用计算机利用声音合成技术生成音乐的技术称为电子音乐合使用计算机利用声音合成技术生成音乐的技术称为电子音乐合成。成。电子音乐合成电子音乐合成4第4页，本讲稿共25页MIDI文件与文件与WAV文件比较文件比较MIDI指令指令 MID数据是一套指令，它指示乐器即数据是一套指令，它指示乐器即MIDI设备做了什么，怎么做的，如演奏设备做
5、了什么，怎么做的，如演奏音符、加大音量、生成音响效果等。音符、加大音量、生成音响效果等。MIDI文件文件 MID文件是文件是MIDI指令的集合，文件后缀指令的集合，文件后缀.MID，记录乐曲演奏的音，记录乐曲演奏的音符和乐器，而不是乐曲本身，所以符和乐器，而不是乐曲本身，所以MIDI音频的存储量较小，音频的存储量较小，1小时的小时的乐曲其乐曲其MIDI文件数据为文件数据为1MB。WAVWAV文件文件特点：特点：1 1 真实记录自然声波形真实记录自然声波形 2 2 使用设备录制声音使用设备录制声音 3 3 数据量大数据量大STOPSTOPMIDIMIDI文件文件特点：特点：1 1 纪录音符、时值
6、、通道纪录音符、时值、通道 2 2 使用电子键盘乐器使用电子键盘乐器 3 3 数据量小数据量小STOPSTOP5第5页，本讲稿共25页MIDI有关概念有关概念演奏控制器演奏控制器 演奏控制器是一种输入和记录实时乐曲演奏信息的设备，例如：钢琴模拟键演奏控制器是一种输入和记录实时乐曲演奏信息的设备，例如：钢琴模拟键盘、电子琴、电子吉它、电子手风琴等。盘、电子琴、电子吉它、电子手风琴等。音序器是一种记录、编辑和生成音序器是一种记录、编辑和生成MIDI文件的软件。它将乐曲的文件的软件。它将乐曲的数字化信息按时间或节拍顺序记录下来，根据用户的要求进行编辑、数字化信息按时间或节拍顺序记录下来，根据用户的要
7、求进行编辑、修改或创作修改或创作MIDI文件。最后把文件。最后把MIDI文件送到合成器，经合成后自动文件送到合成器，经合成后自动演奏播放。演奏播放。音序器音序器合成器合成器 合成器是一种将合成器是一种将MIDI文件中的数字信号转换成声音波形的电子设备。文件中的数字信号转换成声音波形的电子设备。常用的常用的MIDI合成器有合成器有FM合成器和合成器和WAVETABLE合成器二种类型。合成器二种类型。6第6页，本讲稿共25页MIDI有关概念有关概念通道通道 通道是一种音乐信息的传输路线。每个通道可以传输一种乐器的音符信通道是一种音乐信息的传输路线。每个通道可以传输一种乐器的音符信息。息。单个物理单
8、个物理MIDI通道通道(MIDI channel)分成分成16个逻辑通道，每个逻辑通道可个逻辑通道，每个逻辑通道可指定一种乐器，如图所示。在指定一种乐器，如图所示。在MIDI信息信息(MIDI messages)中，用中，用4个二进制个二进制位来表示这位来表示这16个逻辑通道。音乐键盘可设置在这个逻辑通道。音乐键盘可设置在这16个通道之中的任何一个，个通道之中的任何一个，而而MIDI声源或者声音模块可被设置在指定的声源或者声音模块可被设置在指定的MIDI通道上接收。通道上接收。7第7页，本讲稿共25页MIDI有关概念有关概念 MIDI接口标准接口标准 各个各个MIDI设备通过专用的串行电缆设备
9、通过专用的串行电缆(MIDI线线)连接，连接，并以并以 31.25 KBPS 的速度传送着数字音乐信息。的速度传送着数字音乐信息。MIDIThru Out In MIDI数据流是单向异步的数据位流数据流是单向异步的数据位流(bit stream)，其速率为，其速率为31.25 kbps，每个字，每个字节为节为10位位(1位开始位，位开始位，8位数据位和位数据位和1位停止位位停止位)。8第8页，本讲稿共25页数字音乐合成技术数字音乐合成技术 FM Synthesis，调频合成法调频合成法 FM合成是通过振荡器产生正弦波，然后再叠加成各种乐器的波形。合成是通过振荡器产生正弦波，然后再叠加成各种乐器
10、的波形。由于振荡器成本较高，即使是由于振荡器成本较高，即使是OPL3这类高档的这类高档的FM合成器也只提合成器也只提供了供了4个振荡器，仅能产生个振荡器，仅能产生20种复音。因此种复音。因此MIDI音乐听起来生硬呆板，音乐听起来生硬呆板，带有明显的人工合成色彩，即所谓的电子声。带有明显的人工合成色彩，即所谓的电子声。Wavetable Synthesis，波表合成法，波表合成法 波表合成是采用真实的声音样本进行回放。声音样本记录了各种波表合成是采用真实的声音样本进行回放。声音样本记录了各种真实乐器的波形采样，并保存在声卡上的真实乐器的波形采样，并保存在声卡上的ROM或或RAM中。中。通过波表合
11、成的声音比通过波表合成的声音比FM合成的声音更为丰富和真实，但由于需合成的声音更为丰富和真实，但由于需要额外的存储器贮存音色库，因此成本也较高。而且音色库越大，所要额外的存储器贮存音色库，因此成本也较高。而且音色库越大，所需的存储器就越多，相应地成本也就越高。需的存储器就越多，相应地成本也就越高。9第9页，本讲稿共25页用用PC机构造的机构造的MIDI系统系统 在这个系统中，在这个系统中，PC机使用内置的机使用内置的MIDI接口卡，用来把接口卡，用来把MIDI数据发送到数据发送到外部的多音色外部的多音色MIDI合成器模块。像多媒体演示程序、教育软件或者游戏合成器模块。像多媒体演示程序、教育软件
12、或者游戏等应用软件，它们把信息通过等应用软件，它们把信息通过PC总线发送到总线发送到MIDI接口卡。接口卡。MIDI接口卡把信接口卡把信息转换成息转换成MIDI消息消息(MIDI messages)，然后送到多音色声音模块同时播放出许多，然后送到多音色声音模块同时播放出许多不同的乐音，例如钢琴声、低音和鼓声。不同的乐音，例如钢琴声、低音和鼓声。MIDI接口和接口和MIDI声音模块组合在声音模块组合在PC声卡声卡上。称为合成器上。称为合成器(synthesizer)。10第10页，本讲稿共25页MIDIMIDI音乐的合成处理过程音乐的合成处理过程 多媒体个人计算机多媒体个人计算机MPC(Mult
13、imedia PC)规范就要求规范就要求PC声卡上必须有这声卡上必须有这样的声音模块，称为合成器样的声音模块，称为合成器(synthesizer)。作曲软件作曲软件电子乐器电子乐器MIDI合成器合成器波表合成波表合成MIDI消息消息调频合成调频合成音响设备音响设备音源音源演奏控制器演奏控制器合成器合成器混频器混频器录制录制编辑编辑转换转换播放播放11第11页，本讲稿共25页计算机音乐计算机音乐计算机音乐计算机音乐 计算机音乐是由音序器创作、修改和编辑乐谱，经过合成器把数字乐谱变换成模拟声计算机音乐是由音序器创作、修改和编辑乐谱，经过合成器把数字乐谱变换成模拟声音波形，再经过混频器混合后送到音箱
14、播放出音乐。音波形，再经过混频器混合后送到音箱播放出音乐。计算机音乐系统组成的三要素为：计算机音乐系统组成的三要素为：演奏控制器、音源和演奏控制器、音源和MIDI接口接口计算机演奏音乐计算机演奏音乐 可以利用计算机，通过波形组合或声音取样来构造发音的键盘乐可以利用计算机，通过波形组合或声音取样来构造发音的键盘乐器，它可以将其中的声音加以改造、重组并创造新的音色。如用器，它可以将其中的声音加以改造、重组并创造新的音色。如用VB程序实现的电子琴程序。程序实现的电子琴程序。12第12页，本讲稿共25页计算机音乐计算机音乐计算机音乐计算机音乐计算机创作音乐计算机创作音乐 可以利用计算机，通过波形组合或
15、声音取样来构造各种发音乐器，它可以将各种可以利用计算机，通过波形组合或声音取样来构造各种发音乐器，它可以将各种声音加以组合、混响来创造新的音乐。如用声音加以组合、混响来创造新的音乐。如用VB程序实现的打鼓音序器程序。程序实现的打鼓音序器程序。13第13页，本讲稿共25页计算机音乐计算机音乐计算机音乐计算机音乐计算机作曲计算机作曲 可以利用计算机，通过波形组合或声音取样来构造各种音符发音，通过软件编辑可以利用计算机，通过波形组合或声音取样来构造各种音符发音，通过软件编辑曲谱，试听各种音乐效果，来创造新的乐曲。如用最简单的作曲软件曲谱，试听各种音乐效果，来创造新的乐曲。如用最简单的作曲软件Muse
16、。14第14页，本讲稿共25页第五讲思考题（对应书中第六章）（对应书中第六章）第15页，本讲稿共25页数据压缩技术数据压缩技术基本概念基本概念 信息熵信息熵概念概念 数据压缩必要性数据压缩必要性 数据压缩条件数据压缩条件 数据冗余数据冗余 数据压缩算法性能指标数据压缩算法性能指标 数据压缩算法分类数据压缩算法分类 统计编码统计编码 行程长度压缩行程长度压缩 霍夫曼编码霍夫曼编码 算术编码算术编码 词典编码词典编码主要内容主要内容主要内容主要内容 预测编码预测编码 变换编码变换编码JPEG 编码编码 JPEG三个标准三个标准 JPEG编码和解码模型编码和解码模型 离散余弦变换离散余弦变换 量化量
17、化 DC和和AC系数的编码系数的编码 熵编码熵编码MPEG 编码编码16第16页，本讲稿共25页数据压缩技术数据压缩技术教学要求教学要求教学要求教学要求1.了解常见的多媒体数据压缩编码的原理了解常见的多媒体数据压缩编码的原理2.了解动态图象压缩编码标准了解动态图象压缩编码标准MPEG3.理解行程长度编码、预测编码和变换编码原理理解行程长度编码、预测编码和变换编码原理 4.掌握信息熵的概念掌握信息熵的概念5.掌握信息冗余的基本概念和分类掌握信息冗余的基本概念和分类6.掌握多媒体数据压缩码的必要性、可能性及分类掌握多媒体数据压缩码的必要性、可能性及分类7.掌握哈夫曼编码的原理和算法掌握哈夫曼编码的
18、原理和算法8.掌握掌握JPEG压缩编码的原理和算法压缩编码的原理和算法 17第17页，本讲稿共25页信息熵信息熵 熵熵(Entropy)的概念的概念 熵是信息量的度量方法，它表示某一事件出现的消息越多，事件发生的可能性熵是信息量的度量方法，它表示某一事件出现的消息越多，事件发生的可能性就越小，数学上就是概率越小。某个事件的信息量用就越小，数学上就是概率越小。某个事件的信息量用I Ii i=log=log2 2 P Pi i 表示表示 ，其中，其中P Pi i为第为第i i个事件的概率，个事件的概率，0P0Pi i 1 1。编码器编码器信源（消息集）信源（消息集）编码输出集编码输出集X=xX=x
19、1 1,x,xn n Z=zZ=z1 1,z,zn n 符号集符号集Am=aAm=a1 1,a,am m 信源信源X X的熵的定义的熵的定义 按照香农按照香农(Shannon)的理论，信源的理论，信源X的熵定义为的熵定义为其含义：其含义：信源信源X X发出任意一个随机变量的平均信息量。发出任意一个随机变量的平均信息量。18第18页，本讲稿共25页 信息信息熵的计算示例熵的计算示例 例：例：有一幅有一幅40个象素组成的灰度图像，灰度共有个象素组成的灰度图像，灰度共有5级，分别用符号级，分别用符号A、B、C、D和和E表示，表示，40个象素中出现灰度个象素中出现灰度A的象素数有的象素数有15个，出现
20、灰个，出现灰度度B的象素数有的象素数有7个，出现灰度个，出现灰度C的象素数有的象素数有7个等等，如表所示。如果用个等等，如表所示。如果用3个个位表示位表示5个等级的灰度值，也就是每个象素用个等级的灰度值，也就是每个象素用3位表示，编码这幅图像位表示，编码这幅图像总共需要总共需要120位。位。信息熵信息熵 H(S)=(15/40)log2(40/15)+(7/40)log2(40/7)+(7/40)log2(40/7)+(6/40)log2(40/6)+(5/40)log2(40/5)=2.196 这就是说每个符号用这就是说每个符号用2.196位表示，位表示，40个象素需用个象素需用87.84位
21、。位。符符 号号ABCDE出现的次数出现的次数157765表中是表中是 符号在图像中出现的数目符号在图像中出现的数目19第19页，本讲稿共25页1)文本文本 假设屏幕显示分辨率为假设屏幕显示分辨率为1024768，字符为，字符为1616点阵，点阵，每个字符用每个字符用4个字节表示，则显示一屏字符所需要的存储空间为：个字节表示，则显示一屏字符所需要的存储空间为：（1024/16）（768/16）4 B=12288 B（约合（约合12KB）多媒体信息的数据量多媒体信息的数据量2)图像图像 假定图像显示在假定图像显示在1024768分辨率的屏幕上，则满屏幕分辨率的屏幕上，则满屏幕 像点所占用的空间为
22、：像点所占用的空间为：1024768log2256=768 KB3)音频音频 假定模拟声音频率假定模拟声音频率22050 Hz，其数字采样频率，其数字采样频率44100 Hz，采样精度为采样精度为16bit，双声道立体声模式，则，双声道立体声模式，则1min所需数据量为：所需数据量为：44100Hz2B(16bit采样精度采样精度)2(双声道双声道)60s=10 MB/min4)视频视频 采用带宽为采用带宽为5MHz的的PAL制视频信号，扫描速度制视频信号，扫描速度25帧帧/s，样本宽度样本宽度24bit，采样频率最低，采样频率最低10MHz，则一帧数字化图像所占用的，则一帧数字化图像所占用的
23、 最少存储空间为：最少存储空间为：10(采样频率采样频率)25(扫描速度扫描速度)24(样本宽度样本宽度)=9.6Mbit(合合1.2 MB)20第20页，本讲稿共25页数据压缩条件数据压缩条件 数据存在冗余数据存在冗余 (重复数据、可忽略数据重复数据、可忽略数据)数据传输与存储空间的限制数据传输与存储空间的限制 (压缩压缩传输或存储传输或存储解压缩解压缩)44.1kHz/Stereo 1.3MB22.0kHz/Nomo 0.3MBStopStop重复数据重复数据可忽略数据可忽略数据 不敏感因素不敏感因素 (颜色、亮度、频率、细节颜色、亮度、频率、细节)224 颜色颜色(16,777,216色
24、色)28 颜色颜色(256色色)21第21页，本讲稿共25页数据冗余数据冗余冗余基本概念冗余基本概念 冗余冗余信息所具有的各种性质中多余的无用空间信息所具有的各种性质中多余的无用空间 冗余度冗余度多余的无用空间的程度多余的无用空间的程度I=D I=D duduI I信息量信息量 D D数据量数据量 dudu冗余量，包含在冗余量，包含在D D中中 信息量与冗余的关系信息量与冗余的关系 冗余举例冗余举例播音员播音员 180字字/分钟，分钟，2Byte一个字，一个字，360Byte(合合0.35KB/分钟分钟)音频数据音频数据8kHz采样采样8bit60秒秒=3840KBit(合合480KB/分钟分
25、钟)22第22页，本讲稿共25页冗余分类冗余分类1 1 空间冗余空间冗余规则物体的物理相关性规则物体的物理相关性2 2 时间冗余时间冗余视频与动画画面间的相关性视频与动画画面间的相关性3 3 统计冗余统计冗余具有空间冗余和时间冗余具有空间冗余和时间冗余6 6 视觉冗余视觉冗余视觉、听觉敏感度和非线性感觉视觉、听觉敏感度和非线性感觉7 7 知识冗余知识冗余凭借经验识别凭借经验识别4 4 结构冗余结构冗余规则纹理、相互重叠的结构表面规则纹理、相互重叠的结构表面5 5 信息熵冗余信息熵冗余编码冗余，数据与携带的信息编码冗余，数据与携带的信息8 8 其他冗余其他冗余上述上述7 7种以外的冗余种以外的冗
26、余1011 0001 11001011 0001 11001011 0001 11001011 0001 11000101 1010 10100101 1010 10101011 11001011 11000101 1111 10100101 1111 10102 22424色色2 28 8色色声音频率声音频率文字组句文字组句色彩渐变色彩渐变主观意识主观意识:多媒体信息中存在大量的冗余，数据压缩就存在了可能性，并且同时也表明了压多媒体信息中存在大量的冗余，数据压缩就存在了可能性，并且同时也表明了压缩的必要性。缩的必要性。23第23页，本讲稿共25页数据压缩算法性能指标数据压缩算法性能指标 压缩
27、比压缩比 压缩比指前后的文件数据量之比值。如压缩比指前后的文件数据量之比值。如JPEG标准对图象的压缩比可以标准对图象的压缩比可以达到达到50：1。自然压缩比越大越好。自然压缩比越大越好。信息质量信息质量 信息质量主要是指信息经过有损压缩、还原后的效果。信息质信息质量主要是指信息经过有损压缩、还原后的效果。信息质量的评估常采用主观评估和客观评估两种方法。量的评估常采用主观评估和客观评估两种方法。压缩与解压缩的速度压缩与解压缩的速度 压缩与解压缩的速度是两个独立指标，它与压缩方法有关，也压缩与解压缩的速度是两个独立指标，它与压缩方法有关，也与采用的算法有关。与采用的算法有关。需要的软、硬件支持需
28、要的软、硬件支持 一些复杂的压缩算法需要功能强大的硬件和软件支持才能执行，一些复杂的压缩算法需要功能强大的硬件和软件支持才能执行，特别是必须依靠专门的硬件的压缩方法，加大了压缩与解压缩系统特别是必须依靠专门的硬件的压缩方法，加大了压缩与解压缩系统的成本。的成本。24第24页，本讲稿共25页(1)(1)什么叫做什么叫做MIDIMIDI？分析？分析WAVEWAVE文件与文件与MIDIMIDI文件的区别。文件的区别。(2)(2)用自己的语言说明用自己的语言说明FMFM合成声音和波表合成声音的思合成声音和波表合成声音的思 想。想。(3)(3)数据冗余指的是什么？数据冗余指的是什么？(4)(4)常见的多媒体数据冗余的种类有哪些？常见的多媒体数据冗余的种类有哪些？(5)(5)试述多媒体数据压缩码的必要性。试述多媒体数据压缩码的必要性。(6)(6)多媒体数据压缩的性能指标有哪些？多媒体数据压缩的性能指标有哪些？(7)(7)有损压缩与无损压缩编码的区别是什么？有损压缩与无损压缩编码的区别是什么？思考题思考题25第25页，本讲稿共25页