《数字语音处理及MATLAB仿真.pptx》由会员分享，可在线阅读，更多相关《数字语音处理及MATLAB仿真.pptx（51页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、9.1 概述 语音合成是人机语声通信的一个重要组成部分，解决让机器像人那样说话的问题。最 早 的 合 成 器 是 1835年 由 W.von Kempelen发明，经Weston改进的机械式会讲话的机器。而最早的电子式语音合成器也是1939年Homer Dudley发明的声码器，它不是简单的模拟人的生理过程，而是通过电子线路来实现基于语音产生的源-滤波器理论。第1页/共51页 在语音合成技术发展中，早期研究主要是采用参数合成方法。1990年提出的基音同步叠加PSOLA方法，使基于时域波形拼接方法合成的语音音色和自然度大大提高。我国的汉语语音合成研究从80年代初就基本上与国际研究同步发展。大致也
2、经历了共振峰合成、LPC合成到应用PSOLA技术的过程。第2页/共51页9.2 语音合成的原理及分类 9.2.1 波形合成法 波形编码合成法是一种波形合成法，类似于语音编码中的波形编解码方法，该方法直接把要合成的语音的发音波形进行存储或者进行波形编码压缩后存储，合成重放时再解码组合输出。特点：所需的存储容量太大，词汇量不能很大；相对简单，通常只能合成有限词汇的语音段。目前用于自动报时、报站和报警等。第3页/共51页 另一种波形合成法是波形编辑合成，它把波形编辑技术用于语音合成，通过选取音库中采取自然语言的合成单元的波形，对这些波形进行编辑拼接后输出。它采用语音编码技术，存储适当的语音基元，合成
3、时，经解码、波形编辑拼接、平滑处理等输出所需的短语、语句或段落。第4页/共51页9.2.2 参数合成法 参数合成法也称为分析合成法。参数合成法也称为分析合成法。参参数数合合成成法法有有：发发音音器器官官参参数数合合成成和和声声道道模模型型参数合成。参数合成。发音器官参数合成法：发音器官参数合成法：是是对对人人的的发发音音过过程程直直接接进进行行模模拟拟。它它定定义义了了唇唇、舌舌、声声带带的的相相关关参参数数，如如唇唇开开口口度度、舌舌高高度度、舌舌位位置置、声声带带张张力力等等，由由发发音音参参数数估估计计声声道道截截面面积积函函数数，进而计算声波。进而计算声波。缺点：合成语音的质量不理想。
4、缺点：合成语音的质量不理想。第5页/共51页 参数合成方法的优点：音库一般较小，并且整个系统能适应的韵律特征的范围较宽，这类合成器比特率低，音质适中。缺点：算法复杂，参数多，并且在压缩比较大时，信息丢失亦大，合成出的语音总是不够自然、清晰。为了改善音质，近几年发展了混合编码技术，以改善激励信号的质量。第6页/共51页9.2.3 规则合成法 规则合成方法：一种高级的合成方法，通过语音学规则产生语音，可以合成无限词汇的语句。合成的词汇表不是事先确定，系统中存储的是最小的语音单位的声学参数，以及由音素组成音节、由音节组成词、由词组成句子和控制音调、轻重音等韵律的各种规则。算法中，用于波形拼接和韵律控
5、制的较有代表性的算法是基音同步叠加PSOLA技术。第7页/共51页9.2.3 规则合成法 基音同步叠加基音同步叠加PSOLA技术技术主要特点：主要特点：在在语语音音波波形形片片断断拼拼接接之之前前，首首先先根根据据语语义义，用用PSOLA算算法法对对拼拼接接单单元元的的韵韵律律特特征征进进行行调调整整，使使合合成成波波形形既既保保持持了了原原始始语语音音基基元元的的主主要要音音段段特特征征，又又使使拼拼接接单单元元的的韵韵律律特特征征符符合合语语义义，从从而而获获得得很很高高的的可懂度和自然度。可懂度和自然度。第8页/共51页项目项目波形合成方式波形合成方式参数合成方式参数合成方式按规则合成方
6、式按规则合成方式语音语音质量质量可懂度可懂度高高高高中中自然度自然度高高中中低低词汇量词汇量小（小（500字以下）字以下）大（数千字）大（数千字）无限无限合成方法合成方法PCM,ADPCMLPC,LSP,共振峰共振峰LPC,LSP共振峰共振峰数码率数码率9.664kbit/s 2.49.6 kbit/s5075 kbit/s1兆比特可合成兆比特可合成的语音长度的语音长度15秒秒100秒秒100秒秒7分分无限无限合成基元合成基元音节、词组、句音节、词组、句子子音节、词组、句子音节、词组、句子音素、双音素、音音素、双音素、音节节装置装置简单简单比较复杂比较复杂复杂复杂硬件主体硬件主体存储器存储器存
7、储器和处理器存储器和处理器处理器处理器表表9.1 三种语音合成方式的比较三种语音合成方式的比较第9页/共51页9.3 共振峰合成法 共振峰合成理论中声道参数、声道谐振特性一直是研究的重点。共振峰合成模型是把声道视为一个谐振腔，利用腔体的谐振特性，如共振峰频率及带宽，以此为参数构成一个共振峰滤波器。因为音色各异的语音有不同的共振峰模式，以每个共振峰频率及其宽带为参数，可以构成一个共振峰滤波器。第10页/共51页9.3 共振峰合成法 共振峰语音合成器的构成原理：将多个共振峰滤波器组合起来模拟声道的传输特性，对激励声源发生的信号进行调制，经过辐射得到合成语音。基于共振峰的理论有三种实用模型。第11页
8、/共51页9.3.1 级联型共振峰模型 在该模型中，声道被认为是一组串联的二阶谐振器，共振峰滤波器首尾相接，其传递函数为各个共振峰的传递函数相乘的结果。第12页/共51页激励源激励源V1V2-V5辐射模型辐射模型 语音语音G一个五个极点的共振峰级联模型如下一个五个极点的共振峰级联模型如下图图9.2 共振峰级联模型共振峰级联模型五个极点的共振峰级联模型传递函数为：五个极点的共振峰级联模型传递函数为：即：即：式中，式中，G为增益因子。为增益因子。第13页/共51页9.3.2 并联型共振峰模型 在并联型模型中，输入信号先分别进行幅度调节，再加到每一个共振峰滤波器上，然后将各路的输出叠加起来。其传递函
9、数为其传递函数为:第14页/共51页 上式可分解成以下部分分式之和：其中Al为各路的增益因子。第15页/共51页下图就是一个M=5的并联型共振峰模型。激励源激励源+辐射模型辐射模型语音语音图图9.3 并联型共振峰模型并联型共振峰模型第16页/共51页9.3.3 混合型共振峰模型 比较以上两种模型，对于大多数的元音，级联型合乎语音产生的声学理论，并且无需为每一个滤波器分设幅度调节；而对于大多数清擦音和塞音，并联型则比较合适，但是其幅度调节很复杂。于是考虑将两者结合在一起，提出了混和型共振峰模型。第17页/共51页混和型共振峰模型如下图所示：混和型共振峰模型如下图所示：图图9.4 混和型共振峰模型
10、混和型共振峰模型第18页/共51页 对于共振峰合成器的激励，简单地将其分为浊音和清音两种类型是有缺陷的，为了得到高质量的合成语音，激励源应具备多种选择，以适应不同的发音情况。混和型共振峰模型中激励源有三种类型：合成浊音语音时用周期冲激序列；合成清音语音时用伪随机噪声；合成浊擦音语音时用周期冲激调制的噪声。第19页/共51页 共振峰合成技术弱点：（1）由于它是建立在对声道的模拟上，因此，声道模型的不精确势必会影响其合成质量。（2）实际工作中共振峰模型并不能表征影响语音自然度的其他许多细微的语音成分，从而影响了合成语音的自然度。（3）共振峰合成器控制十分复杂，实现起来十分困难。第20页/共51页9
11、.4 线性预测参数合成法 是一种“源滤波器”模型，由白噪声序列和周期脉冲序列构成的激励信号，经过选通、放大并通过时变数字滤波器，就可以再获得原语音信号。图图9.5 LPC语音合成器的框图语音合成器的框图第21页/共51页 线性预测合成的形式有两种：一种是直接用预测器系数构成的递归型合成滤波器，用这种方法定期地改变激励参数u(n)和预测系数，就能合成出语音。它合成的语音样本由下式决定:其中：ai为预测系数；G为模型增益；u(n)为激励；合成样本为s(n)；p为预测器阶数。第22页/共51页图图9.6 直接用预测器系数直接用预测器系数ai构成的合成滤波器构成的合成滤波器 第23页/共51页 另一种
12、合成的形式是采用反射系数构成的格型合成滤波器。它的合成语音样本由下式决定:其中：其中：G为模型增益；为模型增益；u(n)为激励；为激励；ki为反射系数；为反射系数；bi(n)为后向预测误差；为后向预测误差；p为预测器阶数。为预测器阶数。第24页/共51页 LPC语音合成和共振峰语音合成比较：（1）LPC语音合成有比较简单和完全自动的分析步骤，合成器结构也比较简单，采用格形滤波器时，量化特性和稳定性都比较好，硬件实现容易；而共振峰合成需要较多的参数调整，合成器结构相对讲要复杂些。（2）共振峰合成原理和实际发声原理联系紧密，它的模型控制参数对合成语音谱特性的影响比较直观。LPC合成中，控制LPC系
13、数的变化轨迹十分有限。第25页/共51页 （3）共振峰语音合成比较灵活，允许简单地变换以模仿不同人的发音，通过共振峰频率的移动，容易改变语声中和讲话人特征有关的部分；LPC合成较困难，只有将LPC的反射系数转变成极点的位置，才有可能作类似的修正。（4）线性预测方法对谱包络谷点的模型要比峰点差得多，因此共振峰带宽的估计一般是不合适的；共振峰合成方法中，共振峰的带宽还可以从离散傅里叶变换谱来估计。第26页/共51页（5）标准LPC的全极点模型，对具有零点谱特性的那些音，特别是鼻音，效果比较差；共振峰合成方法则可以采用反谐振器来直接模拟鼻音中最重要的频谱零点，使得合成语音音质得以提高。（6）从总体上
14、说，选择LPC语音合成还是共振峰合成，基于二个因素的折衷；LPC合成具有简单，可自动进行系数分析的优点；而比较复杂的共振峰合成可望产生较高质量的合成语音。第27页/共51页9.5 基音同步叠加法 基音同步叠加PSOLA算法核心思想：直接对存储于音库中的语音运用PSOLA算法进行拼接，从而整合成完整的语音。该系统首先要在大量语音库中，选择最合适的语音单元用于拼接，并且在选择语音单元的过程中往往采用多种复杂的技术，最后在拼接时，使用PSOLA算法，根据上下文的要求，对其合成语音的韵律特征进行修改。第28页/共51页 由于韵律修改所针对的侧面不同，PSOLA算法的实现目前有3种方式。分别为：时域基音
15、同步叠加TD-PSOLA 线性预测基音同步叠加LPC-PSOLA 频域基音同步叠加FD-PSOLA 其中TD-PSOLA算法计算效率较高，已被广 泛 应 用，是 一 种 经 典 算 法，这 里 只 介 绍 TD-PSOLA算法原理。第29页/共51页 9.5.1 基音同步叠加PSOLA算法原理 信号x(n)的短时傅里叶变换为：其中w(n)是长度为N的窗序列，Z表示全体整数集合。是变量n和的二维时频函数，对于n的每个取值都对应有一个连续的频谱函数，显然存在较大的信息冗余，所以可以在时域每隔若干个（例如R个）样本取一个频谱函数来重构原信号x(n)。第30页/共51页令：其傅里叶逆变换为：然后将 叠
16、接相加便可得到：通常选w(n)是对称的窗函数，所以有w(rR-n)=w(n-rR)第31页/共51页 可以证明，对于汉明窗来说，当时，无论m为何值都有：所以 其中 为w(n)的傅里叶变换。上式说明，用叠接相加法重构的信号y(n)与原信号x(n)只相差一个常数因子。第32页/共51页 这里采用原始信号谱与合成信号谱均方误差最小的叠接相加合成公式。定义两信号x(n)和y(n)之间谱距离测度：上式可改写为：(9-14)第33页/共51页 要求合成信号y(n)满足谱距离最小，可以令：解得：窗函数w1(n)和w2(n)可以是两种不同的窗函数，长度也可以不相等。上式就是在谱均方误差最小意义下的时域基音同步
17、叠接相加合成公式。第34页/共51页 实际合成时实际合成时w1(n)和和w2(n)可以用完全相同的窗，可以用完全相同的窗，分母可视为常数，而且可以加一个短时幅度因子分母可视为常数，而且可以加一个短时幅度因子 来调整短时能量，即：来调整短时能量，即：基音同步叠接相加法优点：基音同步叠接相加法优点：良好的韵律调整能力的；良好的韵律调整能力的；缺缺点点：基基音音频频率率修修改改过过大大时时可可能能出出现现严严重重的的谱谱包包络失真。络失真。第35页/共51页9.5.2 基音同步叠加PSOLA算法实现步骤 概概括括起起来来说说，用用PSOLA算算法法实实现现语语音音合合成成时时主主要要有有三三个个步步
18、骤骤。分分别别为为基基音音同同步步分分析析、基基音音同同步步修修改和基音同步合成。下面介绍这三个步骤。改和基音同步合成。下面介绍这三个步骤。第36页/共51页 1.基音同步分析基音同步分析 同同步步标标记记是是与与合合成成单单元元浊浊音音段段的的基基音音保保持持同同步步的的一一系系列列位位置置点点，用用它它们们来来准准确确反反映映各各基基音音周周期期的的起起始始位位置置。同同步步分分析析的的功功能能主主要要是是对对语语音音合合成成单单元元进进行行同同步步标标记记设设置置。PSOLA技技术术中中，短短时时信信号号的的截截取取和和叠叠加加，时时间间长长度度的的选选择择，均均是是依依据据同同步步标标
19、记记进进行行的的。对对于于浊浊音音段段有有基基音音周周期期，而而清清音音段段信信号号则则属于白噪声，所以这两种类型需要区别对待。属于白噪声，所以这两种类型需要区别对待。第37页/共51页 2.基音同步修改 同步修改通过对合成单元同步标记的插入、删除来改变合成语音的时长；通过对合成单元标记间隔的增加、减小来改变合成语音的基频等。若短时分析信号为x(ta(s),n)，短时合成信号为x(ts(s),n)，则有：式中式中ta(s)为分析基音标记，为分析基音标记，ts(s)为合成基音标记。为合成基音标记。第38页/共51页 3.基音同步合成 基音同步合成是利用短时合成信号进行叠加合成。如果合成信号仅仅在
20、时长上有变化，则增加或减少相应的短时合成信号；如果是基频上有变化，则首先将短时合成信号变换成符合要求的短时合成信号再进行合成。第39页/共51页图图9.7 时域基频同步合成语音时域基频同步合成语音a)语音基频被降低语音基频被降低 b)语音被延长但基频保持不变语音被延长但基频保持不变第40页/共51页9.6 文语转换系统 9.6.1 文语转换系统的组成 在文语转换系统中，必须事先对文本进行分析，根据上下文的关系来确定每个字发音的声调应如何变化，然后用这些声调变化参数去控制语音的合成。第41页/共51页图图9.8 TTS系统基本框图系统基本框图 文本分析、韵律控制和语音合成这三个模块是文语转换系统
21、的三个核心部分。其结构如下图所示：9.6.1 文语转换系统的组成第42页/共51页 1.文本分析文本分析 工作过程包括：工作过程包括：将将输输入入的的文文本本规规范范化化，并并处处理理用用户户可可能能的的拼拼写写错误，将出现的不规范或无法发音的字符过滤掉；错误，将出现的不规范或无法发音的字符过滤掉；分分析析文文本本中中的的词词或或短短语语的的边边界界，确确定定文文字字的的读读音音，同同时时分分析析文文本本中中出出现现的的数数字字、姓姓氏氏、特特殊殊字字符符以及各种多音字的读音方式；以及各种多音字的读音方式；确确定定发发音音时时语语气气的的变变换换及及不不同同音音的的轻轻重重方方式式。最最终终，
22、将将输输入入的的文文字字转转换换成成计计算算机机能能够够处处理理的的内内部部参数，便于后续模块进一步处理并生成相应的信息。参数，便于后续模块进一步处理并生成相应的信息。第43页/共51页 2.韵律控制韵律控制 任任何何人人说说话话都都有有韵韵律律特特征征，有有不不同同的的声声调调、语语气气、停停顿顿方方式式，发发音音长长短短也也各各不不相相同同，这这些些都都属属于于韵韵律律特特征征。而而韵韵律律参参数数则则包包括括了了能能影影响响这这些些特特征征的的声声学学参参数数，如如：基基频频、音音长长、音音强强等等。最最终终系系统统能能够够用用来来进进行行语语音音信信号号合合成成的的具具体体韵韵律律参参
23、数数，还还要要靠韵律控制模块。靠韵律控制模块。3.语音合成语音合成 文文语语转转换换系系统统的的合合成成语语音音模模块块一一般般采采用用波波形形拼拼接接来来合合成成语语音音的的方方法法，其其中中最最具具代代表表性性的的是是前前面面介绍过的基音同步叠加法介绍过的基音同步叠加法PSOLA。第44页/共51页9.6.2 汉语按规则合成 通过语音学规则产生语音，对于不同的语种，其规则是完全不同的，这里仅讨论文语转换层次上的汉语按规则合成中有关韵律规则的几个基本问题。第45页/共51页 1.重音规则 汉语的重音，是指说话或朗读时读的比较重的音节或词语。汉语重音分为：词重音和句重音两大类。词重音：指词的某
24、个音节可分为重轻等级。音长特征是区分这个等级的主要标志，轻声的音长较短。另外一个重要的区分特征是声调域，轻声的声调域缩小，这就使轻声字所需的能量减少，但强度并不一定减弱。汉语重音的声学特征表现在音域加宽、音程加大，气流加强。第46页/共51页 2.转接与音渡规则 转接与音渡是音素序列转变成语音流时的动态变化规律。在汉语发音中，存在两种基本的过渡，即辅音与元音组合和元音与元音组合。前者出现在声母和韵母的拼接过程中，称为“转接”；后者出现在复合韵母内部，称为“音渡”。第47页/共51页 转接是指前一个辅音对其后元音共振峰的影响。同一元音的共振峰特性受不同辅音的影响会有很大的变化，表现出来的转接现象
25、不同；反之，同一辅音对不同元音的影响也是不同的。共振峰的转接现象比较复杂，至今尚没找到普遍的规律。第48页/共51页 3.声调与变调规则 汉语是一种“声调语音”，在用汉语相互交谈中，人们不但凭不同的声母、韵母（或元音，辅音）来辨别字和词的意义，还需要从不同的声调来区别它们，这就是“声调语音”的特点。汉语的声调具有辨义的功能，它和辅音、元音在语音的区别特征上同样重要。第49页/共51页 4.音长问题 音长也是语音的重要特征之一，对语音的可懂度、自然度都有一定的影响。汉语中音长主要体现在韵母的调型段长度上，调长和调型是密切相关的，通常认为，上声音节最长，阴平、阳平次之，去声最短。除音长外，音节之间的间隙也对合成语音效果有一定的影响，适当的间隙会使语言听起来更为生动。第50页/共51页感谢您的观看！第51页/共51页