《语音信号处理课件--第04章短时傅里叶分析.优秀PPT.ppt》由会员分享，可在线阅读，更多相关《语音信号处理课件--第04章短时傅里叶分析.优秀PPT.ppt（46页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第4章章 短时傅立叶分析短时傅立叶分析14.1 短时傅立叶变换-概述24.2.1 短时傅立叶变换-定义o定义：短时傅立叶变换也叫定义：短时傅立叶变换也叫短时谱短时谱（加窗的方式）（加窗的方式）o短时谱的特点：短时谱的特点：1)时变性：既是角频率时变性：既是角频率的函数又是时间的函数又是时间n n的函数的函数2)2)周期性：是关于周期性：是关于的周期函数，周期为的周期函数，周期为22短时傅立叶变换主要用于语音分析合成系统，由其逆变换可以精确地复原语音波形；短时傅立叶变换主要用于语音分析合成系统，由其逆变换可以精确地复原语音波形；3o短时傅里叶变换是窗选语音信号的标准傅里叶变换。下短时傅里叶变换
2、是窗选语音信号的标准傅里叶变换。下标标n区分于标准的傅里叶变换。区分于标准的傅里叶变换。w(n-m)是窗口函数序是窗口函数序列。不同的窗口函数序列，将得到不同的傅里叶变换的列。不同的窗口函数序列，将得到不同的傅里叶变换的结果。结果。o短时傅里叶变换有两个自变量：短时傅里叶变换有两个自变量：n和和，所以它既是关，所以它既是关于时间于时间n的离散函数，又是关于角频率的离散函数，又是关于角频率的连续函数。的连续函数。o与离散傅里叶变换和连续傅里叶变换的关系一样，若令与离散傅里叶变换和连续傅里叶变换的关系一样，若令2k/N，则得离散的短时傅里叶变换，则得离散的短时傅里叶变换,它事实上是它事实上是在频域
3、的取样。在频域的取样。4.2.1 短时傅立叶变换-定义4o这两个公式都有两种说明：这两个公式都有两种说明：o 当当n固定不变时，它们是序列固定不变时，它们是序列w(n-m)x(m)o (-m)的标准傅里叶变换或标准的离的标准傅里叶变换或标准的离散傅里叶变换。此时与标准傅里叶变换具有相同散傅里叶变换。此时与标准傅里叶变换具有相同的性质，而的性质，而Xn(k)与标准的离散傅里叶变换具有与标准的离散傅里叶变换具有相同的特性。相同的特性。o 当当或或k固定时，和固定时，和Xn(k)看做是时间看做是时间n的函的函数。它们是信号序列和窗口函数序列的卷积，此数。它们是信号序列和窗口函数序列的卷积，此时窗口的
4、作用相当于一个滤波器。时窗口的作用相当于一个滤波器。4.2.1 短时傅立叶变换-定义54.2.2 短时傅立叶变换-标准傅里叶变换的说明o短时傅里叶变换可写为短时傅里叶变换可写为oo当当n取不同值时窗取不同值时窗w(n-m)沿着沿着x(m)序列滑动，序列滑动，所以所以w(n-m)是一个是一个“滑动的滑动的”窗口。窗口。o由于窗口是有限长度的，满足确定可和条件，所由于窗口是有限长度的，满足确定可和条件，所以这个变换是存在的。与序列的傅里叶变换相同，以这个变换是存在的。与序列的傅里叶变换相同，短时傅里叶变换随着短时傅里叶变换随着作周期变更，周期为作周期变更，周期为2。64.2.2 短时傅立叶变换-标
5、准傅里叶变换的说明74.2.2 短时傅立叶变换-标准傅里叶变换的说明o依据功率谱定义，可以写出短时功率谱与短时傅里叶变换依据功率谱定义，可以写出短时功率谱与短时傅里叶变换之间的关系之间的关系oo式中式中*表示复共轭运算。同时功率谱是短时自相关函数表示复共轭运算。同时功率谱是短时自相关函数o 的傅里叶变的傅里叶变换。换。o下面将短时傅里叶变换写为另一种形式。设信号序列和窗下面将短时傅里叶变换写为另一种形式。设信号序列和窗口序列的标准傅里叶变换为口序列的标准傅里叶变换为o o均存在。当均存在。当n取固定值时，取固定值时，w(n-m)的傅里叶变换为的傅里叶变换为o 84.2.2 短时傅立叶变换-标准
6、傅里叶变换的说明o依据傅里叶变换的频域卷积定理，有依据傅里叶变换的频域卷积定理，有将 改为-，得9o用波形乘以窗函数，不仅为了在窗口边缘两端不引起急剧用波形乘以窗函数，不仅为了在窗口边缘两端不引起急剧变更，使波形缓慢降为零，而且还相当于对信号谱与窗函变更，使波形缓慢降为零，而且还相当于对信号谱与窗函数的傅里叶变换进行卷积。数的傅里叶变换进行卷积。o为此窗函数应具有如下特性：为此窗函数应具有如下特性：o 频率辨别率高，即主瓣狭窄、尖锐；频率辨别率高，即主瓣狭窄、尖锐；（矩形窗）（矩形窗）o 通过卷积，在其他频率成分产生的频谱泄漏少，即通过卷积，在其他频率成分产生的频谱泄漏少，即 o 旁瓣衰减大。
7、旁瓣衰减大。（海明窗）（海明窗）o这两个要求事实上相互冲突，不能同时满足。这两个要求事实上相互冲突，不能同时满足。o窗口宽度窗口宽度N、取样周期、取样周期T和频率辨别率和频率辨别率f之间存在下列关之间存在下列关系系f1/NT o可见：可见：o窗口宽度窗口宽度频率辨别率频率辨别率 时间辨别率时间辨别率o窗口宽度窗口宽度频率辨别率频率辨别率 时间辨别率时间辨别率，因而二者是冲，因而二者是冲突的。突的。4.2.2 短时傅立叶变换-标准傅里叶变换的说明104.2.2 短时傅立叶变换-标准傅里叶变换的说明o第一个零点位置为2/N，明显它与窗口宽度成反比。o矩形窗，虽然频率辨别率很高，但由于第一旁瓣的衰减
8、只有13.2dB，所以不适合用于频谱成分动态范围很宽的语音分析中。o海明窗在频率范围中的辨别率较高，而且由于旁瓣的衰减大于42dB，具有频谱泄漏少的优点，频谱中高频重量弱、波动小，因而得到较平滑的谱。o汉宁窗是高次旁瓣低，第一旁瓣衰减只有30dB。直角窗直角窗11o频率辨别率频率辨别率f、取样周期、取样周期T、加窗宽度、加窗宽度N三者关系：三者关系：o窗形态对短时傅立叶变换的影响窗形态对短时傅立叶变换的影响o 矩形窗矩形窗主瓣窄，衰减慢；主瓣窄，衰减慢；o 汉明窗汉明窗主瓣宽，衰减快；主瓣宽，衰减快；o 海明窗海明窗主瓣窄，衰减快；主瓣窄，衰减快；o窗宽对短时频谱的影响窗宽对短时频谱的影响o
9、窗宽长窗宽长频率辨别率高，能看到频谱快变更；频率辨别率高，能看到频谱快变更；o 窗宽短窗宽短频率辨别率低，看不到频谱的快变更；频率辨别率低，看不到频谱的快变更；4.2.2 短时傅立叶变换-标准傅里叶变换的说明12n 对语音波形乘以海明窗，压缩了接近窗两对语音波形乘以海明窗，压缩了接近窗两端的部分波形，等效于用作分析的区间缩短端的部分波形，等效于用作分析的区间缩短40%左右，因此，频率辨别率下降左右，因此，频率辨别率下降40%左右。左右。所以，即使在基音周期性明显的浊音频谱分析所以，即使在基音周期性明显的浊音频谱分析中，乘以合适的窗函数，也能抑制基音周期与中，乘以合适的窗函数，也能抑制基音周期与
10、分析区间的相对相位关系的变动影响，从而得分析区间的相对相位关系的变动影响，从而得到稳定的频谱。因为乘以窗函数将导致分帧区到稳定的频谱。因为乘以窗函数将导致分帧区间缩短，所以为跟踪随时间变更的频谱，要求间缩短，所以为跟踪随时间变更的频谱，要求一部分区间重复移动。一部分区间重复移动。4.2.2 短时傅立叶变换-标准傅里叶变换的说明134.2.2 短时傅立叶变换-标准傅里叶变换的说明14o其中图其中图(a)是海明窗的窗选信号，图是海明窗的窗选信号，图(b)是其对数功率谱；图是其对数功率谱；图(c)是矩形窗下的是矩形窗下的窗选信号，图窗选信号，图(d)是其对数功率谱。是其对数功率谱。o从图从图(a)可
11、以明显看出时间波形的周期可以明显看出时间波形的周期性，此周期性同样在图性，此周期性同样在图(b)中表现出来。中表现出来。图中基频及其谐波在频谱中表现为等图中基频及其谐波在频谱中表现为等频率间隔的窄峰。图频率间隔的窄峰。图(b)中的频谱大约中的频谱大约在在300400Hz旁边有较强的第一旁边有较强的第一共振峰，而约在共振峰，而约在2000Hz旁边有一个旁边有一个对应于其次、三共振峰的宽峰。此外，对应于其次、三共振峰的宽峰。此外，还能在还能在3 800Hz旁边看到第四个共旁边看到第四个共振峰。最终，由于声门脉冲谱的高频振峰。最终，由于声门脉冲谱的高频衰减特性，频谱在高频部分表现出下衰减特性，频谱在
12、高频部分表现出下降的趋势。降的趋势。给出了N500时(取样率10 kHz，窗持续时间50 ms)时直角窗及海明窗下浊音语音的频谱。4.2.2 短时傅立叶变换-标准傅里叶变换的说明15给出了N500时(取样率10 kHz，窗持续时间50 ms)时直角窗及海明窗下浊音语音的频谱。4.2.2 短时傅立叶变换-标准傅里叶变换的说明o将图将图(b)和图和图(d)比较可看出它们在基音比较可看出它们在基音谐波、共振峰结构以及频谱粗略形态谐波、共振峰结构以及频谱粗略形态上的相像性，同样也能看到其频谱之上的相像性，同样也能看到其频谱之间的差别。间的差别。o最明显的是图最明显的是图(d)中基音谐波尖锐度增中基音谐
13、波尖锐度增加，这主要是由于矩形窗频率辨别率加，这主要是由于矩形窗频率辨别率较高。较高。o另一差别是矩形窗较高的旁瓣产生了另一差别是矩形窗较高的旁瓣产生了一个类似于噪声的频谱。这是由于相一个类似于噪声的频谱。这是由于相邻谐波的旁瓣在谐波间隔内的相互作邻谐波的旁瓣在谐波间隔内的相互作用用(有时加强有时抵消有时加强有时抵消)，因而在谐波，因而在谐波间产生了随机变更。这种相邻谐波间间产生了随机变更。这种相邻谐波间不希望有的不希望有的“泄漏泄漏”抵消了其主瓣较抵消了其主瓣较窄的优点。窄的优点。o因此在语音频谱分析中极少接受矩形因此在语音频谱分析中极少接受矩形窗。窗。16o图图4-3给出了给出了N50的比
14、较结果的比较结果(取样率与图取样率与图4-2中相同，因而窗中相同，因而窗口持续时间为口持续时间为5ms)。o由于窗口很短，因而时间序列由于窗口很短，因而时间序列(图图(a)和和(c)及信号频谱及信号频谱(图图(b)和和(d)均均不能反映信号的周期性。不能反映信号的周期性。o与图与图4-2相反，图相反，图4-3只大约在只大约在400、1 400及及2 200Hz频率频率上有少量较宽的峰值。它们与窗上有少量较宽的峰值。它们与窗内语音段的前三个共振峰相对应。内语音段的前三个共振峰相对应。比较图比较图4-3(b)及及(d)的频谱后，再的频谱后，再次表明矩形窗可以得到较高的频次表明矩形窗可以得到较高的频
15、率辨别率。率辨别率。4.2.2 短时傅立叶变换-标准傅里叶变换的说明给出了N50时(取样率10 kHz，窗持续时间5 ms)时直角窗及海明窗下浊音语音的频谱。17o结论:o窗口宽度与短时傅里叶变换特性之间的关系o用窄窗可得到好的时间辨别率o用宽窗可以得到好的频率辨别率。o但由于接受窗的目的是要限制分析的时间以使其中波形的特性没有显著变更，因而要折衷考虑。o 4.2.2 短时傅立叶变换-标准傅里叶变换的说明18ow(n)-一个滤波器的单位函数响应一个滤波器的单位函数响应o -该滤波器的输出该滤波器的输出ox(n)-滤波器的输入滤波器的输入o过程过程:调制调制+滤波滤波4.2.3 短时傅立叶变换-
16、滤波器的说明一图4-4 短时傅里叶变换滤波器说明的第一种形式(a)复数运算194.2.3 短时傅立叶变换-滤波器的说明一用用线性性滤波波实现短短时傅立叶傅立叶变换的第一种形式的第一种形式204.2.3 短时傅立叶变换-滤波器的说明一图4-4 短时傅里叶变换滤波器说明的第一种形式(b)只有实数运算21 w(n)w(n)w(n)是窄带低通滤波器是窄带低通滤波器假设假设 将将x(n)x(n)的频谱向左搬移的频谱向左搬移了了 ，或等效将，或等效将 频率上频率上的频谱搬移到了零频率处。的频谱搬移到了零频率处。因此为使输出端有：因此为使输出端有：w(n)w(n)是窄带低通滤波器是窄带低通滤波器4.2.3
17、短时傅立叶变换-滤波器的说明一224.2.3 短时傅立叶变换-滤波器的说明一23令令2.2.复数运算实现短时谱的线性滤波表示复数运算实现短时谱的线性滤波表示窄带带通滤波器窄带带通滤波器4.2.3 短时傅立叶变换-滤波器的说明二24 实数运算实现短时谱的线性滤波表示实数运算实现短时谱的线性滤波表示4.2.3 短时傅立叶变换-滤波器的说明二 3.3.实数运算实现短时谱的线性滤波表示实数运算实现短时谱的线性滤波表示25o 为窄带低通为窄带低通滤波器。第一种形滤波器。第一种形式为低通滤波器；式为低通滤波器；o由于其次种形式中由于其次种形式中的滤波器单位函数的滤波器单位函数响应为响应为 ，所以它为带通滤
18、波所以它为带通滤波器。器。4.2.3 短时傅立叶变换-滤波器的说明26o假如将假如将w(n)的滤波运算除外，短时傅里叶变换事的滤波运算除外，短时傅里叶变换事实上是对信号的幅度调制。实上是对信号的幅度调制。o第一种形式是在输入端进行调制，第一种形式是在输入端进行调制，x(n)乘以乘以 相当于将相当于将x(n)的频谱从的频谱从移到零频处；而移到零频处；而w(n)(直角窗或海明窗等直角窗或海明窗等)为窄带低通滤波器。为窄带低通滤波器。o后一种形式是在输出端进行调制，此时先对信号进后一种形式是在输出端进行调制，此时先对信号进行带通滤波，滤波器的单位函数响应为行带通滤波，滤波器的单位函数响应为w(n),
19、而调制后输出的是中心频率为而调制后输出的是中心频率为的短时谱。的短时谱。4.2.3 短时傅立叶变换-滤波器的说明27o 复原出复原出x(n)的过程称为短时傅里叶反变换，的过程称为短时傅里叶反变换，是由短时谱合成语音信号的问题是由短时谱合成语音信号的问题o由于由于 是是n和和的二维函数，因而必需对的二维函数，因而必需对o 在所涉及的两个变量，即时域及频域内进行取在所涉及的两个变量，即时域及频域内进行取样，取样率的选取应保证样，取样率的选取应保证 不产生混叠失真，不产生混叠失真，从而能够复原原始语音信号从而能够复原原始语音信号x(n)。4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率28o当当
20、为固定值时，为固定值时，是一个单位函数响应为是一个单位函数响应为w(n)的低通滤波器的输出。设低通滤波器的带宽的低通滤波器的输出。设低通滤波器的带宽为为BHz，则，则 具有与窗相同的带宽。依据取样具有与窗相同的带宽。依据取样定理，定理，的取样率至少为的取样率至少为2B才不致混叠。才不致混叠。o低通滤波器的带宽由低通滤波器的带宽由w(n)的傅里叶变换的傅里叶变换 的第的第一个零点位置一个零点位置01确定，因而确定，因而B值取决于窗的形态值取决于窗的形态与长度。与长度。4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-时间取样率时间取样率29o正弦序列的表达式为正弦序列的表达式为 o幅值幅值A
21、、初相、初相的含义与模拟正弦信号相同的含义与模拟正弦信号相同o正弦序列的数字角频率正弦序列的数字角频率0的含义与一般模拟的含义与一般模拟信号模拟角频率信号模拟角频率0的概念不同。的概念不同。o离散信号数字角频离散信号数字角频0=0 T，模拟角频率，模拟角频率0的单位是的单位是rad/s，o数字角频数字角频0的单位为的单位为rad/s s=rad。0表示相邻两个样值间弧度的变更量。表示相邻两个样值间弧度的变更量。4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-时间取样率时间取样率30o以直角窗和海明窗为例，其第一个零点位置分别为以直角窗和海明窗为例，其第一个零点位置分别为2N和和4No数字
22、角频率与模拟频率数字角频率与模拟频率F之间的关系为之间的关系为2FT2Ffs(其中其中T是信号取样周期，是信号取样周期，fs是取样率是取样率)，因而用模拟，因而用模拟频率表示的频率表示的 的带宽为的带宽为4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-时间取样率时间取样率2231每帧每帧 中语音信号个数为窗长中语音信号个数为窗长N N4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-时间取样率时间取样率324.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-总取样率总取样率334.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-总取样率总取样率344.44.4语音信号的短时综合语
23、音信号的短时综合-滤波器组求和法滤波器组求和法 离散短时傅立叶变换离散短时傅立叶变换 离散短时傅立叶反变换离散短时傅立叶反变换354.4.1 滤波器组相加法滤波器组相加法窄带带通滤波器窄带带通滤波器假设假设4.44.4语音信号的短时综合语音信号的短时综合-滤波器组求和法滤波器组求和法 36用带通滤波器组进行短时傅立叶分析用带通滤波器组进行短时傅立叶分析N N个中心频率处于个中心频率处于 的滤波器组成的滤的滤波器组成的滤波器组波器组4.44.4语音信号的短时综合语音信号的短时综合-滤波器组求和法滤波器组求和法 372.频域条件频域条件4.44.4语音信号的短时综合语音信号的短时综合-滤波器组求和
24、法滤波器组求和法 384.4 语音信号的短时综合语音信号的短时综合-快速傅里叶变换求和法快速傅里叶变换求和法394.4 语音信号的短时综合语音信号的短时综合-快速傅里叶变换求和法快速傅里叶变换求和法404.4 语音信号的短时综合语音信号的短时综合-快速傅里叶变换求和法快速傅里叶变换求和法41o语音的时域分析和频域分析是语音分析的两种重要语音的时域分析和频域分析是语音分析的两种重要方法。方法。o这两种方法均有局限性：这两种方法均有局限性：o时域分析对语音信号的频率特性没有直观的了解；时域分析对语音信号的频率特性没有直观的了解；o频域特性中又没有语音信号随时间的变更关系。频域特性中又没有语音信号随
25、时间的变更关系。o时间依靠于傅里叶分析的显示图形称为语谱图。时间依靠于傅里叶分析的显示图形称为语谱图。o语谱图中显示了大量的与语音的语句特性有关的信语谱图中显示了大量的与语音的语句特性有关的信息，它综合了频谱图和时域波形的优点，明显地显息，它综合了频谱图和时域波形的优点，明显地显示出语音频谱随时间的变更状况。示出语音频谱随时间的变更状况。4.5 语谱图语谱图42o语谱图事实上是一种动态的频谱。语谱图事实上是一种动态的频谱。o语谱图的纵轴为频率，横轴为时间。任一给定频率成分在语谱图的纵轴为频率，横轴为时间。任一给定频率成分在给定时刻的强弱用点的黑白度来表示，频谱值大则记录得给定时刻的强弱用点的黑
26、白度来表示，频谱值大则记录得浓黑一些，反之则浅淡一些。浓黑一些，反之则浅淡一些。o用语谱图分析语音又称为语谱分析，记录语谱图的仪器就用语谱图分析语音又称为语谱分析，记录语谱图的仪器就是语谱仪。是语谱仪。o语谱仪事实上是使一个带通滤滤器的中心频率发生连续变语谱仪事实上是使一个带通滤滤器的中心频率发生连续变更，来进行语音的频率分析。更，来进行语音的频率分析。o带通滤波器有两种带宽：窄带为带通滤波器有两种带宽：窄带为45 Hz，宽带为，宽带为300 Hz。窄带语谱图有良好的频率辨别率及较差的时间辨别率；而窄带语谱图有良好的频率辨别率及较差的时间辨别率；而宽带语谱图具有良好的时间辨别率及较差的频率辨别
27、率。宽带语谱图具有良好的时间辨别率及较差的频率辨别率。o窄带语谱图中的时间坐标方向表示的是基音及其各次谐波；窄带语谱图中的时间坐标方向表示的是基音及其各次谐波；而宽带语谱图给出语音的共振峰频率及清辅音的能量汇合而宽带语谱图给出语音的共振峰频率及清辅音的能量汇合区；这里，共振峰呈现为黑色的条纹。区；这里，共振峰呈现为黑色的条纹。4.5 语谱图语谱图43o全部元音的特征都是强度变更的规则的垂直条纹。全部元音的特征都是强度变更的规则的垂直条纹。o条纹的起点相当于声门脉冲的起点，条纹之间的距条纹的起点相当于声门脉冲的起点，条纹之间的距离表示基音周期。离表示基音周期。o条纹越密表示基音频率越高，例如条纹
28、越密表示基音频率越高，例如“Ten”中的中的 音；而基音周期在音；而基音周期在“the”字中字中e音时音时达到最大。达到最大。4.5 语谱图语谱图44o声道的共振峰表示基音脉冲的某些频率成分被加强，这在语谱声道的共振峰表示基音脉冲的某些频率成分被加强，这在语谱图上呈现为条纹区更宽更黑。图上呈现为条纹区更宽更黑。o摩擦音如、呈现不规则的条纹，主要在摩擦音如、呈现不规则的条纹，主要在2.5 kHz以上；这些条纹表示存在宽带噪声。以上；这些条纹表示存在宽带噪声。“suburbs”起先的起先的s音明显表示它有最大的能量和最高的频率成分，而结尾部分的音明显表示它有最大的能量和最高的频率成分，而结尾部分的的能量和频率仅次于的能量和频率仅次于s。4.5 语谱图语谱图45o可用测量语谱图的方法来确定语音参数，例如共振峰可用测量语谱图的方法来确定语音参数，例如共振峰频率及基频。频率及基频。o语谱图的实际应用是用于确认出说话人的本性。语谱语谱图的实际应用是用于确认出说话人的本性。语谱图上不同的黑白程度形成不同的纹路，称之为图上不同的黑白程度形成不同的纹路，称之为“声纹声纹”，它因人而异。可利用声纹鉴别不同的讲话人。，它因人而异。可利用声纹鉴别不同的讲话人。4.5 语谱图语谱图46