一帧信号至少必须包含2个基本周期以上，才能够显示语音的特性。比如，对于已知人声的音高范围大约在50Hz和1000Hz之间，因此对于一个采样频率，如取采样频率为8000Hz，那么当音高f=50Hz（例如男低音的歌声）时，每个基本周期的点数是fs/f=8000/50=160，因此，每一帧必须至少是320点，若音高是1000Hz（如女高音的歌声）时，每个基本周期的点数是8000/1000=8，因此，每一帧必须包含至少16个点。

        每一帧长度也不能太大，太长的分帧无法抓到音频信号的特性随时间而变化的细微现象，同时计算量也会变大。

那么一帧有多长呢？帧长要满足两个条件：

从宏观上看，它必须足够短来保证帧内信号是平稳的。

前面说过，口型的变化是导致信号不平稳的原因，所以在一帧的期间内口型不能有明显变化，即一帧的长度应当小于一个音素的长度。

正常语速下，音素的持续时间大约是 50~200 毫秒，所以帧长一般取为小于 50 毫秒。

从微观上来看，它又必须包括足够多的振动周期，因为傅里叶变换是要分析频率的，只有重复足够多次才能分析频率。

语音的基频，男声在 100 赫兹左右，女声在 200 赫兹左右，换算成周期就是 10 毫秒和 5 毫秒。既然一帧要包含多个周期，所以一般取至少 20 毫秒。
这样，我们就知道了帧长一般取为 20 ~ 50 毫秒，20、25、30、40、50 都是比较常用的数值，甚至还有人用 32（在程序猿眼里，这是一个比较「整」的数字）。
取出来的一帧信号，在做傅里叶变换之前，要先进行「加窗」的操作，即与一个「窗函数」相乘，如下图所示：


加窗的目的是让一帧信号的幅度在两端渐变到 0。

渐变对傅里叶变换有好处，可以让频谱上的各个峰更细，不容易糊在一起（术语叫做减轻频谱泄漏），具体的数学就不讲了。
加窗的代价是一帧信号两端的部分被削弱了，没有像中央的部分那样得到重视。弥补的办法是，帧不要背靠背地截取，而是相互重叠一部分。相邻两帧的起始位置的时间差叫做帧移，常见的取法是取为帧长的一半，或者固定取为 10 毫秒。
对一帧信号做傅里叶变换，得到的结果叫频谱，它就是下图中的蓝线：



图中的横轴是频率，纵轴是幅度。频谱上就能看出这帧语音在 480 和 580 赫兹附近的能量比较强。

语音的频谱，常常呈现出「精细结构」和「包络」两种模式。「精细结构」就是蓝线上的一个个小峰，它们在横轴上的间距就是基频，它体现了语音的音高——峰越稀疏，基频越高，音高也越高。

「包络」则是连接这些小峰峰顶的平滑曲线（红线），它代表了口型，即发的是哪个音。

包络上的峰叫共振峰，图中能看出四个，分别在 500、1700、2450、3800 赫兹附近。

有经验的人，根据共振峰的位置，就能看出发的是什么音。
对每一帧信号都做这样的傅里叶变换，就可以知道音高和口型随时间的变化情况，也就能识别出一句话说的是什么了。
在开始语音识别之前，有时需要把首尾端的静音切除，降低对后续步骤造成的干扰。这个静音切除的操作一般称为VAD，需要用到信号处理的一些技术。要对声音进行分析，需要对声音分帧，也就是把声音切开成一小段一小段，每小段称为一帧。分帧操作一般不是简单的切开，而是使用移动窗函数来实现，这里不详述。帧与帧之间一般是有交叠的，就像下图这样：
图中，每帧的长度为25毫秒，每两帧之间有25-10=15毫秒的交叠。我们称为以帧长25ms、帧移10ms分帧。图中，每帧的长度为25毫秒，每两帧之间有25-10=15毫秒的交叠。我们称为以帧长25ms、帧移10ms分帧。



分帧后，语音就变成了很多小段。但波形在时域上几乎没有描述能力，因此必须将波形作变换。常见的一种变换方法是提取MFCC特征，根据人耳的生理特性，把每一帧波形变成一个多维向量，可以简单地理解为这个向量包含了这帧语音的内容信息。这个过程叫做声学特征提取。实际应用中，这一步有很多细节，声学特征也不止有MFCC这一种，具体这里不讲。
至此，声音就成了一个12行（假设声学特征是12维）、N列的一个矩阵，称之为观察序列，这里N为总帧数。观察序列如下图所示，图中，每一帧都用一个12维的向量表示，色块的颜色深浅表示向量值的大小。



接下来就要介绍怎样把这个矩阵变成文本了。首先要介绍两个概念：
音素：单词的发音由音素构成。对英语，一种常用的音素集是卡内基梅隆大学的一套由39个音素构成的音素集，参见The CMU Pronouncing Dictionary。汉语一般直接用全部声母和韵母作为音素集，另外汉语识别还分有调无调，不详述。
状态：这里理解成比音素更细致的语音单位就行啦。通常把一个音素划分成3个状态。
语音识别是怎么工作的呢？实际上一点都不神秘，无非是：
第一步，把帧识别成状态（难点）；
第二步，把状态组合成音素；
第三步，把音素组合成单词。
如下图所示：



图中，每个小竖条代表一帧，若干帧语音对应一个状态，每三个状态组合成一个音素，若干个音素组合成一个单词。也就是说，只要知道每帧语音对应哪个状态了，语音识别的结果也就出来了。图中，每个小竖条代表一帧，若干帧语音对应一个状态，每三个状态组合成一个音素，若干个音素组合成一个单词。也就是说，只要知道每帧语音对应哪个状态了，语音识别的结果也就出来了。
那每帧音素对应哪个状态呢？有个容易想到的办法，看某帧对应哪个状态的概率最大，那这帧就属于哪个状态。比如下面的示意图，这帧对应S3状态的概率最大，因此就让这帧属于S3状态。

加窗分帧：时域加窗，点乘；频域卷积，减少泄露

解释：语音信号是时变信号，浊音的基音周期、清浊音信号幅度和声道参数均随时间变化，发声器官的惯性运动，可以认为具有短时平稳性。帧长10~30ms，交叠分段方式，为了帧之间平滑过渡，保持连续性，帧移/帧长范围在0-1/2之间。


1. 矩形窗：主瓣宽度小，较高频谱分辨率，但是旁瓣峰值较大，频谱泄露严重
matlab程序：

%时域波形

w=rectwin(61)%矩形窗函数

figure(1)%图1

subplot(121)%图1中共包括1行2列的图形，此为1行1列的图形

plot(w,'k')%'k'表示黑色

xlabel('样本数')

ylabel('幅度')

%频域波形

w1=fft(w,1024)%对窗函数做1024点的fft

w2=w1/(max(w1))%幅度归一化

w3=20*log10(abs(w2))%出来的是双边频谱（数学谱）

w=2*[0:1023]/1024%频率归一化,双边频谱的范围[0,2]

subplot(122)%图1中1行2列的图形

plot(w,w3,'k')

axis([0,1,-100,0])%单边频谱(物理谱)，横坐标范围[0,1]

xlabel('归一化频率f/fs')

ylabel('幅度/dB')


2. 汉明窗：主瓣宽度较宽，大于矩形窗的一倍，但是旁瓣衰减大，频谱泄露优于矩形窗，更平滑的低通特性，更好反映短时信号的频谱特性

matlab程序：


%时域波形

w=hamming(61)%汉明窗函数

figure(1)%图1

subplot(121)%图1中共包括1行2列的图形，此为1行1列的图形

plot(w,'k')%'k'表示黑色

xlabel('样本数')

ylabel('幅度')

%频域波形

w1=fft(w,1024)%对窗函数做1024点的fft

w2=w1/(max(w1))%幅度归一化

w3=20*log10(abs(w2))%出来的是双边频谱（数学谱）

w=2*[0:1023]/1024%频率归一化,双边频谱的范围[0,2]

subplot(122)%图1中1行2列的图形

plot(w,w3,'k')

axis([0,1,-100,0])%单边频谱(物理谱)，横坐标范围[0,1]

xlabel('归一化频率f/fs')

ylabel('幅度/dB')

Date: 2019-5-11

1、参考
语音信号的分帧加窗

什么是窗函数?

几种常见窗函数

Spectral leakage（谱泄漏）
2、语音信号的分帧加窗
语音信号具有短时平稳性。

分帧是为了将无限长的语音信号，分成一段一段的，因为语音信号具有短时平稳性，方便处理，加窗是为了使分帧后的语音信号更加平稳。窗函数主要有矩形窗和汉明窗。加窗主要是为了使时域信号似乎更好地满足FFT处理的周期性要求，减少泄漏。
3、Matlab实现(部分)
function varargout = Shiyufenxi(varargin)
% SHIYUFENXI MATLAB code for Shiyufenxi.fig
%      SHIYUFENXI, by itself, creates a new SHIYUFENXI or raises the existing
%      singleton*.
%
%      H = SHIYUFENXI returns the handle to a new SHIYUFENXI or the handle to
%      the existing singleton*.
%
%      SHIYUFENXI('CALLBACK',hObject,eventData,handles,...) calls the local
%      function named CALLBACK in SHIYUFENXI.M with the given input arguments.
%
%      SHIYUFENXI('Property','Value',...) creates a new SHIYUFENXI or raises the
%      existing singleton*.  Starting from the left, property value pairs are
%      applied to the GUI before Shiyufenxi_OpeningFcn gets called.  An
%      unrecognized property name or invalid value makes property application
%      stop.  All inputs are passed to Shiyufenxi_OpeningFcn via varargin.
%
%      *See GUI Options on GUIDE's Tools menu.  Choose "GUI allows only one
%      instance to run (singleton)".
%
% See also: GUIDE, GUIDATA, GUIHANDLES

% Edit the above text to modify the response to help Shiyufenxi

% Last Modified by GUIDE v2.5 07-May-2019 07:50:18

% Begin initialization code - DO NOT EDIT
gui_Singleton = 1;
gui_State = struct('gui_Name',       mfilename, ...
                   'gui_Singleton',  gui_Singleton, ...
                   'gui_OpeningFcn', @Shiyufenxi_OpeningFcn, ...
                   'gui_OutputFcn',  @Shiyufenxi_OutputFcn, ...
                   'gui_LayoutFcn',  [] , ...
                   'gui_Callback',   []);
if nargin && ischar(varargin{1})
    gui_State.gui_Callback = str2func(varargin{1});
end

if nargout
    [varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:});
else
    gui_mainfcn(gui_State, varargin{:});
end
% End initialization code - DO NOT EDIT


% --- Executes just before Shiyufenxi is made visible.
function Shiyufenxi_OpeningFcn(hObject, eventdata, handles, varargin)
% This function has no output args, see OutputFcn.
% hObject    handle to figure
% eventdata  reserved - to be defined in a future version of MATLAB
% handles    structure with handles and user data (see GUIDATA)
% varargin   command line arguments to Shiyufenxi (see VARARGIN)

% Choose default command line output for Shiyufenxi
handles.output = hObject;

% Update handles structure
guidata(hObject, handles);

% UIWAIT makes Shiyufenxi wait for user response (see UIRESUME)
% uiwait(handles.figure1);


% --- Outputs from this function are returned to the command line.
function varargout = Shiyufenxi_OutputFcn(hObject, eventdata, handles) 
% varargout  cell array for returning output args (see VARARGOUT);
% hObject    handle to figure
% eventdata  reserved - to be defined in a future version of MATLAB
% handles    structure with handles and user data (see GUIDATA)

% Get default command line output from handles structure
varargout{1} = handles.output;


% --- Executes on button press in pushbutton1.
function pushbutton1_Callback(hObject, eventdata, handles)  %%打开按钮的回调函数
% hObject    handle to pushbutton1 (see GCBO)
% eventdata  reserved - to be defined in a future version of MATLAB
% handles    structure with handles and user data (see GUIDATA)
[filename,pathname]=uigetfile({'*.wav','All Wav Files'},'选择语音文件');
if filename ==0
    return;%如果没有选择新的文件，则返回
end
file=fullfile(pathname,filename);%文件名
[signal,fs]=audioread(file);%读取选择的语音数据
axes(handles.axes1)
plot(signal)%显示波形
title('原始语音波形')
handles.wavsignal=signal;
handles.fs=fs;
%Update handles structure
guidata(hObject,handles);

4、实验效果图














作者：SoaringLee_fighting

来源：CSDN

原文：https://blog.csdn.net/SoaringLee_fighting/article/details/89853323

版权声明：本文为博主原创文章，转载请附上博文链接！

THE END!