一、概要
图像经过傅里叶变换后，将图像在空域中的信息映射至频域空间中。图像的频域空间包含幅度谱以及相位谱，其中幅度谱反映的是图像的灰度信息，相位谱反应的是图像的位置信息，如轮廓。
本博文将基于傅里叶分析理论演示利用幅度谱与相位谱重构图像的过程，并验证幅度谱与相位谱在图像重构过程中的作用，最后在本文末给出全部代码。
二、图像的傅里叶变换及其可视化
首先将图像进行傅里叶变换得到图像的频谱并使其可视化。在这里应当注意傅里叶变换对是复数，因此需要构建双通道的Mat类存储复数的实部与虚部。
代码的主函数部分：

int main()
{
	Mat src = imread("T.jpg");
	Mat gray_src;
	cvtColor(src, gray_src, CV_BGR2GRAY);
	imshow("灰度化输入图像", gray_src);
	int m = getOptimalDFTSize(gray_src.rows);
	int n = getOptimalDFTSize(gray_src.cols);
	Mat padded;
	copyMakeBorder(gray_src, padded, 0, m - gray_src.rows, 0, n - gray_src.cols, BORDER_CONSTANT, Scalar::all(0));
	padded.convertTo(padded, CV_32FC1);
	//中心化
	for (int row = 0; row < padded.rows; row++)
	{
		for (int col = 0; col < padded.cols; col++)
		{
			padded.at<float>(row, col) *= pow(-1, row + col);
		}
	}
	Mat planes[] = { Mat_<float>(padded),Mat::zeros(padded.size(),CV_32F) };
	Mat complexI;
	merge(planes, 2, complexI);
	dft(complexI, complexI);
	split(complexI, planes);
	//显示幅度谱和相位谱
	Show_Spectrum(planes[0], planes[1]);
	//利用相位谱重构图像
	Phase_Spectrum_Reconstruction(planes[0], planes[1]);
	//利用幅度谱重构图像
	Amplitude_Spectrum_Reconstruction(planes[0], planes[1]);
	//利用幅度谱和相位谱重构图像
	Amplitude_Phase_Spectrum_Reconstruction(planes[0], planes[1]);
	waitKey(0);
	system("pause");
	return 0;
}

对图像求得傅里叶变换后，将图像的频谱可视化。该部分的子函数如下所示：

//根据幅度谱的定义计算傅里叶变换的幅度谱
Mat Magnitude(Mat Re, Mat Im)
{
	Mat rst = Mat::zeros(Re.rows, Re.cols, CV_32F);
	for (int row = 0; row < Re.rows; row++)
	{
		for (int col = 0; col < Re.cols; col++)
		{
			rst.at<float>(row, col) = sqrt(pow(Re.at<float>(row, col), 2) + pow(Im.at<float>(row, col), 2));
		}
	}
	return rst;
}
//根据相位谱的定义计算傅里叶变换的相位谱
Mat Phase(Mat Re, Mat Im)
{
	Mat rst = Mat::zeros(Re.rows, Re.cols, CV_32F);
	for (int row = 0; row < Re.rows; row++)
	{
		for (int col = 0; col < Re.cols; col++)
		{
			rst.at<float>(row, col) = atan2(Im.at<float>(row, col), Re.at<float>(row, col));
		}
	}
	return rst;
}
//显示图像的相位谱和幅度谱
void Show_Spectrum(Mat Re, Mat Im)
{
	Mat amplitude = Magnitude(Re, Im);
	Mat angle = Phase(Re, Im);
	amplitude += Scalar::all(1);
	log(amplitude, amplitude);
	normalize(amplitude, amplitude, 0, 1, NORM_MINMAX);
	normalize(angle, angle, 0, 1, NORM_MINMAX);
	imshow("图像傅里叶变换的幅度谱", amplitude);
	imshow("图像傅里叶变换的相位谱", angle);
}

本例使用泰勒斯威夫特的图片进行演示，输入图像如下：

将上图灰度化后得到单通道的灰度图像，对该灰度图像进行傅里叶变换后得到的幅度谱如下图所示：

相位谱如下图所示：

三、利用相位谱重构图像
经过上面的傅里叶变换容易得到图像的相位谱与幅度谱，此时图像的傅里叶谱为|F(u,v)|*exp(jφ(u,v))。令|F(u,v)|=1，得到图像的相位谱exp(jφ(u,v))。最后利用欧拉公式得到： exp(jφ(u,v))=cos(φ(u,v))+jsin(φ(u,v))。
代码实现时创建一个双通道的Mat类存储相位谱的实部与虚部，然后对相位谱进行傅里叶反变换即可。
该部分的子函数如下所示：

void Phase_Spectrum_Reconstruction(Mat Re, Mat Im)
{
	Mat angle = Phase(Re, Im);
	Mat Phase_Spectrum = Mat::zeros(angle.rows, angle.cols, CV_32FC2);//定义一个双通道的Mat类分别存储相位谱的实部与虚部
	for (int row = 0; row < Phase_Spectrum.rows; row++)
	{
		for (int col = 0; col < Phase_Spectrum.cols; col++)
		{
			Phase_Spectrum.at<Vec2f>(row, col)[0] = cos(angle.at<float>(row, col));//实部
			Phase_Spectrum.at<Vec2f>(row, col)[1] = sin(angle.at<float>(row, col));//虚部
		}
	}
	idft(Phase_Spectrum, Phase_Spectrum);

	Mat temp[] = { Mat_<float>(angle),Mat::zeros(angle.size(),CV_32F) };
	split(Phase_Spectrum, temp);
	magnitude(temp[0], temp[1], temp[0]);
	normalize(temp[0], temp[0], 0, 1, CV_MINMAX);
	imshow("相位谱重构图像", temp[0]);
}

利用相位谱重构的图像如下图所示：

利用相位谱很好的将图像的轮廓信息重构了出来，由此容易验证图像的相位谱存储的是图像的位置信息。但是由于缺乏幅度谱，因此重构后的图像缺少像素值上的变化。
四、利用幅度谱重构图像
令图像的傅里叶谱|F(u,v)|*exp(jφ(u,v))中的相位谱φ(u,v)等于0，得到幅度谱|F(u,v)|，然后对幅度谱进行傅里叶变换重构图像。
该部分的子函数如下所示：

void Amplitude_Spectrum_Reconstruction(Mat Re, Mat Im)
{
	Mat amplitude = Magnitude(Re, Im);
	Mat Amplitude_Spectrum = Mat::zeros(amplitude.rows, amplitude.cols, CV_32FC2);//定义一个双通道的Mat类分别存储幅度谱谱的实部与虚部
	for (int row = 0; row < Amplitude_Spectrum.rows; row++)
	{
		for (int col = 0; col < Amplitude_Spectrum.cols; col++)
		{
			Amplitude_Spectrum.at<Vec2f>(row, col)[0] = amplitude.at<float>(row, col)*pow(-1, row + col);//实部
			Amplitude_Spectrum.at<Vec2f>(row, col)[1] = 0;//虚部

		}
	}
	idft(Amplitude_Spectrum, Amplitude_Spectrum);

	Mat temp[] = { Mat_<float>(amplitude),Mat::zeros(amplitude.size(),CV_32F) };
	split(Amplitude_Spectrum, temp);
	magnitude(temp[0], temp[1], temp[0]);
	normalize(temp[0], temp[0], 0, 1, CV_MINMAX);
	imshow("幅度谱重构图像", temp[0]);
}

利用幅度谱重构图像得到的结果如下图所示：

由幅度谱无法重构原来的图像，这也验证了幅度谱只包含图像的灰度信息，对图像内容起决定性作用的是图像的相位谱。
五、利用幅度谱和相位谱重构图像
利用欧拉公式得到：|F(u,v)|*exp(jφ(u,v))=|F(u,v)|*cos(φ(u,v))+j|F(u,v)|*sin(φ(u,v))。
代码实现时创建一个双通道的Mat类存储上述傅里叶谱的实部与虚部，然后对其进行傅里叶反变换即可。
该部分的子函数如下所示：

void Amplitude_Phase_Spectrum_Reconstruction(Mat Re, Mat Im)
{
	Mat angle = Phase(Re, Im);
	Mat amplitude = Magnitude(Re, Im);
	Mat Amplitude_Phase_Spectrum = Mat::zeros(angle.rows, angle.cols, CV_32FC2);//定义一个双通道的Mat类分别存储相位谱的实部与虚部
	for (int row = 0; row < Amplitude_Phase_Spectrum.rows; row++)
	{
		for (int col = 0; col < Amplitude_Phase_Spectrum.cols; col++)
		{
			Amplitude_Phase_Spectrum.at<Vec2f>(row, col)[0] = amplitude.at<float>(row, col)*cos(angle.at<float>(row, col));//实部
			Amplitude_Phase_Spectrum.at<Vec2f>(row, col)[1] = amplitude.at<float>(row, col)*sin(angle.at<float>(row, col));//虚部
		}
	}
	idft(Amplitude_Phase_Spectrum, Amplitude_Phase_Spectrum);

	Mat temp[] = { Mat_<float>(angle),Mat::zeros(angle.size(),CV_32F) };
	split(Amplitude_Phase_Spectrum, temp);
	magnitude(temp[0], temp[1], temp[0]);
	normalize(temp[0], temp[0], 0, 1, CV_MINMAX);
	imshow("利用幅度谱和相位谱重构图像", temp[0]);
}

利用图像的幅度谱和相位谱重构的图像如下图所示：

很显然利用图像的幅度谱与相位谱完美的重构了图像。
六、完整代码

#include<iostream>
#include<opencv2/opencv.hpp>
#include<math.h>
#include<complex.h>
#include<complex>
using namespace std;
using namespace cv;
Mat Magnitude(Mat Re, Mat Im);
Mat Phase(Mat Re, Mat Im);
void Show_Spectrum(Mat Re, Mat Im);
void Phase_Spectrum_Reconstruction(Mat Re, Mat Im);
void Amplitude_Spectrum_Reconstruction(Mat Re, Mat Im);
void Amplitude_Phase_Spectrum_Reconstruction(Mat Re, Mat Im);
int main()
{
	Mat src = imread("T.jpg");
	Mat gray_src;
	cvtColor(src, gray_src, CV_BGR2GRAY);
	imshow("灰度化输入图像", gray_src);
	int m = getOptimalDFTSize(gray_src.rows);
	int n = getOptimalDFTSize(gray_src.cols);
	Mat padded;
	copyMakeBorder(gray_src, padded, 0, m - gray_src.rows, 0, n - gray_src.cols, BORDER_CONSTANT, Scalar::all(0));
	padded.convertTo(padded, CV_32FC1);
	//中心化
	for (int row = 0; row < padded.rows; row++)
	{
		for (int col = 0; col < padded.cols; col++)
		{
			padded.at<float>(row, col) *= pow(-1, row + col);
		}
	}
	Mat planes[] = { Mat_<float>(padded),Mat::zeros(padded.size(),CV_32F) };
	Mat complexI;
	merge(planes, 2, complexI);
	dft(complexI, complexI);
	split(complexI, planes);
	//显示幅度谱和相位谱
	Show_Spectrum(planes[0], planes[1]);
	//利用相位谱重构图像
	Phase_Spectrum_Reconstruction(planes[0], planes[1]);
	//利用幅度谱重构图像
	Amplitude_Spectrum_Reconstruction(planes[0], planes[1]);
	//利用幅度谱和相位谱重构图像
	Amplitude_Phase_Spectrum_Reconstruction(planes[0], planes[1]);
	waitKey(0);
	system("pause");
	return 0;
}
Mat Magnitude(Mat Re, Mat Im)
{
	Mat rst = Mat::zeros(Re.rows, Re.cols, CV_32F);
	for (int row = 0; row < Re.rows; row++)
	{
		for (int col = 0; col < Re.cols; col++)
		{
			rst.at<float>(row, col) = sqrt(pow(Re.at<float>(row, col), 2) + pow(Im.at<float>(row, col), 2));
		}
	}
	return rst;
}
Mat Phase(Mat Re, Mat Im)
{
	Mat rst = Mat::zeros(Re.rows, Re.cols, CV_32F);
	for (int row = 0; row < Re.rows; row++)
	{
		for (int col = 0; col < Re.cols; col++)
		{
			rst.at<float>(row, col) = atan2(Im.at<float>(row, col), Re.at<float>(row, col));
		}
	}
	return rst;
}
void Show_Spectrum(Mat Re, Mat Im)
{
	Mat amplitude = Magnitude(Re, Im);
	Mat angle = Phase(Re, Im);
	amplitude += Scalar::all(1);
	log(amplitude, amplitude);
	normalize(amplitude, amplitude, 0, 1, NORM_MINMAX);
	normalize(angle, angle, 0, 1, NORM_MINMAX);
	imshow("图像傅里叶变换的幅度谱", amplitude);
	imshow("图像傅里叶变换的相位谱", angle);
}
void Phase_Spectrum_Reconstruction(Mat Re, Mat Im)
{
	Mat angle = Phase(Re, Im);
	Mat Phase_Spectrum = Mat::zeros(angle.rows, angle.cols, CV_32FC2);//定义一个双通道的Mat类分别存储相位谱的实部与虚部
	for (int row = 0; row < Phase_Spectrum.rows; row++)
	{
		for (int col = 0; col < Phase_Spectrum.cols; col++)
		{
			Phase_Spectrum.at<Vec2f>(row, col)[0] = cos(angle.at<float>(row, col));//实部
			Phase_Spectrum.at<Vec2f>(row, col)[1] = sin(angle.at<float>(row, col));//虚部
		}
	}
	idft(Phase_Spectrum, Phase_Spectrum);

	Mat temp[] = { Mat_<float>(angle),Mat::zeros(angle.size(),CV_32F) };
	split(Phase_Spectrum, temp);
	magnitude(temp[0], temp[1], temp[0]);
	normalize(temp[0], temp[0], 0, 1, CV_MINMAX);
	imshow("相位谱重构图像", temp[0]);
}
void Amplitude_Spectrum_Reconstruction(Mat Re, Mat Im)
{
	Mat amplitude = Magnitude(Re, Im);
	Mat Amplitude_Spectrum = Mat::zeros(amplitude.rows, amplitude.cols, CV_32FC2);//定义一个双通道的Mat类分别存储幅度谱谱的实部与虚部
	for (int row = 0; row < Amplitude_Spectrum.rows; row++)
	{
		for (int col = 0; col < Amplitude_Spectrum.cols; col++)
		{
			Amplitude_Spectrum.at<Vec2f>(row, col)[0] = amplitude.at<float>(row, col)*pow(-1, row + col);//实部
			Amplitude_Spectrum.at<Vec2f>(row, col)[1] = 0;//虚部

		}
	}
	idft(Amplitude_Spectrum, Amplitude_Spectrum);

	Mat temp[] = { Mat_<float>(amplitude),Mat::zeros(amplitude.size(),CV_32F) };
	split(Amplitude_Spectrum, temp);
	magnitude(temp[0], temp[1], temp[0]);
	normalize(temp[0], temp[0], 0, 1, CV_MINMAX);
	imshow("幅度谱重构图像", temp[0]);
}
void Amplitude_Phase_Spectrum_Reconstruction(Mat Re, Mat Im)
{
	Mat angle = Phase(Re, Im);
	Mat amplitude = Magnitude(Re, Im);
	Mat Amplitude_Phase_Spectrum = Mat::zeros(angle.rows, angle.cols, CV_32FC2);//定义一个双通道的Mat类分别存储相位谱的实部与虚部
	for (int row = 0; row < Amplitude_Phase_Spectrum.rows; row++)
	{
		for (int col = 0; col < Amplitude_Phase_Spectrum.cols; col++)
		{
			Amplitude_Phase_Spectrum.at<Vec2f>(row, col)[0] = amplitude.at<float>(row, col)*cos(angle.at<float>(row, col));//实部
			Amplitude_Phase_Spectrum.at<Vec2f>(row, col)[1] = amplitude.at<float>(row, col)*sin(angle.at<float>(row, col));//虚部
		}
	}
	idft(Amplitude_Phase_Spectrum, Amplitude_Phase_Spectrum);

	Mat temp[] = { Mat_<float>(angle),Mat::zeros(angle.size(),CV_32F) };
	split(Amplitude_Phase_Spectrum, temp);
	magnitude(temp[0], temp[1], temp[0]);
	normalize(temp[0], temp[0], 0, 1, CV_MINMAX);
	imshow("利用幅度谱和相位谱重构图像", temp[0]);
}

写在前面的话

  准备根植于语音信号处理这一领域，所以在此对于自己已了解的频谱特征进行总结。非通信专业，若有疏漏，希望可以在评论区指出，谢谢。

一、时域信号获取

  在科研方面，我们用的语音信号一般均是.wav或.pcm格式。就个人而言，使用.wav最为频繁。

1.1 python读取.wav文件

1.1.1 soundfile

import soundfile as sf
clean_sig, sr = sf.read('./datasets/SX97_-5_leopard_014930_speech.wav')
print('内容：' + str(clean_sig))
print('形状：' + str(clean_sig.shape))
print('采样率：' + str(sr))
print('类型：' + str(clean_sig.dtype))

输出：

内容：[ 3.05175781e-05 -3.05175781e-05 -6.10351562e-05 ...  3.05175781e-05
  3.05175781e-05  1.83105469e-04]
形状：(32871,)
采样率：16000
类型：float64

1.1.2 scipy

from scipy.io import wavfile
# 注意此方法返回的结果，采样率是第一个参数，信号是第二个参数
sr, clean_sig = wavfile.read('./datasets/SX97_-5_leopard_014930_speech.wav')
print('内容：' + str(clean_sig))
print('形状：' + str(clean_sig.shape))
print('采样率：' + str(sr))
print('类型：' + str(clean_sig.dtype))

输出：

内容：[ 1 -1 -2 ...  1  1  6]
形状：(32871,)
采样率：16000
类型：int16

1.1.3 总结

  可以看到两种方法读出来的数据形状一样，但是内容差距很大。原因是，wav音频绝大部分以16位整形数据存在文件中。soundfile读取出来的是原始音频信息，而‘scipy.io’中读出来的整数，其实scipy.io中读出来的是将数值等比例缩放了$2^{15}$倍，也就是乘了$2^{15}$=32768，如：$$3.05175791\ast 10^{-5}\ast 32768=1.0000000319$$
因此可以看出，soundfile的方法读出来的数据要比scipy.io读出来的更为精确。
  对于读出的数据每个值，我们称之为采样点，sr为采样率，两者的关系是：采样率是指在1秒内，对信号采样的次数，如：16000采样率(16kHz)表示在1秒的时间内，对信号采样16000次，即16000个采样点表示1秒种的语音。

二、频谱特征

  频谱特征是指在频域上的信号特征，我们采用短时傅里叶变换(short-time Fourier transform, STFT)将时域信号变换到频域上。有关傅里叶变换的知识以后总结。

2.1 傅里叶变换后的信号

  在这里，我们使用librosa包中的stft方法将时域信号变换到频域。

import soundfile as sf
import librosa
clean_sig, sr = sf.read('./datasets/SX97_-5_leopard_014930_speech.wav')
clean_spec = librosa.stft(clean_sig, win_length=320, hop_length=160, n_fft=320)
print('内容：' + str(clean_spec))
print('形状：' + str(clean_spec.shape))

输出：

内容：[[ 8.76316987e-03+0.0000000e+00j  1.29083162e-02+0.0000000e+00j
   9.13359132e-03+0.0000000e+00j ...  7.62358448e-03+0.0000000e+00j
   7.58317392e-03+0.0000000e+00j  1.10339485e-02+0.0000000e+00j]
 [-1.75022508e-03+4.3040286e-19j -7.37327803e-03-1.4874971e-03j
  -4.45753196e-03+1.2122139e-03j ... -3.66999581e-03+6.7065289e-04j
  -2.64038169e-03+1.6806803e-04j -5.55054098e-03-1.2115777e-04j]
 [-4.30344604e-03-6.1006659e-19j  5.33141894e-04+2.7573726e-04j
   8.00883863e-04-1.3510550e-03j ... -3.78675119e-04-2.0164346e-04j
  -1.67590310e-03+4.1538148e-04j -4.49120067e-04+4.6450400e-04j]
 ...
 [ 9.26596869e-04-1.7111648e-19j -7.02931487e-04-9.0587000e-06j
   7.64308905e-04-1.3586872e-04j ... -3.17405735e-04+6.6111665e-05j
  -6.93979207e-04+7.6773483e-04j -7.75805966e-04-7.5752003e-05j]
 [-8.64989765e-04+5.0811411e-20j  2.63431924e-04-1.3580784e-04j
  -2.29876296e-05+6.2994589e-04j ...  4.75295201e-05-3.6528043e-04j
   4.57464193e-04-7.0705859e-04j  9.95153969e-05+4.5833897e-04j]
 [ 9.03499953e-04+0.0000000e+00j -1.09811270e-04+0.0000000e+00j
  -3.26593174e-04+0.0000000e+00j ... -1.62867364e-04+0.0000000e+00j
   1.52526351e-04+0.0000000e+00j  4.80814284e-04+0.0000000e+00j]]
形状：(161, 206)
类型：complex64

可以看到，经过傅里叶变换后，信号类型变成了complex64，也就是复数。

2.2 幅度谱(magnitude spectrogram)

 有时候文章里还使用amplitude，在语音信号处理领域也译为幅度谱

  将信号变换到频域上之后，对信号进行取模操作即可获取幅度谱。

import numpy as np
import soundfile as sf
import librosa
clean_sig, sr = sf.read('./datasets/SX97_-5_leopard_014930_speech.wav')
clean_spec = librosa.stft(clean_sig, win_length=320, hop_length=160, n_fft=320)
mag = np.abs(clean_spec)
print('内容：' + str(mag))
print('形状：' + str(mag.shape))
print('类型：' + str(mag.dtype))

输出：

内容：[[0.00876317 0.01290832 0.00913359 ... 0.00762358 0.00758317 0.01103395]
 [0.00175023 0.00752183 0.00461942 ... 0.00373077 0.00264573 0.00555186]
 [0.00430345 0.00060023 0.00157059 ... 0.00042902 0.00172661 0.00064612]
 ...
 [0.0009266  0.00070299 0.00077629 ... 0.00032422 0.0010349  0.0007795 ]
 [0.00086499 0.00029638 0.00063037 ... 0.00036836 0.00084214 0.00046902]
 [0.0009035  0.00010981 0.00032659 ... 0.00016287 0.00015253 0.00048081]]
形状：(161, 206)
类型：float32

2.3 相位谱(phase spectrogram)

  将信号变换到频域上之后，对信号进行取相位角操作即可获取信号的相位谱(相位信息)。

import numpy as np
import soundfile as sf
import librosa
clean_sig, sr = sf.read('./datasets/SX97_-5_leopard_014930_speech.wav')
clean_spec = librosa.stft(clean_sig, win_length=320, hop_length=160, n_fft=320)
phase = np.angle(clean_spec)
print('内容：' + str(phase))
print('形状：' + str(phase.shape))
print('类型：' + str(phase.dtype))

输出为：

内容：[[ 0.0000000e+00  0.0000000e+00  0.0000000e+00 ...  0.0000000e+00
   0.0000000e+00  0.0000000e+00]
 [ 3.1415927e+00 -2.9425230e+00  2.8760667e+00 ...  2.9608476e+00
   3.0780256e+00 -3.1197679e+00]
 [-3.1415927e+00  4.7730723e-01 -1.0356996e+00 ... -2.6522865e+00
   2.8986335e+00  2.3393579e+00]
 ...
 [-1.8467198e-16 -3.1287065e+00 -1.7592894e-01 ...  2.9362411e+00
   2.3057790e+00 -3.0442581e+00]
 [ 3.1415927e+00 -4.7599661e-01  1.6072716e+00 ... -1.4414054e+00
  -9.9653566e-01  1.3569930e+00]
 [ 0.0000000e+00  3.1415927e+00  3.1415927e+00 ...  3.1415927e+00
   0.0000000e+00  0.0000000e+00]]
形状：(161, 206)
类型：float32

2.5 能量谱(power spectrogram)

  对信号的幅度谱做平方操作，即可获取能量谱。

import numpy as np
import soundfile as sf
import librosa
clean_sig, sr = sf.read('./datasets/SX97_-5_leopard_014930_speech.wav')
clean_spec = librosa.stft(clean_sig, win_length=320, hop_length=160, n_fft=320)
mag = np.abs(clean_spec)
energy = mag ** 2
print('内容：' + str(energy))
print('形状：' + str(energy.shape))
print('类型：' + str(energy.dtype))

输出：

内容：[[7.67931488e-05 1.66624624e-04 8.34224920e-05 ... 5.81190397e-05
  5.75045269e-05 1.21748017e-04]
 [3.06328775e-06 5.65778791e-05 2.13390540e-05 ... 1.39186450e-05
  6.99986276e-06 3.08231829e-05]
 [1.85196477e-05 3.60271315e-07 2.46676450e-06 ... 1.84054940e-07
  2.98119289e-06 4.17472791e-07]
 ...
 [8.58581757e-07 4.94194751e-07 6.02628347e-07 ... 1.05117145e-07
  1.07102392e-06 6.07613288e-07]
 [7.48207299e-07 8.78401494e-08 3.97360225e-07 ... 1.35688850e-07
  7.09205381e-07 2.19977920e-07]
 [8.16312138e-07 1.20585151e-08 1.06663101e-07 ... 2.65257789e-08
  2.32642883e-08 2.31182369e-07]]
形状：(161, 206)
类型：float32

2.6 梅尔谱(mel spectrogram)

  将幅度谱通过梅尔滤波器组，得到的结果就是梅尔谱。

import soundfile as sf
import librosa
clean_sig, sr = sf.read('./datasets/SX97_-5_leopard_014930_speech.wav')
clean_mel_spec = librosa.feature.melspectrogram(clean_sig, sr=sr, win_length=320, hop_length=160, n_fft=320)
print('内容：' + str(clean_mel_spec))
print('形状：' + str(clean_mel_spec.shape))
print('类型：' + str(clean_mel_spec.dtype))

输出：

内容：[[0.0000000e+00 0.0000000e+00 0.0000000e+00 ... 0.0000000e+00
  0.0000000e+00 0.0000000e+00]
 [1.1288448e-07 2.0849377e-06 7.8636032e-07 ... 5.1291261e-07
  2.5795026e-07 1.1358577e-06]
 [1.8121774e-08 3.3470297e-07 1.2623741e-07 ... 8.2339810e-08
  4.1409734e-08 1.8234354e-07]
 ...
 [5.3398366e-09 2.5303654e-08 1.8074982e-08 ... 5.1210187e-09
  4.2730499e-09 7.5652693e-09]
 [9.4773158e-09 1.9163979e-08 9.7578639e-09 ... 3.4058807e-09
  7.2911930e-09 1.6748615e-08]
 [4.6306328e-09 2.6178222e-08 1.1558068e-08 ... 4.3883781e-09
  1.4969601e-08 2.6740691e-08]]
形状：(128, 206)
类型：float32

  在此处是直接使用的librosa.feature.melspectrogram方法，其实去看该方法的实现就可以看到，先做了_spectrogram()，然后做了‘filters.mel()’。而_spectrogram()方法是做了abs(stft())

2.7 梅尔倒谱系数(Mel-scale Frequency Cepstral Coefficients, MFCC)

  MFCC，是对梅尔谱特征取对数操作后，提取倒谱参数(DCT)。

import soundfile as sf
import librosa
clean_sig, sr = sf.read('./datasets/SX97_-5_leopard_014930_speech.wav')
clean_mfcc = librosa.feature.mfcc(clean_sig, sr=sr, n_mfcc=40)
print('内容：' + str(clean_mfcc))
print('形状：' + str(clean_mfcc.shape))
print('类型：' + str(clean_mfcc.dtype))

输出：

内容：[[-7.4360229e+02 -7.4118781e+02 -7.4623761e+02 ... -6.4906628e+02
  -6.8241693e+02 -7.1324139e+02]
 [ 1.0094034e+01  1.1340399e+01  9.1006794e+00 ...  5.2873005e+01
   4.1353008e+01  3.2668667e+01]
 [ 2.4416672e+01  2.3510887e+01  1.7528904e+01 ... -3.7687920e+01
  -2.2165060e+01 -5.7691031e+00]
 ...
 [-9.3942904e-01  1.3458931e-01  3.1641185e+00 ...  3.6823349e+00
   1.2929006e+00 -3.8065696e-01]
 [-4.0057945e+00 -2.4740624e+00  2.5400662e+00 ...  5.5418024e+00
   1.1933881e+00 -9.6134186e-01]
 [ 1.9161583e+00  6.8438768e-01 -2.7315216e+00 ...  2.4877858e+00
   1.9765708e+00 -6.7191064e-01]]
形状：(40, 65)
类型：float32

三、总结