由于对每一个用户对映射后的等效信道进行 SVD 会带来高计算复杂度, 因此, 我们希望对其进行简化 .利用矩阵奇异值性质 : 矩阵 A 所有奇异值的平方和等于 A 的 F 范数的平方, 可以得到, 计算每对用户等效信道矩阵的 F 范数, 按照范数值进行选择, 就能够获得相同的多用户分集增益 .

《认知无线电网络基于 F 范数的频谱共享》

----------------------------------------------------------------------

向量的2范数与F范数相同

对应元素平方和后开方 sqrt(sum(xi.^2))；也等于因为向量乘以其逆后为1个数，再开方。

 

 

--------------------------------------------------------------------------

矩阵的2范数即：矩阵ATA的最大特征值开平方根，MATLAB代码实现为：norm（A，2）或者norm（A）

矩阵的F范数即：矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的有点在它是一个凸函数，可以求导求解，易于计算。MATLAB代码实现为：norm（A，‘fro’）

https://blog.csdn.net/zaishuiyifangxym/article/details/81673491?utm_medium=distribute.pc_relevant.none-task-blog-title-3&spm=1001.2101.3001.4242

 

 

 

 

 

如果范数║·║满足║A║=║UAV║对任何矩阵A以及酉矩阵U,V成立，那么这个范数称为酉不变范数。　

容易验证，2-范数和F-范数是酉不变范数。因为酉变换不改变矩阵的奇异值，所以由奇异值得到的范数是酉不变的，比如2-范数是最大奇异值，F-范数是所有奇异值组成的向量的2-范数。　

反过来可以证明，所有的酉不变范数都和奇异值有密切联系。

作者：愚雨

链接：https://www.zhihu.com/question/63657627/answer/665832998

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

 

简而言之，2范数是由向量范数诱导而来，F范数是直接定义。是两种不同的度量方式。

在  的空间里，矩阵的欧式范数直接被定义为F范数，即矩阵所有元素的平方和的算术平方根。



同时，如果把矩阵看做线性算子，则矩阵的范数可以看做由在两个向量空间  和  上分别定义的范数诱导而来，定义如下。



 

 

因此可见，楼主此处所问的2范数，应该是指上图中的spectral norm，即由  和  上分别定义的2范数诱导而来，得到的是最大的奇异值。


作者：愚雨

链接：https://www.zhihu.com/question/63657627/answer/665832998

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

参考资料：[First-order Methods in Optimization CHAPTER 1] by Amir Beck

作者:einyboy or alert

（注本文有些图片来源于网络）

鸡尾酒宴会问题：

      假设在party中有n个人，他们可以同时说话，我们也在房间中一些角落里共放置了n个声音接收器（Microphone）用来记录声音。宴会过后，我们从n个麦克风中得到了一组数据 ，i表示采样的时间顺序，也就是说共得到了m组采样，每一组采样都是n维的。我们的目标是单单从这m组采样数据中分辨出每个人说话的信号。

图示跟数学表达如下：

 

 



X=AS

S是原始信号，X是麦克峰采集出来的信号，A是表征信道特征的混合矩阵。另一种表达如下：



 

为了求由X求S，我们能不能写出S=inv(A)*X?是不行的，因为我们

没有A的相关知识。我们换个思路，显然由常识X的分量是相关的，认为S的分量是相互独立的（说白点就是不同的说话人），我们找一个矩阵W，使得U = WX,而U的个个分量是独立的就行了，有一种叫做ICA的独立成分分析算法我以解这种问题。请注意ICA算法要求原信号S是独立同分布的非高斯分布才行。ICA对高斯分布来说是病态，为什么呢，想想中心极限定理就知道了。下面对ICA的算法做一个介绍，不做深入的数学推导：

1、         中心化：也就是求X均值，然后让所有X减去均值。

          X = X-mean(X)

2、    白化：目的是将x乘以一个矩阵变成 ，使得 的协方差矩阵是 I 即

     

     我们只需用下面的变换，就可以从x得到想要的 。

     

     其中使用特征值分解来得到E（特征向量矩阵）和D（特征值对角矩阵），计算公式为

     

  这样做的目的是消除二阶统计量的相关性，就是PCA分析了。

3、随机初始化一个矩阵W，并归一化：



 

4、计算



 

g是一个非线性函数，可以是下面一些函数：



 

 

 

5、W进行归范化：



 

6、如果W没有收敛，转第4步，否则算法结束

代码运行截图如下：

 

 

代码：http://download.csdn.net/source/3321665

man.wav   源信号

music.wav  源信号

MixedS1.wav混合信号

MixedS2.wav混合信号

SS1.wav解混信号

SS2.wav解混信号

ICADemo.m程序文件

 

摘要：

      以高斯分布为基础的说话人识别系统使用通用背景的模型(UBM)需要广泛的数据资源尤其是多信道和多个麦克风种类下采集语音。本研究主要是对训练UBM模型数据的选择对整个系统性能的影响做一个系统的分析，训练UBM模型时选择的数据的方式主要涉及下面几个方面：数据数目的改变、特征帧的子样本结构、说话人数量的改变。UBM的协方差矩阵和系统性能有高度相关性，因此主要通过计算UBM协方差矩阵看系统性能，主要在下面几种情况下计算UBM的协方差矩阵：保持训练UBM模型的数据集合不变，总的数据数量改变；保持数据总量不变，改变训练UBM的说话人数量。讨论了特征子样本选择在提升计算速度方面的优点。一个新颖有效的基于距离的语音帧的选择方法（phonetic distance-based frame selection method)被提出。子样本的方法在仅仅使用1%的原始UBM训练数据的情况下能够跟基线系统保持一致，这样就能使得训练时间巨幅减少。打破了数据越多越好的迷信。在保持数据总量不变的情况下，增加训练UBM模型的说话人的数量可以提升系统性能。最后，基于不同说话人种类的两种说话人选择方案被提出后，实验发现，通过选择UBM说话人多样性，在使用少于原始UBM模型训练数据30%的情况下，系统性能仍然能保持基线系统水平。

I.介绍

基于GMM的说话人识别模型历久不衰，最基础的基于GMM的说话人识别方法包括GMM-UBM(通用模型参数的后验概率自适应）和GMM超矢量的支持向量机模型（GMM-SVM）。所有这些方法得到完善通过使用额外的归一化方案，如因子分析，eigenvoice(语音本征）或者nuisance attribute projection(NAP)（？滋扰性映射）。

说话人识别系统中基本都有一个共同元素就是UBM,本质是一个大GMM，通常训练出来用来表示所有说话人的语音帧的与说话人无关的分布，作为the expected alternative speaker model(预期的说话人替代模型）同时也用于开源集合的说话人识别系统（open-set speaker recognition ）.在GMM-SVM,GMM-UBM中，所有说话人模型都依赖于UBM。关于UBM研究较少，训练UBM的通常想法是用尽可能多的说话人和涵盖各种环境的（信道和说话环境）语音来训练。没有考虑UBM训练对系统整体性能的影响。本文给出UBM训练过程和UBM训练数据组成与系统性能的关系。



 

本文研究主要集中于数据参数的部分改变对系统性能的影响。

之前学术界一致认为用越多的语音数据训练UBM越越能模拟真实世界的语音环境，但是没有证据表明是对的哟，【2】文献表明只要说话人的数量保持一致，少量语音数据依旧可以得到性能好的说话人识别系统。本文，系统分析UBM训练中这个方法的影响，从UBM参数中确定数据多样性的衡量标准，然后确定这些变化与系统性能的关系。

从给定语音信息中抽取特征向量子集从而减少数据量，抽取方式：随机抽取特征帧（没考虑语音内容不靠谱），本文使用an adaptive phoneme dependent feature sub-sampling scheme(自适应音素依赖特征子采样方案),来使用少量数据抓住每段语音特征的细微差别。说话人之间多样性与UBM相关，说话人自身语音音素多样性与UBM无关，一个说话人语音时间太长，有些音素会出现的很频繁或者持续时间较长，这就会导致这个音素在UBM模型中说话人自身的概率密度函数失衡（？？？）。通过选择特征矢量方式减少数据量对计算资源和系统性能都有好处。

UBM数据的说话人之间多样性与目前数据库中说话人数量直接相关。UBM训练数据的说话人数量对系统性能有影响。如何选择多样化的UBM说话人数据也是本文所讨论的。

II UBM定义 以及理想的UBM的参数设定

使用大量的说话人语音的声学特征训练的与说话人无关的高斯混合模型，这个模型代表了

III 基线系统 

IV 改变UBM训练数据数量对系统性能影响

V 特征子采样方法

VI 分析改变说话人数量的影响

VII  说话人子采样方法

VIII 结论

UBM训练数据参数的改变可能对提升系统性能EER降低或者minDCF没啥影响，但是就使用少量数据就能训练处UBM模型节省计算资源和得到一个涵盖面更广的平衡的UBM很重要。

II 理想UBM

 UBM是说话人无关的GMM，使用大量说话人的语音声学特征训练得到，用来表示特征的说话人无关的通用的概率分布。



A 数据平衡 B 数据量



III 基线系统

A 系统概述

没有错误匹配补偿和分数归一化的标准GMM-UBM模型

1.前端取39维MFCC

2.特征扰动（feature warping）

3. VAD

4.1024 mixtures

5.使用HTK Tools中的最大似然估计标准 进行15次迭代/per mixture split

6.选取期望log似然最佳20个分数

B.UBM数据库

1）NIST SRE 2004 1-s 126个男语音 5-min/per

2) NIST SRE 2006 和NIST SRE 2004 392个男发音 多信道和多麦克风

C 计算资源

IV UBM数据选择



从上面的四幅图可知每个语音选取2.7s就足以得到较好的识别结果。

 V 特征帧的子采样

LSF:选取一段语音的前几帧

UFS：均匀在这段语音上选取几帧

RFS：随机在这段语音上选取几帧

IFS：根据帧之间相似度（用距离测量）进行选取差异性大的帧

A。基于欧氏距离的特征帧选取



IFS方法太特么复杂我看了三遍没整明白，我打算后期再推，赶进度。。。不懂别怪别怪。。。无视上面的夹爪字。。。

B。性能比较 

IFS的帧选择方案性能最好

VI 说话人数量影响



不多解释都在图里

VII 说话人数据选择

选择大量不相似的说话人能够提升系统性能。说话人之间的相似性会导致聚类的产生，从而在计算似然度的时候出现不平衡现象，这里说话人的选择依据就是对于相似的说话人只选择其中一个，差异性比较大的说话人都选择进来作为UBM模型训练的样本。选择方法有以下两种：

A. KL Divergence-Based Speaker Selection

比较两个说话人模型之间的KL差异



试验之后结论：如果训练UBM模型的说话人多样性进行仔细选择，很少的数据的训练就能达到基线系统水平

VIII 结论

适当减少语音量和仔细选择说话人数量能够达到基线系统识别水平。

一、什么是有记忆调制
$\quad$连续发送的信号间具有相关性，引入相关性能使得发送信号频谱与信道的频谱特征相适应。可以通过编码来引入相关性。有记忆调制分为有记忆线性调制和有记忆非线性调制。
二、有记忆线性调制
$\quad$三种基带信号：

NRZ(非归零)：二进制1用幅度为A的矩形脉冲表示，0用幅度为-A的矩形脉冲，没有引入记忆
NRZI(非归零反转)：也叫差分编码，发送1时幅度电平发生转换，发送0时与上一时刻一样，引入了记忆
延迟调制(密勒码)

$\quad$转移矩阵：由信号间转移概率构成的矩阵。转移概率$P_{ij}$表示当先前发送信号波形$s_i(t )$之后，发送当前波形$s_j(t)$的概率.如下图所示：



$\quad$信号相关性的描述方法一般有状态图、转移矩阵和网格图三种。下图为NRZI信号对应的描述：



$\quad$下图为延迟调制对应的三种描述：


三、有记忆非线性调制
$\quad$这一节主要介绍CPFSK和CPM两种有记忆非线性调制方式。
连续相位FSK
$\quad$无记忆FSK：用不同的频率携带要发送的数字信号，各频率间相互独立。由此特点可以得到无记忆FSK的缺点：存在频率突发式切换，造成频谱旁瓣增加，需要较大的传输带宽。解决方法就是：引入记忆，使载波相位连续变化，即CPFSK。

$\quad$CPFSK：以PAM信号$d(t)=\sum_n I_ng(t-nT)$来对载波进行频率调制，从而获得等效低通波形$v(t)=\sqrt{\frac{2ε}{T}}e^{j[4\pi Tf_d \int d(\tau)d\tau+\phi_0]}$，相应的已调信号波形为$s(t)=\sqrt{\frac{2ε}{T}}cos[2\pi f_ct+\phi(t,I)+\phi_0]$，其中$\phi(t,I)=4\pi Tf_d \int d(\tau)d\tau$。

尽管d(t)具有不连续性，但d(t)的积分是连续的——连续相位。

$\quad$接下来对$\phi(t,I)$进行进一步的探究：


连续相位调制CPM：CPFSK推广到一般情况
CPM的特例：最小移频键控MSK
四、数字调制信号的功率谱
$\quad$选择调制技术时,必须考虑信道带宽的约束和带宽效率。如果求出随机过程的功率谱密度,就可以确定信号所需的信道带宽.

$\quad$假设已调信号为$s(t)=Re\{v(t)e^{j2\pi f_ct}\}$，其自相关函数为$\phi_{ss}(\tau)=Re\{\phi_{vv}(\tau)e^{j2\pi f_ct}\}$，其功率谱密度即为自相关函数的傅里叶变换，可以推得$\Phi_{ss}(f)=\frac{1}{2}[\Phi_{vv}(f-f_c)+\Phi_{vv}(-f-f_c)]$因此，求已调信号的功率谱，只要确定等效低通信号v(t)的自相关函数和功率谱即可！

$\quad$等效低通信号为$v(t)=\sum_{n=-\infty}^{n=\infty} I_ng(t-nT)$，$I_n$的自相关函数为$\phi_{ii}(m)=\frac{1}{2}E[I_n^*I_{n+m}]$。$v(t)$的自相关函数密度为$\Phi_{vv}(f)=\frac{1}{T}|G(f)|^2\Phi_{ii}(f)$，其中$G(f)=F[g(t)],\Phi_{ii}(f)=\sum_{m=-\infty}^{\infty}\phi_{ii}(m)e^{-j2\pi fmT}$。

$\quad$上述式子说明了$v(t)$的功率谱密度由两个因素决定：

调制用的基本脉冲$g(t)$，较平滑的$g(t)$导致更紧凑的功率谱密度
信息序列${I_n}$的功率谱密度，取决于信息序列的相关特性，控制它可以得到不同的PSD

$\quad$TIPS:对于任意信息序列的自相关$\phi_{ii}(m)$ ：相应的功率谱密度$\phi_{ii}(m)$是以$\frac{1}{T}$为周期的频率函数。
$\quad$当消息符号为实数，且互不相关时，可以得到化简后的功率谱$\Phi_{vv}(f)=\frac{\sigma_i^2}{T}|G(f)|^2+\frac{\mu_i^2}{T^2}\sum_{m=-\infty}^{\infty}|G(m/T)|^2\delta(f-m/T)$进一步的特性分析见下图：