向量维度 空间维度

样本空间：以样本的属性为坐标轴张成的多维空间，也叫属性空间，输入空间。
 
        实际问题中，样本的属性就是样本的特征向量，所以样本的特征向量维度越高，张成的样本空间就越大，如果样本的特征向量是二维的（x, y）,则样本空间是是一个二维空间，即一个平面，如果特征向量是三维的（x, y, z）,张成的样本空间就是三维空间，我们现实世界中的每一个物体的坐标就可以用三维的特征向量来描述。当然这两个例子中特征向量的每一个元素取值都是无限多的（负无穷到正无穷且连续），可以假设特征向量的每一个元素都只有两个取值可能，可以直观地看到，当我们的特征向量增加维度地时候，每增加一个维度，则要覆盖住样本空间需要地样本数目是以2的指数级增长的，特征向量的维度越高，完全覆盖住样本空间需要的样本数也就越多
 
特征向量（x），只需要两个样本就可完全覆盖
 
                （x,y），需要4（2^2）个样本完全覆盖
 
                  （x,y,z）需要8（2^3）个样本完全覆盖
 
                       ..........
 
降维与过（欠）拟合问题：当我们用高维度的特征向量来作为训练样本时，样本空间很大，需要大量的训练样本才能保证分类器见过每一类的样本的不同特征表示（每一类样本的特征向量不是完全相同的，相当于我们的分类的C个类别把样本空间给瓜分了，每一个类别包含了样本空间的一部分，但也是相当可观数目的特征向量了，高维时想让分类器见到每一类所有可能的特征向量几乎时不可能的），样本数目不够的时候，很容易导致欠拟合，且我们在真正分类的时候，有些特征可能是不需要的，特别地，这些特征可能只在训练集中有，测试集是没有的，而当我们用大量的样本使得分类器学到了这些不需要的特征，这就导致我们的分类器泛化性能差。所以可以用降维的方法来解决过拟合的问题。

问题一：在NLP任务中，词向量维度（embedding size）是否一定要等于LSTM隐藏层节点数（hidden size）？
 
词向量（Word Embedding）可以说是自然语言处理任务的基石，运用深度学习的自然语言处理任务更是离不开词向量的构造工作。在文本分类，问答系统，机器翻译等任务中，LSTM的展开步数（num_step）为输入语句的长度，而每一个LSTM单元的输入则是语句中对应单词或词组的词向量。
 
对于embedding size是否一定要等于LSTM的hidden size 这样一个问题，我们可以通过了解单个LSTM单元的原理来进行回答。
 
我们输入LSTM的 input vector，也就是每个单词的word embedding这里称为vector A，LSTM的三个gate的控制是通过vector A来控制的，具体方法是通过乘以权重矩阵（weight），再加上偏置值（bias）形成新的一个vector，这个vector我们可以理解成gate的控制信号。而控制三个gate就需要三组不同的weight 和bias。LSTM传入神经网络输入层输入的vector（称为vector B）跟产生的三个控制信号的方法一样，也是通过vector A乘以一组weight 和bias产生。
 
这里放几张图片再来解释说明一下。（图片源于台大李弘毅老师的PPT）
 
 
Xt就是我们的word embedding vector，也就是上面说的vector A，通过四组不同的weight 和bias的作用生成，Zf，Zi，Z，Zo四组新的vector，其中Zf，Zi，Zo，分别作为forget gate，input gate和output gate的控制信号，而Z就是神经网络输入层的输入，也就是我们上面所处的vector B。embdedding szie指的是Xt的维度，而hidden size指的是Zf，Zi，Z，Zo的维度。而这也就是为什么LSTM的参数值为普通神经网络的四倍了。
 
解释了这么多，其实也就回答我们这个问题，word embedding vector乘以了权重矩阵weight，从而将维度变化为了hidden size的维度，所以我们在设置embedding size和hidden size 时，二者的值不一定必须相等。
 
 
 
问题二：在多层LSTM中，词向量维度（embedding size）是否一定要等于LSTM隐藏层节点数（hidden size）？
 
这个问题是我自己在项目中遇到的一个问题，具体模型就是  基于Tensorflow的LSTM-CNN文本分类模型  中的这个模型，在将LSTM层数设置为2层时，代码报错。
 
根据问题一的解释，多层LSTM的embedding size实际上也不必等于hidden size的，可以通过设置不同shape的weight和bias来实现（第一层与后续层数设置为不同）。
 
但在Tensorflow实现多层LSTM时，使用的函数tf.contrib.rnn.MultiRNNcell（）会自动将累加的LSTM的参数设为相同的shape，或者说，是模块化的直接累加LSTM层数。这样得来的多层LSTM网络，其参数weight和bias的shape都是相同的，所以当设置不同的embedding size和hidden size时会报错，更改为相同值时error消失。
 
在NLP任务中通常需要使用预先训练好的词向量来加快训练速度，而LSTM的hidden size也是在训练调参时需要进行调整的重要参数，所以我还在寻找如何解决Tensorflow中多层lstm的hidden size和embedding size不相等的问题，也希望有经验的朋友能多多赐教。
 
 
 
问题三：LSTM中，关于cell state 和 hidden state
 
TensorFlow中使用tf.contrib.rnn.BasicLSTMCell（）的方法来搭建LSTM网络，其中有一项参数为state_is_tuple，官方建议设置为True，这个参数的实际就是使LSTM的state以tuple的形式输出，shape为batch size和num_step。也就是min batch的大小和LSTM展开的步数，而state分为c与h，c为cell state，即memory的state，h为hidden state，也就是lstm的最终输出

 
Principal Component Analysis：主成分分析
 
 
步骤 5 步：
 
 
1、去平均值，也就是将向量中每一项都减去各自向量的平均值
 
 
2、计算矩阵的方差，协方差，特征值，
 
 
3,、把特征值从大到小排列
 
 
4、取前K个特征值对应的特征向量，
 
 
5、对所有的向量以这个K个向量为基向量投影到到一个新的（低维度）空间，
 
 
 
 
转载于:https://www.cnblogs.com/higer666/p/9996669.html