https://github.com/scottyhq/insar_scripts/tree/master/TSX

1.问题框架
    令X代表所有实例的集合，目标函数在其上定义。例如，X可表示所有人的集合，每个人描述为属性age（young或 old）和height (short或 long)。令C代表学习器要学习的目标概念集合。C中每个目标概念c对应于X的某个子集，或一个等效的布尔函数c：X→{0,1}。例如，C中一个目标函数c为概念：“是滑雪者的人”。若x是c的正例，则c(x)=1；若x为反例，则c(x)=0。
    假定实例按照某概率分布D从X中随机产生。例如D可为从某体育用品商店走出来的人这样一个实例分布。一般地，D可为任何分布，而且它对学习器是未知的。对于D所要求的是它的稳定性，即该分布不会随时间变化。训练样例的生成按照D分布随机抽取实例x，然后x及其目标值c(x)被提供给学习器。
     在此框架下，我们感兴趣的是刻画不同学习器L的性能，这些学习器使用不同假设空间H，并学习不同类别的C中的目标概念。由于我们要求L足够一般，以从C中学到任何目标概念，所以不论训练样例的分布如何，我们经常会对C中所有可能的目标概念和所有可能的实例分布D进行最差情况的分析。
为了描述学习器输出的假设h对真实目标概念的逼近程度，首先要定义假设h对应于目标概念c和实例分布D的真实错误率（true error）。非形式的描述是：h的真实错误率为应用h到将来按分布D抽取的实例时的期望的错误率。实际上第5章已经定义了h的真实错误率。为方便起见，这里重述一下该定义，使用c表示布尔目标函数。
定义：            假设h关于目标概念c和分布D的真实错误率(true error)为h误分类按照D随机抽取的实例的概率。
error(D,h)=Pr[c(x)!=h(x)](x属于D)

概念c和h被表示为X中标为正例的实例集合。h对应于c的错误率为，随机选取的实例落入h和c不一致区间（即它们的集合差）的概率。注意，错误率定义在整个实例分布之上，而不只是训练样例之上，因为它是在实际应用此假设h到后续实例上时会遇到的真实错误率。
    关于c的h的错误率为一个随机抽取的实例落入h和c对它的分类不一致的区间的概率。+和-点表示正反训练例。注意h关于c有一个非零的错误率，尽管迄今为止h和c在所有5个训练样例上都一致。
    注意，此错误率强烈地依赖于未知的概率分布D。例如，如果D是一个均匀的概率分布，它对X中每个实例都赋予相同的概率，那么图7-1中假设的错误率将为h和c不一致的空间在全部实例空间中的比例。然而，如果D恰好把h和c不一致区间中的实例赋予了很高的概率，相同的h和c将造成更高的错误率。极端情况下若D对满足h(x)=c(x)的所有实例赋予零概率，图7-1中h的错误率将为1，而不论h和c在多少实例上分类一致。
最后，注意h对应于c的错误率不能直接由学习器观察到。L只能观察到在训练样例上h的性能，它也只能在此基础上选择其假设输出。我们将使用术语训练错误率(training error)来指代训练样例中被h误分类的样例所占比例，以区分上面定义的真实错误率。这里关于学习复杂度的分析多数围绕着这样的问题：“ h的观察到的训练错误率对真实错误率errorD(h)产生不正确估计的可能性有多大？”
     注意此问题与第5章考虑的问题之间的密切联系。回忆在第5章中定义了h关于样例集合S的样本错误率 (sample error)，为样例集合S中被h误分类的样例所占比例。上面定义的训练错误率就是当S为训练样例集合时的样本错误率。在第5章中，我们在数据样本S独立于h抽取的前提下，确定样本错误率对估计真实错误率产生误导的概率。然而当S是训练数据集合时，学到的假设非常依赖于S。因此，本章将给出这一重要的特殊情形下的分析。

在Windows下是使用X-Shell非常方便，PAC Manager其实就是一个在Linux系统类似X-Shell的工具。
下面是pac manager的安装方法：

Pac Manager Website: 
http://sites.google.com/site/davidtv/
Installation
Download .deb package of pac from 
sourceforge.net
download pac-*-all.deb一支文件就可以了。

Then use this command to install pac in terminal:
cd ~/Downloads
sudo dpkg -i pac-*.deb
Run the command to fix dependencies error if any and finish installation.

sudo apt-get -f install

如果使用上面的命令在fix dependencies error还是不成功
可以再试试下面的命令：

sudo apt-get -f install --fix-missing

 

不知道怎么回事， 博客误删了。不想再写了，列下提纲。



PCA

sigma=(x*x')/size(x,2);
[u,s,v]=svd(sigma);
xRot = zeros(size(x)); % You need to compute this
xRot=u'*x;
%以下降维
xHat = zeros(size(x)); % You need to compute this
uk=u(:,1:k);
xHat=uk*(uk'*x);



PCA白化



xPCAWhite=diag(1./(sqrt(diag(s)+epsilon)))*xRot;



ZCA白化

xZCAWhite=u*xPCAWhite;



总结

注意PCA之前的预处理 

(1)特征的均值大致为0；(2)不同特征的方差值彼此相似。对于自然图片，即使不进行方差归一化操作，条件(2)也自然满足，故而我们不再进行任何方差归一化操作（对音频数据,如声谱,或文本数据,如词袋向量，我们通常也不进行方差归一化）
特征值lambda j 和xRot的关系