目录：

1. 机器学习
2. 监督学习
3. 无监督学习
4. 单变量线性回归
5. 代价函数
6. 梯度下降
7. 批量梯度下降

1.机器学习含义
机器学习(Machine Learning)是研究计算机怎样模拟或实现人类的学习行为，以获取新的
知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
目标“让机器自己学习怎么来解决问题”
由Tom Mitchell定义的机器学习是，
一个好的学习问题或一个程序 认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当有了经验E后，经过P评判，程序在处理T时的性能有所提升。
经验E 就是程序上万次自我练习的经验而任务 T 就是下棋。性能度量值 P ，就是它在与一
些新的对手比赛时，赢得比赛的概率。

2.主要内容

1. 监督学习（参数/非参数算法，支持向量机，核函数，神经网络）
2. 无监督学习（聚类，降维，推荐系统，深入学习推荐）
3. 在机器学习的最佳实践（偏差、方差理论等）

3 监督学习
监督学习指我们给学习算法一个由“正确答案”组成的数据集。

横轴表示房子的面积，单位是平方英尺，纵轴表示房价，单位是
千美元。那基于这组数据，假如你有一个朋友，他有一套 750 平方英尺房子，现在他希望把
房子卖掉，想知道这房子能卖多少钱？
拟合一条直线推测出房子可卖$150000
二次方程拟合 房子能卖出接近$200000 ，显然二次方程更好些！

在这个例子中，我们给了一系列房子的数据，我们给定数据集中每个样本的正确价格，
即它们实际的售价然后运用学习算法，算出更多的正确答案。比如那个新房子的价格。
用术语来讲，这叫做回归问题。我们试着推测出一个连续值的结果，即房子的价格。

假设说你想通过查看病历来推测乳腺癌良性与否，

这个数据集中，横轴表示肿瘤的大小，纵轴上，标出 1 和 0 表示是或者不是恶性肿瘤。我们之前见过的肿瘤，如果是恶性则记为 1，不是恶性，或者说良性记为 0。
或者用不同的符号表示良性和恶性肿瘤，良性的肿瘤改成用 O 表示，恶性的继续用 X 表示，来预测肿瘤的恶性与否。

分类指的是，我们试着推测出离散的输出值： 0 或 1 良性或恶性，
监督学习的基本思想是：数据集中的每个样本都有 “正确答案”，再根据这些样本做出预测。
就像房子和肿瘤的例子那样，用回归来推出连续的输出，分类的目标是推出一组离散的结果。
4 无监督学习
无监督学习中没有任何标签 或者是相同的标签 或者是没有标签。 已知数据集，却不知如何处理，也未告知每个数据点是什么， 就是一个数据集。
其实，他就是学习策略，交给算法大量的数据，并让算法为我们从数据中找出某种结构。
无监督学习可用于组织大型计算机集群、社交网络分析、新闻事件分类、垃圾邮件问题等。
5 单变量线性回归
以房屋交易问题为例，假使我们回归问题的训练集如下表所示：


这就是一个监督学习算法的工作方式，我们可以看到这里有我们的训练集里房屋价格
我们把它喂给我们的学习算法，学习算法的工作了，然后输出一个函数，通常表示为小写 ℎ
表示。 ℎ 代表 hypothesis(假设)， ℎ表示一个函数，输入是房屋尺寸大小，就像你朋友想出售
的房屋，因此 ℎ 根据输入的 𝑥值来得出 𝑦 值， 𝑦 值对应房子的价格 因此， ℎ 是一个从𝑥
到 𝑦 的函数映射。
我将选择最初的使用规则ℎ代表 hypothesis，因而，要解决房价预测问题，我们实际上
是要将训练集“喂”给我们的学习算法， 进而学习得到一个假设ℎ，然后将我们要预测的房屋
的尺寸作为输入变量输入给ℎ，预测出该房屋的交易价格作为输出变量输出为结果。那么，
对于我们的房价预测问题，我们该如何表达 ℎ？
一种可能的表达方式为： ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥，因为只含有一个特征/输入变量，因此这样
的问题叫作单变量线性回归问题。
6 代价函数



这个问题中，每次拟合出不同的直线，就会有一个代价函数值，
我们的目标就是找出满足代价函数值最小的 θ0和θ1值。
7 梯度下降
梯度下降是一个用来求函数最小值的算法，我们可使用梯度下降自动找出代价函数J最小值。

通俗的理解：
想象一下你正站立在山的这一点上，站立在你想象的公园这座红色山上，在梯度下降算
法中，我们要做的就是旋转 360 度，看看我们的周围，并问自己要在某个方向上，用小碎步
尽快下山。这些小碎步需要朝什么方向？如果我们站在山坡上的这一点，你看一下周围，你
会发现最佳的下山方向，你再看看周围，然后再一次想想，我应该从什么方向迈着小碎步下
山？然后你按照自己的判断又迈出一步，重复上面的步骤，从这个新的点，你环顾四周，并
决定从什么方向将会最快下山，然后又迈进了一小步，并依此类推，直到你接近局部最低点
的位置。

其中𝑎是学习率（ learning rate），它决定了我们沿着能让代价函数下降程度最大的方向
向下迈出的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率
乘以代价函数的导数。
它的关键是同时更新θ0，θ1
像这样：

注意： α太小，每次会一点点挪动，需要很多不才能到达全局最低点。
α太大，可能会越过最低点，甚至可能无法收敛，一次次越过最低点，直到越来越远，甚至发散。
假如 θ1在一个局部最低点，那么它的导数等于0，并且θ1不再改变，此时对其更新等于什么都没做，不会改变参数的值。并且θ1越接近最低点，每次移动步伐越小，直至最后不在改变。

8. 梯度下降的线性回归
有时也称为批量梯度下降， 指的是在梯度下降的每一步中， 我们都用到了
所有的训练样本，在梯度下降中，在计算微分求导项时，我们需要进行求和运算，所以，在
每一个单独的梯度下降中，我们最终都要计算这样一个东西，这个项需要对所有𝑚个训练样
本求和。 批量梯度下降说明了我们需要考虑所有这一批训练样本，每次只关注训练集中的一些小的子集。

之前的线性回归问题运用梯度下降，关键在于求出代价函数的导数。


更多内容参见：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes

吴恩达机器学习课程笔记

机器学习定义

什么是机器学习？
机器学习（Machine Learning）：是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。一个程序被认为能从经验E中学习，解决任务 T，达到性能度量值P，当且仅当，有了经验E后，经过P评判， 程序在处理T时的性能有所提升。

监督学习和无监督学习

监督学习（Supervised Learning）：对于数据集中每一个样本都有对应的标签，包括回归（regression）和分类（classification）；
无监督学习（Unsupervised Learning）：数据集中没有任何的标签，包括聚类（clustering），著名的一个例子是鸡尾酒晚会。实现公式：[W,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x’);

单变量线性回归

模型表示（model representation）

线性回归模型：
$$\begin{gathered} h_{\theta }(x)={\theta }_0+{\theta }_{1}x \\ J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h(x^i)-y^i{)}^2 \end{gathered}$$给定训练样本$(x^i,y^i)$，其中：$i=1,2,...,m$，$x$表示特征，$y$表示输出目标，监督学习算法的工作方式如图所示：

假设函数h(hypothesis)：是一个从输入$x$到输出$y$的映射，$h(x)={\theta }_0+{\theta }_{1}x$。${\theta }_0$和${\theta }_1$都是模型参数。

代价函数

代价函数（cost function）$J(\theta )$，通常使用平方误差函数，如下：$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h(x^i)-y^i{)}^2，m为训练样本的数量。$$训练的目标为最小化代价函数，即 $\underset{{\theta }_0,{\theta }_1}{\mathrm{minmize}}J({\theta }_0,{\theta }_1)$。

代价函数的另外一个图形表示是等高图，如图所示：

梯度下降

代价函数：$J({\theta }_0,{\theta }_1)$，可以推广到$J({\theta }_0,{\theta }_1,{\theta }_2,...,{\theta }_n)$
目标： $\underset{{\theta }_0,{\theta }_1}{\min }J({\theta }_0,{\theta }_1)$
初始化${\theta }_0,{\theta }_1$，更新公式：$${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$$$\alpha$为学习速率（learning rate）。

如果α太小，梯度下降会变得缓慢；如果α太大，梯度下降可能无法收敛甚至发散。

线性回归中的梯度下降

梯度下降的每一步遍历的所有数据集中的样例，又叫“batch” Gradient Descent Algorithm。

凸函数（convex function）

多变量线性回归

假设函数：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$。 定义$x_0=1$，
从而：$x=[x_0,x_1,x_2,\dots ,x_n{]}^T,x\in {\mathbb{R}}^{n+1}$；$\theta =[{\theta }_0,{\theta }_1,{\theta }_2,\dots ,{\theta }_n{]}^T,\theta \in {\mathbb{R}}^{n+1}$
假设函数可记作：$h_{\theta }(x)={\theta }^{T}x$。
代价函数：$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$梯度下降更新公式：$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta ),j=0,1,\dots ,n$$更精确的：$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)},j=0,1,\dots ,n$$
可以通过for循环更新$\theta$，也可以采用向量形式更新$\theta$：$$\theta =\theta -\frac{\alpha }{m}{X}^T(X\theta -y)$$

特征缩放（feature scaling）

目的：保证特征处于相似的尺度上，有利于加快梯度下降算法运行速度，加快收敛到全局最小值
方式：
Mean normalization：$$x_i=\frac{x_i-\mu }{\sigma }$$其中$\mu$为平均值，$\sigma$为标准差；
max-min：$$x_i=\frac{x_i-min}{max-min}$$

学习率（learning rate）

梯度下降更新公式：${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta ),$

• “debugging”：如何确保梯度下降正确运行；
• 如何正确选择学习率。
• 如果$\alpha$太小：收敛慢
• 如果$\alpha$太大：每一次迭代过程中$J(\theta )$将会不断的越过最小值，无法收敛，$J(\theta )$如下图所示：
  
• choose $\alpha$：$\dots ，0.001，0.003，0.01，0.03，0.1，0.3，1，\dots$
• 寻找一个合适的较小值和较大值，保证结果和速度的同时选取较大的值，或者稍小的合理值。

特征和多项式回归

举例：房价预测问题
假设有两个特征：$x_1$是土地宽度，$x_2$是土地纵向深度，可做假设：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$。
可以考虑构造特征底面积$x=x_1\ast x_2$，此时假设函数：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$。
数据集样本分布如图：

多项式回归（polynomial regression）：
二次模型：

三次模型：

更恰当的模型：

正规方程（normal equation）

代价函数：$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$对$J(\theta )$求偏导并令导数为零可解得：$\theta =(X^{T}X{)}^{-1}{X}^{T}y$，推导过程如下：
令$$x^{(i)}=\left(\begin{array}{c}{x}_0^{(i)}\\ x_1^{(i)}\\ ⋮\\ x_n^{(i)}\end{array}\right)\in {\mathbb{R}}^{n+1}，y=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right)\in {\mathbb{R}}^m$$令
$$X=\left(\begin{array}{cccccc}1& x_1^{(1)}& \cdots & x_j^{(1)}& \cdots & x_n^{(1)}\\ 1& x_1^{(2)}& \cdots & x_j^{(2)}& \cdots & x_n^{(2)}\\ ⋮& ⋮& \ddots & ⋮& \ddots & ⋮\\ 1& x_1^{(m)}& \cdots & x_j^{(m)}& \cdots & x_n^{(m)}\end{array}\right)=\left(\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ ⋮\\ (x^{(m)}{)}^T\end{array}\right)\in {\mathbb{R}}^{m\times (n+1)}$$又$\frac{\partial }{\partial \theta }J(\theta )=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}=0$，可得$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$推导过程如下：

正规方程存在条件：

• $X^{T}X$是可逆矩阵，若不可逆，可计算广义可逆矩阵。
  
  比较：
  梯度下降算法：需要选择学习速率$\alpha$； 需要许多次迭代；当特征数量n较大时也能够运转正常；
  正规方程： 无需选择参数；无需迭代；需要计算$(X^{T}X{)}^{-1}$；当n较大时计算缓慢

逻辑回归（logistic regression）

假设表示

逻辑回归模型： $h_{\theta }(x)，$want： $0\le h_{\theta }(x)\le 1$
令$h_{\theta }(x)=g({\theta }^{T}x)$，将${\theta }^{T}x$代入$g(\cdot )$：$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$其中：$g(z)=\frac{1}{1+e^{-z}}$称为Sigmod函数，也叫作Logistic函数。

hope：
$$\{\begin{array}{l}{h}_{\theta }(x)\ge 0.5，y=1\\ h_{\theta }(x)<0.5，y=0\end{array}$$
从概率的角度： h θ ( x ) = p { y = 1 ∣ x , θ } h_\theta(x)=p\{y=1|x,\theta\} hθ​(x)=p{y=1∣x,θ}

决策界限（Decision Boundary）

$\text{predict：y=1}，\text{if }{h}_{\theta }(x)\ge 0.5$
$\text{predict：y=0}，\text{if }{h}_{\theta }(x)<0.5$
$h_{\theta }(x)\ge 0.5\to z\ge 0\to {\theta }^{T}x\ge 0$
$h_{\theta }(x)<0.5\to z<0\to {\theta }^{T}x<0$
定义：${\theta }^{T}x=0$为决策边界。

代价函数（cost function）

假设表示定义的： h θ ( x ) = p { y = 1 ∣ x , θ } h_\theta(x)=p\{y=1|x,\theta\} hθ​(x)=p{y=1∣x,θ}，由极大似然的思想： θ = a r g m a x θ ∏ i = 1 m p { y i = 1 ∣ x , θ } y i p { y i = 0 ∣ x , θ } 1 − y i = a r g m a x θ ∏ i = 1 m p { y i = 1 ∣ x , θ } y i ( 1 − p { y i = 1 ∣ x , θ } ) 1 − y i \begin{array}{} \theta=\underset{\theta}{argmax}\prod_{i=1}^{m}p\{y_i=1|x,\theta\}^{y_i}p\{y_i=0|x,\theta\}^{1-y_i}\\ = \underset{\theta}{argmax}\prod_{i=1}^{m}p\{y_i=1|x,\theta\}^{y_i}(1-p\{y_i=1|x,\theta\})^{1-y_i} \end{array}{} θ=θargmax​∏i=1m​p{yi​=1∣x,θ}yi​p{yi​=0∣x,θ}1−yi​=θargmax​∏i=1m​p{yi​=1∣x,θ}yi​(1−p{yi​=1∣x,θ})1−yi​​令 Γ = ∏ i = 1 m p { y i = 1 ∣ x , θ } y i ( 1 − p { y i = 1 ∣ x , θ } ) 1 − y i \Gamma=\prod_{i=1}^{m}p\{y_i=1|x,\theta\}^{y_i}(1-p\{y_i=1|x,\theta\})^{1-y_i} Γ=∏i=1m​p{yi​=1∣x,θ}yi​(1−p{yi​=1∣x,θ})1−yi​，取对数可得：$$\log (\Gamma )=\sum _{i=1}^m{y}_i\log (h_{\theta }(x))+(1-y_i)(1-\log (h_{\theta }(x)))$$所以：$$\begin{gathered} \theta =\underset{\theta }{\mathrm{argmax}}\log (\Gamma ) \\ =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m{y}_i\log (h_{\theta }(x))+(1-y_i)(1-\log (h_{\theta }(x))) \end{gathered}$$令$cost(h_{\theta }(x),y_i)=-y_i\log (h_{\theta }(x))-(1-y_i)(1-\log (h_{\theta }(x)))$，所以目标：$$\theta =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^{m}cost(h_{\theta }(x),y_i)$$（注意：线性回归的$cost(h_{\theta }(x),y_i)=(h_{\theta }(x)-y_i{)}^2$。）
由于$cost(h_{\theta }(x),y_i)=-y_i\log (h_{\theta }(x))-(1-y_i)(1-\log (h_{\theta }(x)))$，写成：$$cost(h_{\theta }(x),y_i)=\{\begin{array}{l}-y_i\log (h_{\theta }(x))，\text{if yi=1}\\ -(1-y_i)(1-\log (h_{\theta }(x)))，\text{if yi=0}\end{array}$$


逻辑回归代价函数：
$$\begin{gathered} J(\theta )=\frac{1}{m}\sum _{i=1}^{m}cost(h_{\theta }(x^{(i)}),y^{(i)}) \\ =-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))) \end{gathered}$$拟合参数：$$\underset{\theta }{\min }J(\theta )$$
梯度下降法：
$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )={\theta }_j-\frac{\alpha }{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$高级优化算法：

• 共轭梯度算法
• BFGS
• L-BFGS
  优点：无需人工选择参数$\alpha$；运算速度比梯度下降更快
  缺点：更加复杂

正则化（regularization）

欠拟合和过拟合（underfitting and overfitting）

欠拟合

欠拟合，高偏差：说明没有很好的拟合训练数据
解决办法：增加特征，如增加多项式

过拟合

过拟合，高方差：拟合训练数据过于完美，$J(\theta )\approx 0$，导致模型的泛化能力很差，对于新样本不能准确预测；
解决办法：

• 减少特征个数
  a)人工保留合适的特征
  b)采用模型选择算法
• 正规化
  a)保留所有特征，减小参数${\theta }_j$的维度

正则化代价函数

对${\theta }_j$加入惩罚项：
线性回归代价函数：$$J(\theta )=\frac{1}{2m}\left[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^m{\theta }_j^2\right]$$
逻辑回归代价函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})))+\frac{\lambda }{2m}\sum _{j=1}^m{\theta }_j^2$$拟合参数：$$\underset{\theta }{\min }J(\theta )$$目标：$\underset{\theta }{\min }J(\theta )$

线性回归和逻辑回归的正则化

梯度下降算法：
repeat：{$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$$$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\left[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}+\lambda {\theta }_j\right]$$
&ThickSpace; \quad\quad\quad\; }
等价于：
repeat：{$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$$$${\theta }_j:={\theta }_j(1-\alpha \frac{1}{m})-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$$
&ThickSpace; \quad\quad\quad\; }
正规方程：
假设：$m\le n(examples\le features)$
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$If $\lambda >0$，$$\theta ={\left(X^{T}X+\lambda \underset{(n+1)\times (n+1)}{\underbrace{\left[\begin{array}{ccccc}0& & & & \\ & 1& & & \\ & & 1& & \\ & & & \ddots & \\ & & & & 1\end{array}\right]}}\right)}^{-1}{X}^{T}y$$只要$\lambda >0$，那么括号内的矩阵一定不是奇异矩阵，也就是可逆的。

神经网络学习

模型表示

上图代表单个的神经元。神经网络即是一组神经元。典型的三层神经网络如下图所示：

详细解释：
$a_i^{(j)}$：第$j$层的单元$i$的激活项。(“activation of unit i in layer j”)
${\Theta }^{(j)}$：从第$j$层($units$: $s_j$)到第$j+1$层($units$: $s_{j+1}$)的权重矩阵，维数：$s_{j+1}\times (s_j+1)$
$$a_1^{(2)}=g({\Theta }_{10}^{(1)}{x}_0+{\Theta }_{11}^{(1)}{x}_1+{\Theta }_{12}^{(1)}{x}_2+{\Theta }_{13}^{(1)}{x}_3)$$$$a_2^{(2)}=g({\Theta }_{20}^{(1)}{x}_0+{\Theta }_{21}^{(1)}{x}_1+{\Theta }_{22}^{(1)}{x}_2+{\Theta }_{23}^{(1)}{x}_3)$$$$a_3^{(2)}=g({\Theta }_{30}^{(1)}{x}_0+{\Theta }_{31}^{(1)}{x}_1+{\Theta }_{32}^{(1)}{x}_2+{\Theta }_{33}^{(1)}{x}_3)$$$$h_{\Theta }(x)=a_1^{(3)}=g({\Theta }_{10}^{(2)}{a}_0^{(2)}+{\Theta }_{11}^{(2)}{a}_1^{(2)}+{\Theta }_{12}^{(2)}{a}_2^{(2)}+{\Theta }_{13}^{(2)}{a}_3^{(2)})$$

神经网络前向传播

$$h_{\Theta }(x)=a^{(3)}=g(z^{(3)})=g({\Theta }^{(2)}{a}^{(2)})=g({\Theta }^{(2)}g(z^{(2)}))=g({\Theta }^{(2)}g({\Theta }^{(1)}{a}^{(1)}))$$

代价函数

逻辑回归代价函数：$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})))+\frac{\lambda }{2m}\sum _{j=1}^m{\theta }_j^2$$神经网络代价函数：$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^K(y_k^{(i)}\log (h_{\theta }(x^{(i)}){)}_k+(1-y_k^{(i)})\log (1-h_{\theta }(x^{(i)}){)}_k)+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{j=1}^m\sum _{i=1}^m({\theta }_{ji}^l{)}^2$$优化目标：$\underset{\Theta }{\min }J(\Theta )$
需要计算：

• $J(\Theta )$
• $\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )$， ${\Theta }_{ij}^{(l)}\in \mathbb{R}$

如图：

前向传播：
$$\begin{gathered} a^{(1)}=x \\ {z}^{(2)}={\Theta }^{(1)}{a}^{(1)} \\ {a}^{(2)}=g(z^{(2)}) \\ {z}^{(3)}={\Theta }^{(2)}{a}^{(2)} \\ {a}^{(3)}=g(z^{(3}) \\ {z}^{(4)}={\Theta }^{(3)}{a}^{(3)} \\ {a}^{(4)}=g(z^{(4}) \\ {h}_{\Theta }(x)=a^{(4)} \end{gathered}$$

反向传播：

计算：${\delta }_j^{(l)}$=第$l$层第$j$个节点的误差（error）；
对于每一个输出单元：${\delta }_j^{(4)}=a_j^{(4)}-y_j$，写成向量形式为：${\delta }^{(4)}=a^{(4)}-y$；由输出层逐级往上计算${\delta }^{(l)}、{\delta }^{(l-1)}\dots {\delta }^{(2)}$：
$$\begin{gathered} {\delta }^{(3)}=({\Theta }^{(3)}{)}^T{\delta }^{(4)}.\ast g\prime (z^{(3)}),g\prime (z^{(3)})=a^{(3)}.\ast (1-a^{(3)}) \\ {\delta }^{(2)}=({\Theta }^{(2)}{)}^T{\delta }^{(3)}.\ast g\prime (z^{(2)}),g\prime (z^{(2)})=a^{(2)}.\ast (1-a^{(2)}) \end{gathered}$$ 可以证明(忽略$\lambda$，即$\lambda =0$)：$$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )=a_j^{(l)}{\delta }_i^{(l+1)}$$详细的：
对于训练集 { ( x ( 1 ) , y ( 1 ) ) , … , ( x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)}),\dots,(x^{(m)},y^{(m)})\} {(x(1),y(1)),…,(x(m),y(m))}；
初始化${\Delta }_{ij}^l=0$，for all $l,i,j$

理解：

换句话说：${\delta }_j^{(l)}=\frac{\partial }{\partial z_j^{(l)}}cost(i)$ ,$for(j\ge 0)$
where $cost(i)=y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))$
$\delta$项是代价函数关于这些中间项的偏导数，衡量影响神经网络的权值，进而影响神经网络的输出的程度。

展开参数

梯度检验

随机初始化

together

机器学习细节

模型选择（model selection）

可以依据训练误差和测试误差来评估假设$h_{\theta }(x)$；
一般来说，我们将数据集划分成训练集（60%）、验证集（20%）和测试集（20%）；
在训练集上我们学习参数$\theta$：$minJ(\theta )$；
计算训练误差、验证误差：
for linear regression：
$$J_{train}(\theta )=\frac{1}{2m_{train}}\sum _{i=1}^{m_{train}}(h_{\theta }(x_{train}^{(i)})-y_{train}^{(i)}{)}^2$$$$J_{cv}(\theta )=\frac{1}{2m_{cv}}\sum _{i=1}^{m_{cv}}(h_{\theta }(x_{cv}^{(i)})-y_{cv}^{(i)}{)}^2$$for logistic regression：$$J_{train}(\theta )=-\frac{1}{m_{train}}\sum _{i=1}^{m_{train}}(y_{train}^{(i)}\log (h_{\theta }(x_{train}^{(i)}))+(1-y_{train}^{(i)})\log (1-h_{\theta }(x_{train}^{(i)})))$$$$J_{cv}(\theta )=-\frac{1}{m_{cv}}\sum _{i=1}^{m_{cv}}(y_{cv}^{(i)}\log (h_{\theta }(x_{cv}^{(i)}))+(1-y_{cv}^{(i)})\log (1-h_{\theta }(x_{cv}^{(i)})))$$选择$J_{cv}(\theta )$最小的模型；
计算测试误差$J_{test}(\theta )$；
对于逻辑回归还可以计算误分类率：$$error=\{\begin{array}{l}1，\text{if yi=1，hθ(x)<0.5 or yi=0，hθ(x)≥0.5}\\ 0，\text{if yi=1，hθ(x)≥0.5 or yi=0，hθ(x)<0.5}\end{array}$$

方差和偏差（variance VS bias）

如图：

一般来说，欠拟合会产生高偏差；过拟合过产生高方差；
具体来说，当模型欠拟合时，训练误差和验证误差都会较大；当模型过拟合时，训练误差很小，然而验证误差很大，如下图：

如何处理高方差和高偏差问题呢？
一般来说，加入合适的正则化项可以有效地避免过拟合（即高方差）

当正则化参数$\lambda$较大时，${\theta }_j\approx 0$(除${\theta }_0$外)，假设函数趋于直线，因而会造成高偏差的问题，导致欠拟合；
当正则化参数$\lambda$较小时，正则化项不起作用，模型会变得过拟合。如图：

一般的，对于高偏差问题（欠拟合）：

• 增加特征个数
• 增加多项式特征
• 降低$\lambda$

对于高方差问题（过拟合）：

• 增加训练样本
• 减少特征个数
• 增加$\lambda$

对于神经网络来说，参数越少，越有可能欠拟合；参数越多，网络结构越复杂，越有可能过拟合，应该加入正则化项。

机器学习系统设计

不对称分类的误差评估（skewed classes）

查准率和召回率（Precision和Recall）

y=1 in presence of rare class that we want to detect；
Precision： 预测为正，实际为正的概率
$$Precision=\frac{TP}{TP+FP}$$
Recall： 正例被准确预测的概率，也叫查全率，敏感性
$$Recall=\frac{TP}{TP+FN}$$

两者平衡

以逻辑回归为例：$0\le h_{\theta }(x)\le 1$
预测y=1，if $h_{\theta }(x)\ge 0.5$；预测y=0，if $h_{\theta }(x)<0.5$；

1. 如果我们想要比较确信为正例时才判定为正例，那么提高阈值，模型会对应高查准率，低召回率；
2. 如果希望避免假阴性，那么降低阈值，模型会对应低查准率，高召回率

PR曲线

F1 Score

$$F1=2\frac{PR}{P+R}$$

支持向量机

优化目标

复习：
逻辑回归的假设函数：$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$
$\text{if y=1, we want }{h}_{\theta }(x)\approx 1，{\theta }^{T}x>>0$
$\text{if y=0, we want }{h}_{\theta }(x)\approx 0，{\theta }^{T}x<<0$

$$cost(\theta ,x)=-(y\log h_{\theta }(x)+(1-y)\log (1-h_{\theta }(x)))$$
对逻辑回归的代价函数进行修改：

因此，我们可以得到支持向量机的代价函数：
$$\underset{\theta }{\min }C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^m{\theta }_j^2$$
公式中的$C$可以看做是$\frac{1}{\lambda }$，说明支持向量机中更加偏重代价；

间隔最大化

当取一个较大的$C$值时，当$y^{(i)}=1$时，${\theta }^T{x}^{(i)}\ge 1$；当$y^{(i)}=0$时，${\theta }^T{x}^{(i)}\le -1$；
因此我们可以得到支持向量机的决策边界（Decision Boundary）：
$$\begin{array}{cc}\underset{\theta }{\min }& \frac{1}{2}{\sum }_{j=1}^n{\theta }_j^2\\ \text{s.t.}& {\theta }^T{x}^{(i)}\ge 1,\text{if}{y}^{(i)}=1\\ & {\theta }^T{x}^{(i)}\le -1,\text{if}{y}^{(i)}=0\end{array}$$

从数学解释上看间隔问题：
$$\frac{1}{2}\sum _{i=1}^n{\theta }_j^2=\frac{1}{2}(\sqrt{{\theta }_1^2+\dots {\theta }_n^2}{)}^2=\frac{1}{2}||\theta |{|}^2$$
简化：n=2

所以有：$${\theta }^T{x}^{(i)}=p^{(i)}||\theta ||={\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)}$$
决策问题转换为：

核函数

高斯核函数：$$f_i=\text{similarity}(x,l^{(i)})=\exp (-\frac{||x-l^{(i)}|{|}^2}{2{\sigma }^2})$$
如果$x\approx l^{(i)}$：$$f_i\approx \exp (-\frac{0^2}{2{\sigma }^2})\approx 1$$如果$x$ is far from $l^{(i)}$：$$f_i\approx \exp (-\frac{{\text{(larger number)}}^2}{2{\sigma }^2})\approx 0$$
${\sigma }^2$对核函数的影响：

可以看出，${\sigma }^2$越大，变化越缓慢；${\sigma }^2$越大，变化越剧烈。
如何选择标记$l^{(i)}$呢？

SVM将每一个训练样本$(x^{(i)},y^{(i)})$，令标记$l^{(i)}=x^{(i)}$，对于每一个输入$x$，计算$f_1,f_2,...,f_m$，令$f_0=1$，生成新的特征向量$f\in {\mathbb{R}}^{m+1}$

SVM参数对性能的影响：

逻辑回归和SVM比较

1. 如果特征个数n远远大于训练样本个数，建议使用逻辑回归或者线性SVM
2. 如果特征个数n较小，训练样本个数适当，建议使用高斯核SVM
3. 如果特征个数小，训练样本非常大，建议增加更多特征或者使用逻辑回归或线性SVM

无监督学习

一、机器学习

1.1 机器学习定义

计算机程序从经验E中学习，解决某一任务T，进行某一性能P，通过P测定在T上的表现因经验E而提高
eg：跳棋程序
E： 程序自身下的上万盘棋局
T： 下跳棋
P： 与新对手下跳棋时赢的概率

1.2 监督学习

1.2.1 监督学习定义

给算法一个数据集，其中包含了正确答案，算法的目的是给出更多的正确答案

1.2.2 例1：预测房价（回归问题）

回归问题目的： 预测连续的数值输出

1. 用直线拟合

2. 用二次函数或二阶多项式拟合（效果更佳）

1.2.3 例2：预测肿瘤是良性或恶性（分类问题）

分类问题目的： 预测离散值输出。
就本问题而言，结果只有0和1的输出。

1. 只有一个特征时

2. 有两个特征时

3. 算法最终的目的是解决无穷多个特征的数据集

1.3 无监督学习

1.3.1 无监督学习定义

只给算法一个数据集，但是不给数据集的正确答案，由算法自行分类。

1.3.2 聚类算法

1. 谷歌新闻每天收集几十万条新闻，并按主题分好类
2. 市场通过对用户进行分类，确定目标用户
3. 鸡尾酒算法：两个麦克风分别离两个人不同距离，录制两段录音，将两个人的声音分离开来（只需一行代码就可实现，但实现的过程要花大量的时间）

二、单变量线性回归

2.1 线性函数

假设函数 h_θ(x) = θ₀ + θ₁x

代价函数

J(θ₀, θ₁) = $\frac{1}{2m}$$\sum _{i=1}^n$ ( h(x⁽ⁱ⁾) − y⁽ⁱ⁾)²(m表示训练样本的数量)

目标： 最小化代价函数，即minimize J(θ₀, θ₁)

代价函数也被称为平方误差函数或者平方误差代价函数，在线性回归问题中，平方误差函数是最常用的手段

2.1.1 只考虑一个参数 θ₁

改变θ₁的值，得到多组J(θ₀) = $\frac{1}{2m}$$\sum _{i=1}^n$ ( h(x⁽ⁱ⁾) − y⁽ⁱ⁾)²，并作出下右图
得到的minimize J(θ₀) 就是线性回归的目标函数

2.1.2 θ₀和θ₁都考虑

• 得到的三维图如下
  
• 将三维图平面化
  等高线的中心对应最小代价函数
  

2.2 梯度下降

算法思路

• 指定θ₀ 和 θ₁的初始值
• 不断改变θ₀和θ₁的值，使J(θ₀,θ₁)不断减小
• 得到一个最小值或局部最小值时停止

梯度： 函数中某一点(x, y)的梯度代表函数在该点变化最快的方向
（选用不同的点开始可能达到另一个局部最小值）

梯度下降公式

• θ_j = θ_j − α $\frac{\partial }{\partial \theta j}$ J(θ₀, θ₁)
  其中 α 为学习速率( learning rate )
• θ₀和θ₁应同步更新，否则如果先更新θ₀，会使得θ₁是根据更新后的θ₀去更新的，与正确结果不相符
  

关于α
如果α选择太小，会导致每次移动的步幅都很小，最终需要很多步才能最终收敛
如果α选择太大，会导致每次移动的步幅过大，可能会越过最小值，无法收敛甚至会发发散

实现原理

• 偏导表示的是斜率，斜率在最低点左边为负，最低点右边为正。 θ_j减去一个负数则向右移动，减去一个正数则向左移动
• 在移动过程中，偏导值会不断变小，进而移动的步幅也不断变小，最后不断收敛直到到达最低点
• 在最低点处偏导值为0，不再移动
  

2.3 线性回归的梯度下降 / Batch梯度下降

• 公式推导：

J(θ₀, θ₁) = $\frac{1}{2m}$$\sum _{i=1}^n$ ( h(x⁽ⁱ⁾) − y⁽ⁱ⁾)² = $\frac{1}{2m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾)²

j = 0时表示对θ₀求偏导
j = 1时表示对θ₁求偏导

$\frac{\partial J(\theta 0,\theta 1)}{\partial \theta 0}$ = $\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾)

$\frac{\partial J(\theta 0,\theta 1)}{\partial \theta 1}$ = $\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾) x⁽ⁱ⁾

x⁽ⁱ⁾的 i 表示第 i 个样本

进而更新得到：

θ₀ := θ₀ - α$\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾)

θ₁ := θ₀ - α$\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾) x⁽ⁱ⁾

梯度回归的局限性： 可能得到的是局部最优解
线性回归的梯度下降的函数是凸函数，因此没有局部最优解，只有全局最优解
凸函数

三、矩阵

3.1 矩阵加法和标量乘法

同维矩阵对应位置相加。

矩阵对应位置乘标量。

3.2 矩阵乘向量

A₁₂表第一行第二列
A₁₁ * x1 + A₁₂ * x2 + A₁₃ * x3 + …… + A_1n * xn = y1
A₂₁ * x1 + A₂₂ * x2 + A₂₃ * x3 + …… + A_2n * xn = y2

3.2 矩阵乘法

A_n1 * B_1b + A_n2 * B_2b + …… + A_nm * B_ab = C_nb

eg:
A₁₁ * B₁₁ + A₁₂ * B₂₁ + A₁₃ * B₃₁ + …… + A_1n * B_n1 = C₁₁

矩阵乘法特征（对于一般矩阵而言）

• 不满足交换律
• 满足结合律

3.3 矩阵逆和矩阵转置

单位矩阵

• 用 I 表示
• 主对角线上都是1，其余位置都是0

逆矩阵

• 用A^-1 表示

• A * A^-1 = I

矩阵转置

• 用A^T表示

• A_nm变为A_mn

四、多变量线性回归

4.1 多变量线性回归假设函数

x⁽ⁱ⁾ 表示第 i 组样本
x_j⁽ⁱ⁾ 表示第 i 组样本中的第 j 个数据

eg:
x₄⁽²⁾表示第4组样本中的第3个数据，值为40

假设函数
h_θ(x) = θ₀ + θ₁x₁ + θ₂x₂ + …… + θ_nx_n

定义x₀ = 1 （即θ₀的系数，也即x₀⁽ⁱ⁾ = 1 ）
则
x = [x₀, x₁, x₂, ……, x_n]^T
θ = [θ₀, θ₁, θ₂,…, θ_n]^T, θ∈Rⁿ⁺¹

进而
假设函数可记作：hθ(x) = θ^Tx

4.2 多元梯度下降法

$\frac{\partial J(\theta )}{\partial \theta 0}$ = $\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾)x₀⁽ⁱ⁾

$\frac{\partial J(\theta )}{\partial \theta 1}$ = $\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾) x₁⁽ⁱ⁾

$\frac{\partial J(\theta )}{\partial \theta 2}$ = $\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾) x₂⁽ⁱ⁾

进而更新得到：

θ₀ := θ₀ - α$\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾)x₀⁽ⁱ⁾

θ₁ := θ₀ - α$\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾) x₁⁽ⁱ⁾

θ₂ := θ₀ - α$\frac{1}{m}$$\sum _{i=1}^n$ ( (θ₀ + θ₁x⁽ⁱ⁾) − y⁽ⁱ⁾) x₂⁽ⁱ⁾

4.3 特征缩放

当特征范围相差太大时，会一直来回振荡，梯度下降效率低
（本例子中θ₀不考虑）

引入特征缩放解决这一问题

x_i = $\frac{xi-\mu }{\sigma }$

μ 为平均值，σ 为range（即max - min）

如下述例子
x₁ = $\frac{x1-1000}{5}$

x₂ = $\frac{x2-2}{5}$

其中1000 和 2 是事先知道的平均值

通常计算出来的 x 最好在-3 ~ +3之间

4.4 学习率

绘制代价函数J(θ)的变化来反映下降的过程

’梯度下降更新公式： θ_j = θ_j - α $\frac{\partial }{\partial \theta j}$J(θ)
形如下左两种情况都是α选取太大导致的。

选取合适的α：$\dots$， 0.001，0.003，0.01，0.03，0.1，0.3，1，$\dots$
以3为倍数找到一个最大值，以该最大值或比该最大值略小的值作为α

4.5 特征和多项式回归

房价预测问题

4.5.1 特征

假设有两个特征：x₁ 是土地宽度，x₂ 是土地纵向深度，则有h_θ(x) = θ₀ + θ₁x₁ + θ₂x₂
由于房价实际与面积挂钩，所以可假设x = x₁ * x₂，则有h_θ(x) = θ₀ + θ₁x

数据集样本分布如图所示

4.5.2 多项式回归

选用二次模型拟合

曲线后半明显下降，不符合实际

选用三次模型拟合

曲线符合实际，但由于次方的出现，要十分注意自变量范围的选取

选用根号模型

能充分拟合，且自变量范围可变曲度大

4.6 正规方程

4.6.1推导过程

代价函数：

J(θ) = $\frac{1}{2m}$ $\sum _{i=1}^m$ (h_θ(x^{(i)}) - y⁽ⁱ⁾)²

对J (θ) 求偏导并令导数为零可解得： θ = (X^TX)^-1X^Ty

推导过程如下：

令

令

（加一行x₀且值都赋为1）

又

$\frac{\partial }{\partial \theta }$J(θ） = $\frac{1}{m}$ $\sum _{i=1}^m$ (h_θ(x⁽ⁱ⁾⁾ - y⁽ⁱ⁾)x⁽ⁱ⁾ = 0

可得

θ = (X^TX)^-1X^Ty

4.6.2 正规方程同梯度下降比较

1. 是同级算法
2. 梯度下降缺点是需确定α，需要许多次迭代；优点是适用于样本量大（m > 10000）的数据
3. 正规方程缺点是不适用于样本量大（m > 10000）的数据，但无需确定α，无需许多次迭代

4.6.3 正规方程与不可逆矩阵

矩阵不可逆的情况很小，导致不可逆可能有以下两个原因：

1. 两个及两个以上的特征量呈线性关系，如x₁ = 3x₂
2. 特征量过多。当样本量较小时，无法计算出那么多个偏导来求出结果

实际操作过程中，要删除多余特征，且呈线性关系的多个特征保留一个即可

Octave中的pinv即使面对不可逆矩阵，也能计算出结果，得出来的是伪矩阵

五、Octave

5.1 基本操作

5.1.1 加减乘除与逻辑判断

5 + 6
ans = 11
3 - 2
ans = 1
5 * 8
ans = 40
1 / 2
ans = 0.50000
2 ^ 6
ans = 64
1 == 2		//判断 1 是否等于 2 
ans = 0
1 ~= 2
ans = 1
1 && 0		//and
ans = 0
1 || 0 		//or
ans = 1
xor(1, 0)	//异或
ans = 1

//消除注释
PS1('>> ')

5.1.2 dips()与format

dips(a);
disp(spintf('2 decimals: %0.2f', a))
format long
format short

5.1.3 矩阵与向量

A = [1 2; 3 4; 5 6]

v = 1:0.1:2
v = 1:6 

5.1.4 ones() 、 zeros() 与rands()

ones(2, 3)
2*ones(2, 3)

zeros(1, 3)

rand(1, 3)

5.1.5 hist()

w = -6 + sqrt(10)*(randn(1, 10000))
hist(w)

后续第五节有关Octave，先跳过，后续再补上

六、逻辑回归

6.1 线性回归对于分类问题的局限性

由于离群点的存在，线性回归不适用于分类问题。

如下图（阈值为0.5），由于最右离群点，再用线性回归与实际情况不拟合。

因此，我们引入 逻辑回归（logistic regression） 算法，来解决这个问题。

6.2 logistic regression假设陈述

logistic regression的假设函数值总是在0到1之间

logistic regression模型

线性回归中 h_θ(x) = θ^Tx
作一下修改，变成下图形式

logistic函数 / sigmoid函数

6.2 决策边界

决策边界不是训练集的属性，而是假设本身及其参数的属性

6.2.1 例1

假设有一个训练集：

用一种方法或者假设，得到参数θ₀ = -3，θ₁ = 1，θ₂ = 1

预测 y = 1 if -3 + x₁ + x₂ ≥ 0，即x₁ + x₂ ≥ 3
则有下图，中间的洋红色直线即为 决策边界（x₁ + x₂ = 3）

6.2.1 例2

其他参数更多更复杂的也同理。

6.3 代价函数（cost function）

6.3.1 cost function的导出

将线性回归的代价函数改写为如下形式（即把1/2提到后面去）

进而定义cost函数为

如果在逻辑回归中用线性回归的代价函数，会导致图像为非凸函数，很难得到最小代价函数

6.3.2 cost function 运用到逻辑回归中

y表示实际，h_θ(x)表示预测
1. 当y = 1时
if h_θ(x) = 1, cost = 0
if h_θ(x) = 0, cost = ∞ （预测与实际完全不一致，要花费很大的代价惩罚算法）

关于图像的导出

2. 当y = 0时
if h_θ(x) = 0, cost = 0
if h_θ(x) = 1, cost = ∞ （预测与实际完全不一致，要花费很大的代价惩罚算法）

6.4 简化代价函数与梯度下降

将上述式子合并为一个式子

Cost(h_θ(x), y) = -y(h_θ(x)) - (1 - y)log(1 - h_θ(x))

当y = 1时，后一个式子整体为0
当y = 0时，前一个式子整体为0

进而我们得到

求最小代价函数
由

得

注意：

1. 逻辑回归的代价函数看似与线性回归的代价函数相同，但本质不同。
2. 逻辑回归中的h_θ(x) = 1 / e^-θTx（T是θ的上标）
3. 线性回归中的h_θ(x) = θ^Tx

6.5 高级优化

本质： 利用一些高级算法，来更快计算出结果。

通常这些算法：

1. 能够自主选择α
2. 速度大大快于梯度下降
3. 比梯度下降更为复杂

Octave中的标号是从1开始的
故theta[1] = θ₀，theta[n + 1] = θ_n

写一个costFunction()函数
该函数需返回

1. jVal。因此需要一些代码来计算出J(θ)的值
2. gradient。gradient(1)对应关计算出关于θ₀的代码

6.7 多元分类：一对多

多元分类： 结果有多种可能。

如下例，有三种可能结果。

将它们两两作为一组，得到

即

最后需要输入一个x，选择h最大的类别，也即在三个分类器中选择可信度最高，效果最好的

七、过拟合问题

7.1 过拟合定义

过拟合
当变量过多时，训练出来的假设能很好地拟合训练集，所以代价函数实际上可能非常接近于0，但得到的曲线为了千方百计的拟合数据集，导致它无法泛化到新的样本中，无法预测新样本数据

泛化
指一个假设模型应用到新样本的能力

例
下左欠拟合，存在高偏差
下中拟合适中
下右过拟合，存在高方差

解决方法

• 减少特征数量
  人工选择
  模型选择算法（后续讲到）

  缺点：舍弃一部分特征变量也舍弃了关于问题的一些信息

• 正则化
  减少特征量级或参数θ_j的大小

7.2 过拟合代价函数

7.2.1 房价例子引入

以这个例子为例，其代价函数为

再之后再加上两项（1000为任意一个较大的数）

为了minisize代价函数，自然而然地θ₃，θ₄要等于0，从而去除了这两项，相当原来的式子变为二次函数

7.2.2 代价函数

• 其中
  + 后的一项为正则化项，
  λ 为正则化参数，作用是控制两个不同目标之间的取舍
  （1）第一个目标与第一项有关，即我们想要更加拟合数据集。
  （2）第二个目标与第二项有关，即我们想要参数θ_j尽量小
• 惩罚从θ₁到θ_n，不包括θ₀（实操中有无θ₀影响不大）
• 若 λ 设置的过大，即对θ₁θ₂θ₃θ₄的惩罚程度过大，导致θ₁θ₂θ₃θ₄都接近于0，最后假设模型只剩一个θ₀，出现欠拟合情况
  

7.3 线性回归的正则化

7.3.1 梯度下降的正则化

由于正则化是从1到n项，故先将θ₀提出来

将第二个式子写成下面这样的形式

其中m是样本量，所以一般都是一个很大的值，λ 正则化参数，一般都不大。故 1 - α$\frac{\lambda }{m}$一项的值比1略小
每次迭代时，θ_j都乘这么一个比1略小的数，效果相当于梯度下降

7.3.2 正规方程的正则化

7.4 逻辑回归的正则化

首先有这么个例子

其cost函数为

进而得到其偏导

与之前操作类似的，得到 能计算加上正则项的cost函数的偏导 jVal代码，和计算每一个偏导值的gradient(i)代码

八、神经网络

8.1 神经网络的必要性

当特征值只有两个时，我们仍可以用之前学过的算法去解决

但当特征值很多，且含有很多个多次多项式时，用之前的算法就很难解决了

例 汽车识别

计算机识别汽车是靠像素点的亮度值

给定数据集汽车和非汽车的数据，按照之前的方法划分

可以看到仅针对50*50像素的灰白图片，就有2500个特征值。当引入rgb时，特征值达到了7500个，如果算上多次多项式，特征值达到了三百万个，显然再继续用之前的算法难以处理这么庞大的数据

8.2 模型展示

8.2.1 神经元的工作方式

神经元由树突接收外界信息，经神经元计算，再由轴突发出信息
神经元之间可互相传递信息

类似地，我们定义一个神经网络如下：

• x₀，a₀为偏置单元，默认值为1
• Layer1是输入层，Layer3是输出层，Layer2的工作过程看不到故为隐藏层
• a_i^(j)是第 j 层第 i 个神经元的激活值（即由一个具体神经元计算并输出的值）
• θ^(j)是权重矩阵，控制从第 j 层到第 j + 1层的映射
  
  
  进而得到 a⁽²⁾ 和 h_θ(x) 的计算公式
  θ是映射，可理解为是中间的连线。
  因为是矩阵相乘，x是4行1列向量（记得算上x₀），所以θ是4列，又因为a有三个，所以θ是3行，最后得θ是3行4列向量，则θ × x结果为3行1列向量
  
  
  如果一个网络在第 j 层有 s_j 个单元，在第 j + 1 层有 s_j +1 个单元，则矩阵θ_j的维度为 s_j+1 * (s_j +1 )。如θ⁽²⁾是3×4矩阵

8.2.2 前向传播

从输入单元的激活项开始，进行前向传播给隐藏层，计算隐藏层的激活项，继续前向传播，并计算输出层的激活项

• 由之前我们有如下式子

• 其中 x 为 4维向量
  
• 令 z⁽²⁾ = θ⁽¹⁾x，从而z是一个 3维向量

• 进而
  

• 进而 a⁽²⁾ = g(z⁽²⁾)

• 类似的，加上a₀⁽²⁾ = 1，a⁽²⁾为 4维向量，进而得到
  
  合在一起比较好理解
  
  更复杂的神经网络
  中间的均为隐藏层
  一层层往后越来越复杂
  

8.3 例：神经网络用于计算XOR，XNOR

• 定义两个特征x₁，x₂，它们的值只能为0或1
  

• AND
  引入x₀，值为1。对权重 / 参数进行赋值，-30、+20、+20
  x₁ = 0，x₂ = 0，h_θ(x)结果为0
  同理得到另外三组结果
  总结果与 x₁ AND x₂ 一致
  

• OR
  与AND同理
  

• （NOT x₁）AND（NOT x₂）
  NOT即结果取反。如果x₁输入为1，则输出为0
  x₁输入0，h_θ(x₁)输出1；x₂输入0，h_θ(x₂)输出1，再进行AND运算可得最终结果
  其他三种情况同理
  

- XNOR
有AND，（NOT x₁）AND (NOT x₂)， OR三个前提
同样在输入层定义x₀，x₁，x₂
在隐藏层中
进行AND运算得到a₁⁽²⁾，进行（NOT x₁）AND (NOT x₂)运算得到a₂⁽²⁾
在输出层中
进行OR运算得到a₁⁽³⁾，即为最终结果

每层都是通过计算不断复杂

九、神经网络的运用

9.1 代价函数

定义 L，指网络中共有多少层
定义s~l~，指每层中有多少个偏差单元
如，s₁ = 3，s₄ = s_L = 4

针对01输出问题

1. 二元分类
   
   只有一个输出，则s_L = 1
   K = 1（K表示输出层的单元数目）
   
   输出结果h(x)是一个实数

2. 多类别分类
   
   K个输出单元（K ≥ 3，不然没有必要用多类别分类）
   
   输出结果h(x)是一个K维向量
   （eg：有不同的交通工具，定义一个结果集y^k每个车对应向量第j行的值是1，其他位置都为0，将结果h(x)与y^k比较，对应得上则说明是该交通工具）

代价函数

在逻辑回归中，我们有如下代价函数

演化到神经网络中，得到如下代价函数

• 其中
  
  两个连加类似for循环。
  这里相当于求k等于从1到4的每一个逻辑回归算法的代价函数，然后按四次输出的顺序，依次把这些代价函数加起来

• 其次
  
  这一项表对所有θ_ji(l)求和
  1 到 L - 1是因为映射是两两之间的

注意 j 和 i没有标错，按照之前的定义，j就是θ向量的行，进而 i 就代表列

在计算中，不将θ_i0这一项也进行计算，乘出来的结果有些类似于偏差单元的值，但实际运用中，影响不大

十、应用机器学习的建议

10.1 应用机器学习的建议

到目前为止，我们已经学习了许多不同的学习算法，但可能没有完全理解怎样运用它们，因此总是把时间浪费在毫无意义的尝试上。所以我们接下来将学习一些方法去选择一条最正确的道路。
我们将重点关注的是如果我们在开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，我们要如何决定接下来应该选择哪条道路？

为了解释这一问题，我们仍然使用预测房价的学习例子。假设已经完成了正则化线性回归，也就是最小化代价函数的值，但如果假设函数放到一组新的房屋样本上进行测试，发现在预测房价时产生了巨大的误差，我们要如何改进这个算法？

第一种办法是使用更多的训练样本。但有时候获得更多的训练数据实际上并没有作用。
第二种方法是尝试选用更少的特征集。如果你有很多特征，我们可以从这些特征中仔细挑选一小部分来防止过拟合。
第三种方式是尝试选用更多的特征，也许目前的特征集，对我们来讲并不是很有帮助。所以我们也许可以从获取更多特征的角度来收集更多的数据，也可以把这个问题扩展为一个很大的项目。
第四种方式是可以尝试增加多项式特征，比如X1的平方，X2的平方，X1和下的乘积等等。
第五种方式是可以考虑其他方法去减小或增大正则化参数的值。

以上这些方法都需要很长的时间，但有一系列简单的方法能让我们事半功倍，排除掉这些方法中的至少一半，从而节省大量不必要花费的时间。这些方法被叫做 “机器学习诊断法” 。
“诊断法” 的意思是：这是一种测试法，你通过执行这种测试，能够深入了解某种算法到底是否有用。这也能告诉我们，要想改进一种算法的效果，去做什么样的尝试才是有意义的。

但同时这些诊断法的执行和实现，也需要花费时间，有时候确实需要花很多时间来理解和实现，不过这样做是把时间用在了刀刃上，可以为我们在开发学习算法时节省几个月的时间。

10.2 评估一个假设

在之前的学习中我们尝试选择参量来使训练误差最小化，但得到一个非常小的训练误差并不一定是一件好事，它推广到新的训练集上并不一定适用。那么我们该如何判断一个假设函数是否过拟合呢？

对于简单的例子，我们可以对假设函数进行画图，然后观察图形的趋势，但对于像右边这样特征变量不止一个的情况，就很难画图去观察了。所以需要另一种方法来评估（假设函数是否过拟合）。

这里展示十组训练样本，我们将数据分成两部分，第一部分（通常为70%）作为我们的训练集，第二部分（通常为30%）作为我们的测试集。
用M_test表示测试样本的总数，（x⁽¹⁾_test, y⁽¹⁾_test）就表示第一组测试样本。
要注意的是，在分成两组数据集之前，应该先将数据随机排列再进行分组。

对于线性回归，假设函数J(θ)由70%的训练集得到。
之后要计算出测试误差，用J_test来表示。把从训练集中学习得到的参数 θ 放在J_test中来计算测试误差，这个是测试集平方误差的平均值（样本量为M_test）。

对于逻辑回归，同样我们也要从训练集中学习得到参数θ，再放到J_test中去。这个目标函数和之前的一样，唯一的区别是这里使用的是M_test个样本。

还有另一种测试度量可能更便于理解，叫做错误分类，也叫作0/1分类错误。
可以定义一次预测的误差，是关于假设函数和标签y的误差：
（1）误差等于1的情况是，当假设函数h(x)的值大于等于0.5且y的值等于0时；假设函数的值小于0.5，且y的值等于1时；这两种情况都表示假设对样本进行了误判。
（2）其他情况则误差等于0，表示假设能对样本进行正确分类。

然后我们就能用应用错误分类误差（Test error），来定义测试误差，也就是错误分类误差求平均值。

10.3 模型选择和交叉验证集

如果我们想要确定对于一个数据集最合适的多项式次数，怎样选用正确的特征来构造学习算法；或者如果我们要选择学习算法中的正则化参数LAMBDA，要怎么做？这类问题叫做模型选择问题。

我们之前提到过拟合问题，用左边这些参数来拟合训练集，就算假设函数在训练集上表现得很好，也不意味着该假设对新样本也有好的泛化能力。所以训练集误差不能用来表示假设对新样本的拟合好坏。而如果参数对某个数据集拟合的很好，那么用同一数据集计算得到的误差，比如训练误差并不能很好地估计出实际的泛化误差（即对该数据集的泛化能力）。

假设我们要在10个不同次数的二项式模型之间进行选择，用参数d来表示多项式的次数。d=1……d=10。
（1）选择各个模型，分别得到各个参数，为做区别，在参数上加上上标。
（2）用这些参数分别计算得到各个测试集误差。
（3）为从这些模型找到最好一个，应该看哪个模型的测试集误差最小。
（4）假设这里最终选择了五次多项式模型，现在要知道这个模型的泛化能力，可以观察这个模型对测试集的拟合程度，但由于我们拟合了一个参数d，并且选择了一个最好地拟合测试集的参数d的值，因此我们的参数向量θ⁽⁵⁾在测试集上的性能很可能是对泛化误差过于乐观的估计。意思就是说是用测试集拟合得到的参数d，再在测试集上评估假设，所以假设可能对测试集的表现要好过那些其他那些新的测试集中没有的样本。

为解决模型选择出现的问题，通常会使用以下的方法来评估一个假设：
给定一个数据集，分为三部分，用60%的数据作为训练集，用 20%的数据作为交叉验证集（CV，也叫验证集），用20%的数据作为测试集。
用M_cv来表示验证集的样本总数，同样用(x⁽ⁱ⁾ ,y⁽ⁱ⁾ )来表示第i个验证样本

用三个样本分别计算测试误差

（1）同样我们用训练集来计算最小代价函数得到各个参数，但这次用验证集来测试。
（2）用计算出的J_cv来观察这些假设模型在交叉验证集上的效果如何。
（3）选择J_cv最小的假设，这里假设选择四次多项式对应的交叉验证误差最小，进而得到d=4
（4）之后就可以用测试集来衡量模型的泛化误差了。

10.4 诊断偏差和方差

当我们运行一个学习算法时，如果这个算法的表现不理想，那么多半是出现两种情况：要么是偏差比较大，要么是方差比较大。换句话说，出现的情况要么是欠拟合，要么是过拟合问题。高偏差和高方差的问题基本上来说是欠拟合和过拟合的问题。能判断出现的情况是这两种情况中的哪一种，是一个很有效的指示器，指引着可以改进算法的最有效的方法和途径。

通过之前的学习我们知道，上图左边是欠拟合，右边是过拟合，而中间是刚好拟合，其泛化误差也是最小的。

上图的图像，横坐标d代表多项式的次数，左边值为1的时候对应一次函数，右边值为4的时候对应更高的多项式次数。
粉色线J_train(θ)代表训练误差，由于次数越高越拟合，所以训练误差是趋于下降的。
红色线J_cv(θ)代表测试误差，d=1时欠拟合，测试误差较高，d=4时过拟合，测试误差较高，而d=2时刚好拟合，测试误差较低。

由上面的分析我们可以知道，
d=1时欠拟合，呈现高偏差，此时训练误差和测试误差都很大，且两者接近；
d=4时过拟合，呈现高方差，此时训练误差很大，测试误差很小，测试误差远大于训练误差。