Python机器学习教程
 
第一章：对于机器学习，我们选择了Python
 
第二章：了解SciPy、Pandas
 
持续更新 ... ...
  
 
 
 

本系列另一篇文章《决策树》
 https://blog.csdn.net/juwikuang/article/details/89333344
 
本文源代码：
 https://github.com/juwikuang/machine_learning_step_by_step
 
最近我发现我之前写的一篇文章《一个公式告诉你为什么程序员要转算法工程师》
 http://blog.csdn.net/juwikuang/article/details/73057194
 有很多人访问。我想，很多程序员和我当初一样，想从程序员转算法工程师。
 
说说我当初为什么会想到升级成算法工程师。记得三年前，我还在印孚瑟斯（Infosys），我们的CFO非常自豪的宣布公司已经成功的让专科生的比例提高了，让本科生的比例降低了。我作为一个本科程序员，听了十分难受。当然，公司这样做是为了利润，也合理合法。换了我是CFO，我也会这样做，不过，我应该不会像他一样大声说。有些事，可以做，不能说。
 
后来，机缘巧合，我学习了机器学习，走上了算法工程师这条路。当时我学机器学习，是从吴恩达（Andrew Ng）的Coursera课程开始的。很多人和我一样，也是开了这门课，开始机器学习的。这门课挺好，可惜开发语言用了Octave，以至于我每次写作业，都很痛苦，因为我还要学Octave语言，而且这东西学了也没啥用。另外，这门课是英语的，只有少数人能看懂。
 
本文的目的，就是从最基本，最简单的机器学习算法讲起，手把手的教你实现这个算法。一边编程，一边就明白这个算法的原理了。我本人也是程序员转的算法工程师，我们的强项就是编程，弱项就是数学。我针对这个特点，专门做了以下教程。
 
言归正传。首先我们看看线性回归在整个机器学习里的位置。
 
从机器学习到线性回归
 
 
今天，我们只关注机器学习到线性回归这条线上的概念。别的以后再说。为了让大家听懂，我这次也不查维基百科了，直接按照自己的理解用大白话说，可能不是很严谨。
 
机器学习就是机器可以自己学习，而机器学习的方法就是利用现有的数据和算法，解出算法的参数。从而得到可以用的模型。
 
监督学习就是利用已有的数据（我们叫X，或者特征），和数据的标注（我们叫Y），找到x和y之间的对应关系，或者说是函数f。
 
回归分析是一种因变量为连续值得监督学习。
 
线性回归是一种x和y之间的关系为线性关系的回归分析。$y=a_1{x}_1+a_2{x}_2+b$，这个叫线性关系。如果这里出现了$x^2$,$log(x)$, $sin(x)$之类的，那就不是线性关系了。
 
一元线性回归说的是，自变量x是一个纯量（scalar）。scalar类型的变量，是不可再分的。
 
我希望你能说明白这些概念的关系。不过，我自己也是花了很久才了解清楚的。如果你没听明白，也没关系。毕竟都是概念，没什么实际的例子，也很难理解。等你看完了本文，了解了一元线性回归。回过头来再看这些概念，就能更好的理解了。
 
问题
 
这里，我们的问题是，找出算法工程师和程序员之间的工资关系。这里直接给出北京，上海，杭州，深圳，广州的工资。
 
城市
x-程序员工资
y-算法工程师工资
北京
1.3854
2.1332
上海
1.2213
2.0162
杭州
1.1009
1.9138
深圳
1.0655
1.8621
广州
0.09503
1.8016
把他们用图打出来看看他们之间的关系。
 
 
由图可见，他们之间大致是一个线性关系，这时候，我们就可以试着用一元线性回归去拟合（fit）他们之间的关系。
 
数学模型
 
一元线性回归公式
 
以下是公式
 $y=ax+b+\epsilon$
 
y 为应变量 dependent variable
 x 为自变量 independent variable
 a 为斜率 coeffient
 b 为截距 intercept
 ε （读作epsilon）为误差，正态分布
 线性回归的目标是，找到一组a和b，使得ε最小
 $\hat{y}=ax+b$
 $\epsilon =y-\hat{y}$
 
$\hat{y}$ 读作y hat，也有人读作y帽子。这里的帽子一般表示估计值，用来区别真实值y。
 
下图可以更好的帮助你理解。
 

 （图片来自互联网）
 
黑色的点为观测样本，即$y=ax+b+\epsilon$。
 
x红色的线为回归线，即$\hat{y}=ax+b$。
 
x蓝色的线段为误差，即$\epsilon =y-\hat{y}$
 
方差 - 损失函数 Cost Function
 
在机器学习中，很多时候，我们需要找到一个损失函数。有了损失函数，我们就可以经过不断地迭代，找到损失函数的全局或者局部最小值（或者最大值）。损失函数使得我们的问题转化成数学问题，从而可以用计算机求解。在线性回归中，我们用方差作为损失函数。我们的目标是使得方差最小。
 
下面的表格解释了什么是方差。
 
 
其中SSE(Sum of Square Error)是总的方差，MSE（Mean Square Error）是方差的平均值。
 
而这里的损失函数，用的是0.5 * MSE。即：
 
$J(a,b)=\frac{1}{2n}{\sum }_{i=0}^n(y_i-{\hat{y}}_i{)}^2$
 
记住，这里的损失函数是针对参数a和b的函数，y和$\hat{y}$ 其实都是已知的。
 
优化方法 Optimization Function
 
有了损失函数，我们还需要一个方法，使得我们可以找到这个损失函数的最小值。机器学习把他叫做优化方法。这里的优化方法，就是算损失的方向。或者说，当我的参数变化的时候，我的损失是变大了还是变小了。如果a变大了，损失变小了。那么，说明a增大这个方向是正确的，我们可以朝着这个方向继续小幅度的前进。反之，就应该考虑往相反的方向试试看。因为每个参数（a和b）都是一维的，所以，所谓的方向，无非就是正负符号。
 
这里，我们需要用偏微分的方法，得到损失函数的变化量。即：
 
$\frac{\partial J}{\partial a}=\frac{\partial \frac{1}{2n}{\sum }_{i=0}^n(y_i-{\hat{y}}_i{)}^2}{\partial a}$
 $=\frac{1}{n}{\sum }_{i=0}^n(y_i-a{x}_i-b)\frac{\partial (y_i-a{x}_i-b)}{\partial a}$
 $=\frac{1}{n}{\sum }_{i=0}^n(y_i-a{x}_i-b)(-x_i)$
 $=\frac{1}{n}{\sum }_{i=0}^{n}x({\hat{y}}_i-y_i)$
 
$\frac{\partial J}{\partial b}=\frac{\partial \frac{1}{2n}{\sum }_{i=0}^n(y_i-{\hat{y}}_i{)}^2}{\partial a}$
 $=\frac{1}{n}{\sum }_{i=0}^n(y_i-a{x}_i-b)\frac{\partial (y_i-a{x}_i-b)}{\partial b}$
 $=\frac{1}{n}{\sum }_{i=0}^n(y_i-a{x}_i-b)(-1)$
 $=\frac{1}{n}{\sum }_{i=0}^n({\hat{y}}_i-y_i)$
 
如果你已经忘了微积分，你暂时可以不必纠结上面的公式，只要知道公式给出了损失函数的变化就可以了。伟大的python还提供了sympy，你可以用sympy做微积分。这部分我也放在附件代码里了，有兴趣的可以看一下。
 
之前说到，整过迭代过程是小幅度进行的。这里，就需要一个超参数来控制这个过程。这个超参数就是$\alpha$，通常是0.01.
 
这时，我们就可以去更新a和b的值：
 $a=a-\alpha \frac{\partial J}{\partial a}$
 $b=b-\alpha \frac{\partial J}{\partial b}$
 
到这里，在你继续往下读之前，你先自己考虑一下，为什么这里是负号？
 
你考虑好了么，如果你考虑好了，我就公布答案了。
 
本身$\frac{\partial J}{\partial a}$ 和 $\frac{\partial J}{\partial b}$ 是损失函数的变化量。如果损失函数随着a变大了，即 $\frac{\partial J}{\partial a}$ 为正。说明a的增大会导致损失函数的增大。那么是不是说，a的减小会使得损失函数减小呢？而我们的目标是使得J最小，所以，这个时候，我们的a要减小一点点。
 

 （图片来自互联网）
 
算法步骤
 
a和b的起始值设置为零
通过模型$\hat{y}=ax+b$，我们可以算出$\hat{y}$
有了$\hat{y}$，就可以用优化方法算去更新参数
重复2和3，直到找到J的最小值
 
流程图如下：
 

 
 
下图解释了模型，损失函数和优化方法之间的关系。
 
 
Python 实现
 
理论部分先告一段落，我们现在开始写代码，实现一元线性回归。
 
首先是模型，这个很简单：
 
def model(a, b, x):
    return a*x + b
 
接着，是损失函数：
 
def cost_function(a, b, x, y):
    n = 5
    return 0.5/n * (np.square(y-a*x-b)).sum()
 
最后，是优化函数：
 
def optimize(a,b,x,y):
    n = 5
    alpha = 1e-1
    y_hat = model(a,b,x)
    da = (1.0/n) * ((y_hat-y)*x).sum()
    db = (1.0/n) * ((y_hat-y).sum())
    a = a - alpha*da
    b = b - alpha*db
    return a, b
 
以上三个函数中a和b是标量（scalar value），x和y是向量（vector）
 至此，一元线性回归的主要部分就完成了。一共才14行代码，是不是很简单。
 
训练模型
 
有了模型，损失函数，优化函数，我们就可以训练模型了。具体过程请见附件代码。
 
这里给出分别训练1次，再训练5次，再训练10次，再训练100，再训练10000次的模型。
 
 
 
 
 
 
从上面几幅图，我们可以看到，随着训练次数的增加，回归线越来越接近样本了。我们自己写的线性回归比较简单，我只能目测，凭直觉感觉损失函数已经达到了最小值，我们就停在10000次吧。
 
看得再多，不如自己动手。阅读下一章节之前，请自己实现一元线性回归。
 
这里有现成的代码，供你参考。
 
http://download.csdn.net/download/juwikuang/10050886
 
模型评价
 
在机器学习中，模型的好坏是有标准的。在回归模型中，我们用$R^2$ 来评价模型。公式：
 $R^2=SSR/SST$
 其中
 $SSR={\sum }_{i=0}^n({\hat{y}}_i-\bar{y})$
 $SST={\sum }_{i=0}^n(y_i-\bar{y})$
 $\bar{y}$ 读作y bar，是y的平均值。
 可以证明$SST=SSR+SSE$，证明过程又会涉及到期望等概念，我们这里不展开了。
 
好了，现在你应该回到代码中去计算$R^2$ 了。
 
用scikit-learn训练和评价模型
 
平时在工作中，我们不可能自己去写回归模型，最常用的第三方工具是scikit-learn。
 其官网是：
 http://scikit-learn.org/
 
以下是ipython代码。
 
import numpy as np
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
%matplotlib inline

x = [13854,12213,11009,10655,9503] #程序员工资，顺序为北京，上海，杭州，深圳，广州
x = np.reshape(x,newshape=(5,1)) / 10000.0
y =  [21332, 20162, 19138, 18621, 18016] #算法工程师，顺序和上面一致
y = np.reshape(y,newshape=(5,1)) / 10000.0
# 调用模型
lr = LinearRegression()
# 训练模型
lr.fit(x,y)
# 计算R平方
print lr.score(x,y)
# 计算y_hat
y_hat = lr.predict(x)
# 打印出图
plt.scatter(x,y)
plt.plot(x, y_hat)
plt.show()

 
恭喜你，看完了本文，也学会了一元线性回归。如果对你有帮助，请给我一个赞。你的支持和鼓励是我继续写下去的动力。
 
如果有疑问，请下面留言。
 
python机器学习手写算法系列
 
完整源代码：
 
https://github.com/juwikuang/machine_learning_step_by_step
 
欢迎阅读本系列其他文章：
 
《python机器学习手写算法系列——线性回归》
 
《python机器学习手写算法系列——逻辑回归》
 
《python机器学习手写算法系列——决策树》
 
《python机器学习手写算法系列——kmeans聚类》

 
Python机器学习概述
 
1.基础概述
2.算法分类
3.研究内容
 

 
1.基础概述
 
机器学习（Machine Learing）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。
机器学习专门研究计算机怎样模拟或实现人类的学习行为，以便获取新的知识和技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习是人工智能的核心，是计算机具有智能的根本途径，其应用遍及人工智能的各个领域。
机器学习使用归纳、综合而不是演绎。
 
2.算法分类
 
 
按照学习方式
 
  
 
监督学习
 
 
 
半监督学习
 
 
 
无监督学习
 
 
 
强化学习
 
 
 
 
按照算法相似性
 
  
 
回归算法
 
 
 
聚类算法
 
 
 
降维算法
 
 
 
深度学习
 
 
 
集成算法
 
 
 
正则化算法
 
 
 
决策树算法
 
 
 
贝叶斯算法
 
 
 
关联规则学习
 
 
 
人工神经网络
 
 
 
基于核的算法
 
 
 
基于实例的算法
 
 
 
 
3.研究内容
 
 
 
机器学习领域的研究工作主要围绕以下三个方面
 
 
面向任务的研究，研究和分析改进一组预定任务的执行性能的学习系统。
认知模型，研究人类学习过程并进行计算机的模拟。
理论分析，从理论上探索各种可能的学习方法和独立于应用领域的算法。

 
Python机器学习核心预测算法
 
Python机器学习核心预测算法
第2章 通过理解数据来了解问题
2.1 解剖一个新问题
2.1.1 属性和标签的不同类型决定模型的选择
2.1.2 新数据集的注意事项
    
2.2 分类问题：用声呐发现未爆炸的水雷
2.2.1 “岩石 vs. 水雷”数据集的物理特性
2.2.1 “岩石 vs. 水雷”数据集的统计特征
   
  
 

 
Python机器学习核心预测算法
 
关于本书的学习及上机实现的笔记。
 
第2章 通过理解数据来了解问题
 
2.1 解剖一个新问题
 
note: 机器学习数据集通常对应列一个属性，行对应一个观察，但也有例外。例如，有些文本挖掘问题的数据矩阵就是另外的形式：列对应一个观察，行对应一个属性。
 属性（预测因子、特征、独立变量、输入）
 标签（结果、目标、依赖变量、响应）
 
2.1.1 属性和标签的不同类型决定模型的选择
 
a、数值变量；
 b、类别（因子、因素）变量
 例如惩罚回归算法只能处理数值变量，SVM、核方法、K最近邻也是同样。第4章将介绍将类别变量转换成数值变量的方法。
 当标签是数值的，就叫做回归问题。当标签是类别的，就叫做分类问题。如果分类结果只取2个值，就叫作二元分类问题。如果取多个值，就是多类别分类问题。
 可以吧一个回归问题变成二元分类问题。
 
2.1.2 新数据集的注意事项
 
需要检查的事项：
 1、行数、列数
 2、类别变了的数目、类别的取值范围
 3、缺失的值：当数据规模较大时，可以直接丢失；当数据规模小特别是生物数据且有多种属性时，需要找到方法把丢失的值填上（遗失值插补），或者使用能够处理丢失数据的算法。
 4、属性和标签的统计特性
 
2.2 分类问题：用声呐发现未爆炸的水雷
 
2.2.1 “岩石 vs. 水雷”数据集的物理特性
 
 运行时出现问题
  row = line.strip(' ').split(",")
  TypeError: a bytes-like object is required, not 'str'
  原因：Python3和Python2 在套接字返回值解码上有区别，需要decode(‘utf8’)
  具体解释参考链接：https://blog.csdn.net/NockinOnHeavensDoor/article/details/78765781
  https://www.fujieace.com/python/str-bytes.html 
 
由程序 rockVmineSummaries.py 得到
 
 另外一个重要的观察，如果数据集的列数远远大于行数，那么采用惩罚线性回归的方法则有很大可能获得最佳预测，反之亦然。
 由程序 rockVmineContents.py 可以确定哪些列是数值型的，哪些列是类别型的。分析结果：前60列是数值型，最后一列都是字符串。这些字符串值是标签。
 
 try…except…else…是Python中异常处理的方法，
 详见(https://www.runoob.com/python/python-exceptions.html）
 
2.2.1 “岩石 vs. 水雷”数据集的统计特征
 
由程序 rVMSummaryStats.py 得到该数据集的统计特征，