这篇文章将从以下四个方面讲解机器学习中的提升方法，完整的代码我整理在我的GitHub项目Machine-Learning-code中，可以自行前往下载，要是能star就更好了呀~

提升方法
提升方法的基本思想
Adaboost方法
提升树
代码实现

提升方法的基本思想
依旧从三个方面理解提升方法，然后从抽象到具体，给出提升方法的两个具体实例Adaboost方法和提升树，进一步加深对提升方法的理解

模型：提升方法的基本模型是加法模型，既可以用作分类也可以用作回归，取决于基本函数，模型可以用数学表达式表示为：

$f(x)=\sum_{m=1}^{M}\beta_mb(x;\gamma_m)$

其中$b(x;\gamma_m)$为基函数，$\gamma_m$为基函数的参数，$\beta_m$为基函数的系数，通过上面的式子我们可以这样理解提升方法：原来的数据没有办法通过一个分类（回归）器解决，可以通过多个分类（回归）器各自解决一部分数据，然后通过不同的系数将这些分类（回归）器组合在一起，从而达到提升原来的分类（回归）器的效果

策略：提升方法的策略就是在给定损失函数的情况下，使经验风险最小化，即：

$\min\limits_{\beta_m,\gamma_m}\sum_{i=1}^{N}L(y_i,\sum_{m=1}^{M}\beta_mb(x_i;\gamma_m))$

不同的损失函数和基函数组合就可以得到不同的提升方法，Adaboost方法和提升回归树方法就是损失函数分别取指数函数和平方损失函数得到的特例

算法：要求解上述最下化问题比较复杂，因为涉及到多个基函数的参数和系数，因此我们采用前向分步算法来求解上述问题，因为模型是加法模型，我们可以从前向后，每次只求解一个基函数和对应的系数，然后固定前面的基函数和系数求解后面的函数和系数，这样逐步逼近优化目标函数，这样在具体的第m步我们只需要求解下面的损失函数：

$\min\limits_{\beta_m,\gamma_m}\sum_{i=1}^{N}L(y_i,\beta_mb(x_i;\gamma_m))$
Adaboost方法
我们取损失函数为对数损失函数：

$L(y,f(x))=\exp[-yf(x)]$

基函数为分段函数：

$b(x;\gamma_m)=\left\{
\begin{array}{lr}
1&x<\gamma_m\\
-1&x>\gamma_m
\end{array}
\right.$

就可以得到adaboost方法，运用前向分步算法求解损失函数最小化，整理后可以得到如下求解过程：




提升树
这里我们以提升回归树举例，首先写出提升算法的模型表示：

$f_M(x)=\sum_{m=1}^{M}T(x;\Theta_m)$

这里$T(x;\theta_m)$为决策树，我们取只有两个叶节点的简单决策树,然后损失函数取平方损失函数，利用前向分步算法，得到每一步需要优化的函数：

$\begin{aligned}\hat{\Theta}_m&=\argmin_{{\Theta}_m}\sum_{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;\Theta_m))\\&=\argmin_{{\Theta}_m}\sum_{i=1}^{N}(y_i-f_{m-1}(x_i)-T(x_i;\Theta_m))^2\\&=\argmin_{{\Theta}_m}\sum_{i=1}^{N}(r_i-T(x_i;\Theta_m))^2
\end{aligned}$

其中$f_{m-1}(x)=\sum_{i=1}^{m-1}T(x;\Theta_i)$,$r_i=y_i-f_{m-1}(x_i)$为当前模型预测的误差，所以对决策树$T(x;\Theta_m)$来说只需要拟合误差就可以了，于是可以得到下面的求解算法：



如何拟合误差呢，尝试不同的决策点，取使得平方损失最小的决策点即可
代码实现
下面主要给出训练过程的代码：
	def train(self):
		predict = np.zeros(self.n)
		for i in range(self.treenum):
			tree = {'e': 1}
			for r in self.rule:
				if r == 'lessOne':
					L, H = 1, -1
				else:
					L, H = -1, 1
				for d in self.div:
					for i in range(self.m):
						#计算误差率和Gm(x)的输出
						Gx, e = self.cal_E_Gx(L, H, d, i)
						if e < tree['e']:
							tree['div'] = d 
							tree['rule'] = r
							tree['feature'] = i
							tree['e'] = e 
							tree['Gx'] = Gx
			e = tree['e']
			#计算alpha
			alpha = 1 / 2 * np.log((1-e) / e)
			tree['alpha'] = alpha
			Gx = tree['Gx']
			#更新权重
			self.W = self.W * np.exp(-alpha * self.label * Gx)
			self.W /= sum(self.W)
			predict += alpha * Gx
			self.trees.append(tree)
			if sum((np.sign(predict) != self.label).astype('int')) == 0:
				break
		print('total tree num is {}'.format(len(self.trees)))

完整代码可以去我的GitHub项目Machine-Learning-code中下载，欢迎star~

                    

                    

                    
                    
                    
有个非盈利的开源学习组织Datawhale开源了一个github仓库：“南瓜书(PumpkinBook)”，对《机器学习》（西瓜书）里比较难理解的公式加以解析，以及对部分公式补充具体的推导细节。
一、前言
周志华老师的《机器学习》（西瓜书）是机器学习领域的经典入门教材之一，周老师为了使尽可能多的读者通过西瓜书对机器学习有所了解, 所以在书中对部分公式的推导细节没有详述，但是这对那些想深究公式推导细节的读者来说可能“不太友好”。
二、南瓜书
近日有个github仓库“南瓜书(PumpkinBook)”对西瓜书里比较难理解的公式加以解析，以及对部分公式补充具体的推导细节。
该仓库拥有者Datawhale是一个非盈利的开源学习组织，致力于构建一个纯粹的学习圈子，帮助学习者更好地成长。目前已经更新完前7章，并诚挚欢迎每一位西瓜书读者前来参与完善本书：一个人可以走的很快，但是一群人却可以走的更远。
仓库链接：
https://github.com/datawhalechina/pumpkin-book
在线阅读地址：
https://datawhalechina.github.io/pumpkin-book/
三、目录
第1章 绪论
第2章 模型评估与选择
第3章 线性模型
第4章 决策树
第5章 神经网络
第6章 支持向量机
第7章 贝叶斯分类器
第8章 集成学习（即将更新）
第9章 聚类（即将更新）
第10章 降维与度量学习（即将更新）
第11章 特征选择与稀疏学习（即将更新）
第12章 计算学习理论（即将更新）
第13章 半监督学习（即将更新）
第14章 概率图模型（即将更新）
第15章 规则学习（即将更新）
第16章 强化学习（即将更新）
四、内容截图
五、致谢
感谢开源组织的无私奉献，世界有你们更美好！
仓库链接：
https://github.com/datawhalechina/pumpkin-book
请关注和分享↓↓↓ 
本站的知识星球（黄博的机器学习圈子）ID：92416895
目前在机器学习方向的知识星球排名第一
往期精彩回顾
良心推荐：机器学习入门资料汇总及学习建议（2018版）
黄海广博士的github镜像下载（机器学习及深度学习资源）
吴恩达老师的机器学习和深度学习课程笔记打印版
机器学习小抄-（像背托福单词一样理解机器学习）
首发：深度学习入门宝典-《python深度学习》原文代码中文注释版及电子书
科研工作者的神器-zotero论文管理工具
机器学习的数学基础
机器学习必备宝典-《统计学习方法》的python代码实现、电子书及课件
吐血推荐收藏的学位论文排版教程（完整版）
机器学习入门的百科全书-2018年“机器学习初学者”公众号文章汇总
Python环境的安装（Anaconda+Jupyter notebook+Pycharm）
Python代码写得丑怎么办？推荐几个神器拯救你

				

基于opencv自带的人脸检测模型，实现简单的人脸检测功能，可作为机器学习初学者练手使用。简单易学，具体的方法及代码如下。

1、运行结果

输入原图



输出结果



2、工程需要加载的opencv库如下：



3、用到的人脸检测器



4、具体实现代码

#include <opencv.hpp>
#include <opencv2/core/core.hpp>
#include <iostream>

using namespace cv;
using namespace std;

#define  MULTI_TARGET  //控制切换检测目标数

int main()
{
	CascadeClassifier faceDetector;
	string faceCascadeFilename = "haarcascade_frontalface_default.xml";
	faceDetector.load(faceCascadeFilename);     //加载人脸检测器

	if (faceDetector.empty())
	{
		cout<<"load faceDetector failed!"<<endl;
		return -1;
	}

	Mat srcImg = imread("..\\srcImg.jpg");
	if(srcImg.empty())
	{
		cout<<"read image failed!"<<endl;
		return -1;
	}
	imshow("srcImg", srcImg);

	Mat grayImg;
	cvtColor(srcImg, grayImg, CV_RGB2GRAY);   //转成灰度图

	vector<Rect> detectionResults;
	float searchScaleFactor = 1.1f;
	int minNeighbors = 3;
	Size minFeatureSize(25, 25);

#ifdef MULTI_TARGET
	int flags = CASCADE_SCALE_IMAGE;	     //检测多个目标
#else
	int flags = CASCADE_FIND_BIGGEST_OBJECT|CASCADE_DO_ROUGH_SEARCH;	//只检测最大目标
#endif

	faceDetector.detectMultiScale(grayImg, detectionResults, searchScaleFactor, minNeighbors, flags, minFeatureSize);  //进行人脸检测

	Mat dstImg = srcImg.clone();
	Mat detectionRect;
	for (int i = 0; i < detectionResults.size(); i++)
	{
		if (detectionResults[i].height > 0 && detectionResults[i].width > 0)
		{
			detectionRect = grayImg(detectionResults[i]);
			rectangle(dstImg, detectionResults[i], CV_RGB(0, 255, 0), 2, 8, 0);   //画检测框
		}
	}

	imshow("dstImg", dstImg);
	waitKey(0);
	return 0;
}

 

具体见链接：距离度量&二分类损失函数的公式和python代码实现
文章来源于微信公众号【机器学习初学者】