1. hold out 检验

   • 将原始的样本集合按比例划分成训练集和验证集，例如7:3， 8:2等，
   • 缺点：验证集上的评估指标与数据划分有很大的关系，因此为了消除随机性，常采用下面的交叉检验

2. 交叉检验

   • k fold交叉验证：将数据集随机划分成k个大小相同的子集，依次偏离这k个子集，每次把当前子集作为验证集，其余作为训练集，最后将k次指标进行平均作为最终结果
   • 留1验证：每次留下一个样本作为验证集，其余用于训练，遍历n次，将n次评估结果的均值作为最终评估指标。当样本总数太大的话，需要遍历次数很多，时间开销大。

3. 自助法

   • 上面两种方法都是基于划分训练集和测试集进行模型训练和评估的。但是当样本集较小时，将样本集进行划分会进一步导致训练集进一步减小，影响模型的效果，
   • 自助法是基于自主采样的方法。对于总数为n的样本集，进行n次有放回的随机采样，从而得到大小为n的训练集。n次采样过程中有的样本会重复进行采样，有的样本未被采样，将这些未被采样过的样本作为测试集用于模型验证。

🤔 自助法中，对n个样本进行n次采样，当n趋于无穷大时，最终有多少数据未被选择过？

一个样本在一次抽样中被采样到的概率为$\frac{1}{n}$，未被采样到的概率为$1-\frac{1}{n}$，n次抽样均未被抽到的概率为$(1-\frac{1}{n}{)}^n$，当n趋于无穷大时，概率为$\underset{n\to \infty }{\lim }(1-\frac{1}{n}{)}^n$

我们知道$\underset{n\to \infty }{\lim }(1+\frac{1}{n}{)}^n=e$

$$\underset{n\to \infty }{\lim }(1-\frac{1}{n}{)}^n=\underset{n\to \infty }{\lim }\frac{1}{(1+\frac{1}{n-1}{)}^n}=\underset{n\to \infty }{\lim }\frac{1}{(1+\frac{1}{n-1}{)}^{n-1}}\cdot \underset{n\to \infty }{\lim }\frac{1}{(1+\frac{1}{n-1})}=\frac{1}{e}$$

当n很大时，大约有1/e的样本未被采样过，也就是36.8%的样本可以作为验证集。

欢迎关注微信公众号（算法工程师面试那些事儿)，本公众号聚焦于算法工程师面试，期待和大家一起刷leecode，刷机器学习、深度学习面试题等，共勉～

万物皆数学。

近期计划汇总整理些实际工作中会用到分析方法、模型和算法，计划从方法/模型/算法适用的情况、实现原理、结果及其检验标准、Python调用方法、以及可视化呈现这几个方面入手来整理。

希望能对数据科学分析和挖掘有个系统全面的方法论认识。也起到一个方法参考手册的作用。

一、什么是模型压缩？
模型压缩的目标是保证模型预测效果的前提下，尽可能地降低模型的大小

二、为什么要进行模型压缩？

1. 模型压缩后，模型很小，进行推断的运算量小，利于在移动端部署。

2. 诸如Bert等深度学习的参数太多了，模型太大了，消耗的计算资源过多，进一步加大了深度学习爱好者们的“贫富差距”，不够和谐。以Bert-large为例，训练一次需要64G显存的google TPU，按照每小时6.5美元的价格，1024块训练76分钟，总消耗：1024*6.5*（76/60）=8430美金。一般人和公司真是玩不起。模型压缩领域的“有志之士”的终极目标是能够让“贫苦的深度学习爱好者”也玩得起，他们进行了一些列的研究，他们发现使用压缩后（更小的）模型也能够达到原始模型类似的效果。

三、常见的模型压缩方法有哪些？

1. Pruning（修剪）: 因为神经网络很多权重几乎为0，这类参数作用不大，部分参数删掉也不影响模型预测效果
2. Weight Factorization（权重分解）：权重矩阵可以进行低秩矩阵分解，即low-rank matrix
   factorization，从而使得一些参数为0
3. Quantization（削减精度）：能用float32，不用float64；能用int，不用float
4. Weight Sharing（共享权重）：很多layer的参数可以共享，没必要用太多参数

很多小伙伴可能会想：模型压缩只是“大模型”的后续处理，也不能让我们玩转大模型哇。理想的方式是，我们只设计好一个小的模型就能达到非常好的效果。

实际上，模型压缩的出现，让我们看到了“好的小模型的样子”，对我们后续设计小模型有很多借鉴意义。