读STL源码分析

前言 
再好的编程技巧，也无法让一个笨拙的算法起死回生。 
选择了错误的算法，便注定了失败的命运。

何为算法 
以有限的步骤，解决逻辑或数学上的问题，Algorithms!

算法分析 
空间复杂度、时间复杂度

分类 
质变算法：会改变操作对象的值，例如拷贝、互换。 
非质变算法：不改变操作对象的值，例如查找、匹配。

算法的泛化过程

举例说明： 

 从一个array中寻找特定的值：

我们的直觉反应是：

int *find(int *array,int size,int target)
{
    for(int i=0;i<size;i++)
    {
        if(array[i]==target)
            break;
    }
    return &(array[i]);
}

上面的做法暴露了容器太多的实现细节，因此太过依赖特定容器。 

让find()接收两个指针作为参数：



int *find(int *begin,int *end,int value)
{
    while(begin!=end&&*begin!=value)
        begin++;
    return begin;
}

为了不仅仅适用于array，我们使用模板：



template<class T>
T *find(T *begin,T *end,const T& value)
{  
    while(begin!=end&&*begin!=value)
        begin++;
    return begin;
}

上面的函数虽然能适用大部分容器，但是还还不能用于list，进一步演化： 

在C++中，上述操作符或操作行为都可以被重载。如果我们以一个原生指针指向某个list，则对该指针进行“++”操作并不能指向下一个串行节点，但如果哦我们设计一个class，拥有原生指针的行为，并使其”++“操作指向list的下一个节点，那么find()就可以施行于list容器上了。这便是迭代器（iterator）的观念。迭代器是一种行为类似指针的对象，下面将find()函数内的指针以迭代器取代

template<class Iterator,class T>
Iterator *find(Iterator *begin,Iterator *end,const T& value)
{
    while(begin!=end&&*begin!=value)
        begin++;
    return begin;
}

基于神经网络的知识推理实质上是在一个已经训练成熟的网络基础上对未知样本进行反应或者判断。神经网络的训练是一个网络对训练样本内在规律的学习过程，而对网络进行训练的目的主要是为了让网络模型对训练样本以外的数据具有正确的映射能力通常定义神经网络的泛化能力，也称推广能力，是指神经网络在训练完成之后输入其训练样本以外的新数据时获得正确输出的能力。它是人工神经网络的一个属性，称为泛化性能。
不管是什么类型的网络，不管它用于分类、通近、推理还是其他问题，都存在一个泛化的问题。泛化特性在人工神经网络的应用过程中表现出来，但由网络的设计和建模过程所决定。从本质上来说，不管是内插泛化还是外推泛化，泛化特性的好坏取决于人工神经网络是否从训练样本中找到内部的真正规律。
影响泛化能力的因素主要有：
①训练样本的质量和数量。
②网络结构。
③问题本身的复杂程度。
下图是一个简单的曲线拟合实验，图中实线部分表示理想曲线，“十”表示训练样本数据。(a)、(b)、(c)、(d)分别表示训练100、200、300、400次后，神经网络根据输入的样本数据进行曲线拟合的效果。
曲线拟合实验
神经网络的训练次数也称为神经网络的学习时间，由试验结果可以看出，在一定范围内，训练次数的增加可以提高神经网络的泛化能力。然而，在神经网络的训练过程中经常出现一种过拟合现象，即在网络训练过程中，随着网络训练次数的增加，网络对训练样本的误差逐渐减小，并很容易达到中止训练的最小误差的要求，从而停止训练。
然而，在训练样本的误差逐渐减小并达到某个定值以后，往往会出现网络对训练样本以外的测试样本的误差反而开始增加的情况。对网络的训练，并不是使训练误差越小越好，而是要从实际出发，提高对训练样本以外数据的映射能力，即泛化性能。
神经网络的泛化性能还体现在网络对噪声应具有一定的抗干扰能力上。过多的训练无疑会增加神经网络的训练时间，但更重要的是会导致神经网络拟合数据中噪声信号的过学习(over learning)，从而影响神经网络的泛化能力。学习和泛化的评价基准不一样是过学习产生的原因。Reed等人对单隐含层神经网络训练的动态过程进行分析后发现，泛化过程可分为三个阶段：
第一阶段，泛化误差单调下降；
第二阶段的泛化动态较为复杂，但在这一阶段，泛化误差将达到最小点；
第三阶段，泛化误差又将单调上升。
最佳的泛化能力往往出现在训练误差的全局最小点出现之前，最佳泛化点出现存在一定的时间范围。理论上可以证明在神经网络训练过程中，存在最优的停止时间。
神经网络模型
正向网络推理的步骤和特征
一般来说，正向网络推理的步骤如下：
(1)把已知数据输入网络输入层的各个节点。
(2)利用特性函数分别计算网络中各层的输出。计算中，前一层的输出作为后一层有关节点的输入，逐层进行计算，直至计算出输出层的输出值。
(3)用阈值函数对输出层的输出进行判定，从而得到输出结果。
正向网络推理具有如下特征：
(1)同一层的处理单元(神经元)是完全并行的，但层间的信息传递是串行的。由于层中处理单元的数目要比网络的层数多得多，因此它是一种并行推理。
(2)在网络推理中不会出现传统人工智能系统中推理的冲突问题。
(3)网络推理只与输入及网络自身的参数有关，而这些参数又是通过使用学习算法对网络进行训练得到的，因此它是一种自适应推理。
神经网络

深层神经网络的模型概括，过度拟合和正则化方法的挑战
> Source
在完成了与神经网络有关的多个AI项目之后，我意识到模型的概括能力对于AI项目的成功至关重要。 我想写这篇文章来帮助读者了解如何使用正则化方法来优化模型的性能，并更好地理解基于神经网络提供可靠且可扩展的AI解决方案的复杂性。
泛化是用于描述模型对新数据做出反应的能力的术语。
泛化是模型经过训练后可以消化新数据并做出准确预测的能力。 这可能是您的AI项目中最重要的元素。 模型的概括能力对于AI项目的成功至关重要。 确实，我们担心模型在训练数据上训练得太好，但是无法推广。
因此，我们常常没有达到生产阶段……在提供新数据时，它会做出不准确的预测，即使模型能够对训练数据做出准确的预测，也会使模型无用。 这称为过拟合。
相反的情况也可能发生。 欠拟合是指未对数据进行足够的模型训练。 在欠拟合的情况下，即使使用训练数据，模型也一样无用，也无法做出准确的预测。
在所有AI项目中，我们都基于现有数据构建模型，并希望它们能完美地适应(概括)新数据。 在监督学习中，我们拥有过去的数据以及所有我们希望预测的预测值和真实值。 尽管定义了业务问题，但是收集相关数据，清理和准备数据以及建立模型都具有挑战性，并且非常耗时……另一个挑战仍然存在–如何知道模型能否很好地预测未来？
训练可以很好地泛化到新数据的深度神经网络是一个具有挑战性的问题。
当涉及到神经网络时，正则化是一种对学习算法稍加修改的技术，以使模型具有更好的泛化能力。 反过来，这也改善了模型在看不见的数据上的性能。
模型复杂度
从业务角度来看，深度神经网络的主要优势在于，随着向越来越大的数据集馈入数据，神经网络的性能不断提高。 当公司尝试创建数据网络效果时，这非常有趣。
但是，具有几乎无限数量的示例的模型最终将在网络能够学习的容量方面达到某些限制。 正确的正则化是获得更好的泛化性能的关键原因，因为深度神经网络经常被过度参数化并可能遭受过度拟合的问题。
我们可以通过以下方法降低神经网络的复杂度，以减少过度拟合：
减少模型的容量可将模型过度拟合训练数据集的可能性降低到不再适合的程度。
通过保持较小的网络权重来减少过度拟合的技术称为正则化方法。
正则化：添加额外信息以将不适的问题转化为更稳定的良好问题的一类方法。
下面，我列出了我们经常使用的几种正则化方法(确实存在其他方法，例如权重约束或活动正则化)。 但是，减少过度拟合的最简单方法是从本质上限制模型的容量。
全连接(FC)层最容易过拟合，因为它们包含最多的参数。 辍学应该应用于这些层(影响它们与下一层的连接)。 除标准形式的辍学外，还存在几种辍学的变体，旨在进一步提高泛化性能。 例如，自适应辍学，其中辍学率由另一个神经网络动态确定…
但是，我注意到，如果您使用CNN，则现在不经常使用辍学。 相反，我看到越来越多的数据科学家使用批处理规范化。 当您拥有大量数据集时，批处理规范化比辍学更为有效。
噪声正规化的一种常见类型是在训练过程中注入噪声：将噪声添加或乘以神经网络的隐藏单元。 通过在训练深度神经网络时允许一些误差，不仅可以提高训练性能，而且可以提高模型的准确性。
根据Jason Brownlee的说法，训练期间使用的最常见的噪声类型是在输入变量中添加高斯噪声。 添加的噪声量(例如，扩展或标准偏差)是可配置的超参数。 噪声太小没有作用，而噪声太大使映射功能难以学习。 确保在评估模型或使用模型对新数据进行预测时，不添加任何噪声源。
早期停止早期停止是一种交叉验证策略，在该策略中，我们将一部分训练集保留为验证集。 实际上，当我们看到验证集的性能越来越差时，我们就停止了对模型的训练。
换句话说，这种方法尝试在估计噪声的模型之前，尽早停止估计器的训练阶段，即该阶段已学会从数据中提取所有有意义的关系。
这是通过监视验证损失(或另一个验证指标)并在此特定指标停止改进时结束训练阶段来完成的。 通过这样做，我们给估算器足够的时间来学习有用的信息，但没有足够的时间来学习噪声。
> Source
我使用这种方法的问题是，不能保证在任何给定的时间点，模型都不会再次开始改进。 一个比提早停止更实际的方法是存储在验证集上获得最佳性能的模型权重…
转移学习此方法是通过将网络的权重初始化为在大型通用数据集中预先训练的具有相同体系结构的另一个网络的权重来完成的。 我们经常将这种方法用于计算机视觉项目。 当我们的业务问题没有太多数据时，它对我们有很大帮助，但是我们可以找到另一个类似的问题。 在这种情况下，我们可以使用迁移学习来减少过度拟合。
批处理规范化(BN)是一种规范深度神经网络中间层中的激活的技术。
批处理标准化除了具有正则化效果外，还可以通过其他方式帮助您的模型(允许使用更高的学习率等)。 我建议您验证每层的权重和偏差分布看起来近似于标准正态。
由于BN具有正则化效果，因此这也意味着您可以经常删除辍学(这很有帮助，因为辍学通常会减慢训练速度)。
在训练过程中，我们会更新批次归一化参数以及神经网络的权重和偏差。 批处理归一化的另一个重要观察结果是，由于使用迷你批显示随机性，因此批处理归一化可作为正则化。
批处理大小=一次向前/向后传递中的训练示例数。 批次大小越大，您将需要更多的存储空间。
数据扩充。 处理过度拟合的另一种方法是提高数据质量。 您可能会想到离群值/噪声消除，但是实际上它们的效率非常有限。 另一个有趣的方式(尤其是在与图像有关的任务中)是数据增强。 目的是随机转换训练样本，以使它们在模型中看起来不同时，它们传达相同的语义信息。 就个人而言，当我发现模型在训练集上的损失接近0时，我便开始考虑使用数据增强。
意见建议
我建议在考虑正则化方法之前先执行一些基本步骤。 确实，在大多数时候，我们无法确定对于每个学习问题，都存在一个可学习的神经网络模型，该模型可以产生所需的低泛化误差。
正确的期望
首先要找到一个很好的参考，它表示您在数据集或最相似的可找到参考的体系结构上，都可以达到所需的泛化错误。 在训练自己的数据集之前，尝试在这些参考数据集上重现这样的结果是很有趣的，以测试所有基础结构是否正确到位。
训练程序验证
这也是检查您的训练程序是否正确的关键。 这些检查包括：
超参数/架构搜索
最后，关键是要了解，正则化本身并不一定意味着您的泛化误差会变小：模型必须具有足够大的容量才能实现良好的泛化属性。 这通常意味着您需要足够深的网络，然后才能看到正则化的好处。
如果没有其他帮助，您将必须测试多个不同的超参数设置(贝叶斯优化可能会在此处提供帮助)或多个不同的体系结构更改。
有关此主题的更多信息，我建议以下链接：
-https://arxiv.org/pdf/1710.05179.pdf- https://machinelearningmastery.com/train-neural-networks-with-noise-to-reduce-overfitting/- https://towardsdatascience.com/batch- normalization-in-neural-networks-1ac91516821c- https://papers.nips.cc/paper/5032-adaptive-dropout-for-training-deep-neural-networks.pdf- http://jmlr.org/papers/ volume15 / srivastava14a.old / srivastava14a.pdf- https://wp.wwu.edu/machinelearning/2017/01/22/generalization-and-overfitting/
(本文翻译自Alexandre Gonfalonieri的文章《Understand Neural Networks & Model Generalization》，参考：https://towardsdatascience.com/understand-neural-networks-model-generalization-7baddf1c48ca)

▲ 神经元的网络控制车辆驾驶

自动驾驶汽车是当前机器学习研究者和工程师们正在探索的最复杂任务之一。它覆盖很多方面，而且要求必须高度稳定，只有这样我们才能保证自动驾驶汽车在道路上安全运行。通常，自动驾驶算法的训练需要大量真实人类驾车的训练数据，我们试图让深度神经网络理解这些数据，并复现人类遇到这些情况时的反应。
▲ 驾驶过程中注意力地图

众所周知，当数据量足够多时，深度监督模型会被训练得很好，但目前的深度学习仍存在泛化性能不好和训练效率不高的问题，研究人员一直在寻求构建智能模型的新方法。当前人们探求的方向总是更深的网络，但这意味着更高的算力消耗。因此正如人们所思考的那样，必须寻找一种需要更少数据或更少神经网络层的方法，让机器实现智能化。
▲ 模仿线虫进行控制的神经网络

最近，来自MIT CSAIL、维也纳工业大学、奥地利科技学院的团队已经开发了一种基于线虫大脑的新型AI系统。研究成果登上了最近的《自然·机器智能》杂志。
他们发现，具有19个控制神经元的单个算法，通过253个突触将32个封装的输入特征连接到输出，可以学习把高维输入映射到操纵命令。
这种新的AI系统用少量人工神经元控制车辆转向。而基于CNN和LSTM的神经网络打造同样的自动驾驶系统，网络结构则要复杂得多。
▲ 使用CNN实现车辆届时系统

该方法受线虫等小型动物大脑的启发，仅用数十个神经元即可控制自动驾驶汽车，而常规深度神经网络方法（如 Inception、ResNet、VGG 等）则需要数百万神经元。这一新型网络仅使用 75000 个参数、19 个神经元，比之前减少了数万倍！
该方法还带来了额外的好处，由于神经元数量稀少，这样的网络不再是深度模型的「黑箱」，人们可以知道网络在每个运行阶段的情况。该研究项目负责人 Radu Grosu 教授表示：「正如线虫（nematode C. elegans）这种生命，它们以惊人的少量神经元实现有趣的行为模式。」
▲ 三种不同的神经连接模型

这是因为线虫的神经系统能够以高效、协调的方式处理信息。该系统证明深度学习模型仍有改进空间。如果线虫在进化到接近最优的神经系统结构后，能够凭借极少量神经元做出有趣的行为反应，那我们也可以让机器做到。该神经系统可以让线虫执行移动、动作控制和导航行为，而这恰恰是自动驾驶等应用所需要的。
该研究参与者之一 Thomas Henzinger 教授表示，他们按照这一神经系统，「开发了一种新型数学神经元和突触模型」——liquid time constant（LTC）神经元。简化神经网络的一种方式是使之变得稀疏，即并非每一个单元都与其他单元相连接。当一个单元被激活时，其他单元未被激活，这可以降低计算时间，因为所有未被激活单元没有任何输出（或者输出为 0，可以极大地加快计算速度）。
▲ 神经网络专注于图像的非常具体的部分

这一新系统包括两部分。
首先是一个紧凑的卷积神经网络，用于从输入图像像素中提取结构特征。使用这类信息，网络能够确定图像的哪些部分较为重要或有趣，并仅将这部分图像传输至下一个步骤。
该研究提出新架构的端到端表示。
第二个部分即「控制系统」，它利用一组生物启发神经元做出的决策来控制汽车。这一控制系统又叫做「神经电路策略」（neural circuit polic，NCP）。
它将紧凑卷积模型的输出数据转换到仅有 19 个神经元的 RNN 架构中（该架构受线虫神经系统的启发），进而控制汽车。
▲ NCP 网络的实现细节参见相关论文及 GitHub 项目

这带来了参数量的锐减。论文一作 Mathias Lechner 表示「NCP 比之前的 SOTA 模型小了三个数量级」，参见下表 2。
▲ 网络规模对比

由于该架构规模很小，因此我们可以看清楚其注意力在输入图像的哪一部分。研究者发现，用这么小的网络提取图像最重要部分时，这些神经元只关注路边和视野。在目前着重于分析图像每一个细节的人工智能系统中，这是很独特的行为。
与其他网络相比，传输至 NCP 网络的信息可谓少之又少。仅通过上图，我们就可以发现该方法比现有方法更加高效，计算速度也更快。

 参考链接：

https://www.csail.mit.edu/news/new-deep-learning-models-require-fewer-neurons

https://www.nature.com/articles/s42256-020-00237-3

https://www.youtube.com/watch?v=8KBOf7NJh4Y&ab_channel=MITCSAIL

https://github.com/mlech26l/keras-ncp/