vs2017设置函数中文注释说明
 
本文是通过参考以下文章https://blog.csdn.net/omg_orange/article/details/106742843
 
设置步骤如下
 
1.打开C:\Users\ASUS\Documents\Visual Studio 2017\Code Snippets\Visual C++\My Code Snippets下的文件夹。
 
 2.在My Code Snippets文件夹创建以 .snippet后缀的文本，文本内容如下：
 
<?xml version="1.0" encoding="GBK"?>
<CodeSnippets >
    <CodeSnippet Format="1.0.0">
        <Header>
            <Title>note</Title>
            <Shortcut>note</Shortcut>
        </Header>
        <Snippet>
            <Code Language="cpp"><![CDATA[
/*******************************************************************************
*函数的原型：
*函数的功能：
*函数的参数：                 
*函数返回值：
*函数的说明：
*函数编写者：
*函数编写日期：
*函数的版本号：
********************************************************************************/]]>
            </Code>
        </Snippet>
    </CodeSnippet>
</CodeSnippets>

 
快捷键名称与文本格式
 
 3.打开代码片段管理器，查看是否添加成功。
 
 4.如果在3中不能查找到，则点击导入，找到My Code Snippets文件夹下的xxxx.snippet并打开，点击确定即可，如下图。
 
 5.写代码时输入note选择按回车就可以跳出设置好的注释文字。
 
 有错误的地方还望指出来，谢谢。

我们知道，在调用函数时，如果不指定某个参数，解释器会抛出异常。为了解决这个问题，Python 允许为参数设置默认值，即在定义函数时，直接给形式参数指定一个默认值，这样的话，即便调用函数时没有给拥有默认值的形参传递参数，该参数可以直接使用定义函数时设置的默认值。

 定义带有默认值参数的函数，其语法格式如下：
 
def 函数名(...，形参名=默认值)：
    代码块
 
注意，在使用此格式定义函数时，指定有默认值的形式参数必须在所有没默认值参数的最后，否则会产生语法错误。

 例如，如下程序为 name、message 形参指定了默认值：
 
# 为两个参数指定默认值
def say_hi(name = "孙悟空", message = "欢迎来到C语言中文网"):
    print(name, ", 您好")
    print("消息是：", message)
# 全部使用默认参数
say_hi()
# 只有message参数使用默认值
say_hi("白骨精")
# 两个参数都不使用默认值
say_hi("白骨精", "欢迎学习Python")
# 只有name参数使用默认值
say_hi(message = "欢迎学习Python")
 
运行结果为：
 
孙悟空 , 您好
消息是： 欢迎来到C语言中文网
白骨精 , 您好
消息是： 欢迎来到C语言中文网
白骨精 , 您好
消息是： 欢迎学习Python
孙悟空 , 您好
消息是： 欢迎学习Python
 
从上面程序可以看出，如果只传入一个位置参数，由于该参数位于第一位，系统会将该参数值传给 name 参数。因此，不能按如下方式调用 say_hi() 函数：
 
say_hi("欢迎学习Python")
 
上面调用时传入的“欢迎学习Python”字符串将传给 name 参数，而不是 message 参数。

 更不能按如下方式来调用 say_hi() 函数：
 
say_hi(name="白骨精", "欢迎学习Python")
 
因为 Python 规定，关键字参数必须位于位置参数的后面。因此提示错误：positional argument follows keyword argument。

 那么，能不能单纯地将上面两个参数交换位置呢？
 
say_hi("欢迎学习Python" , name="白骨精")
 
上面调用依然是错误的，因为第一个字符串没有指定关键字参数，因此将使用位置参数为 name 参数传入参数值，第二个参数使用关键字参数的形式再次为 name 参数传入参数值，这意味着两个参数值其实都会传给 name 参数，程序为 name 参数传入了多个参数值。因此提示错误：say_hi() got multiple values for argument 'name'。

 将函数调用改为如下两种形式是正确的：
 
say_hi("白骨精", message="欢迎学习Python")
say_hi(name="白骨精", message="欢迎学习Python")
 
上面第一行代码先使用位置参数为 name 参数传入参数值，再使用关键字参数为 message 参数传入参数值；第二行代码中的 name、message 参数都使用关键字参数传入参数值。

 再次强调，由于 Python 要求在调用函数时关键字参数必须位于位置参数的后面，因此在定义函数时指定了默认值的参数（关键字参数）必须在没有默认值的参数之后。例如如下代码：
 
def printTriangle(char, heigth=5):
    for i in range(1, heigth + 1):
        for j in range(heigth - 1):
            print(" ", end="")

        for j in range(2 * i - 1):
            print(char, end="")
        print()


printTriangle("@", 6)
printTriangle(char="*")
 
上面程序定义了 printTriangle() 函数，其中，有默认值的 height 形参，必须放在 char 形参的后面；反之，将会造成语法错误。
 
在 Python 中，可以使用“函数名.__defaults__”查看函数的默认值参数的当前值，其返回值是一个元组。例如，显示上面定义的 printTriangle 函数的默认值参数的当前值，可以使用 printTriangle.__defaults__ ，其结果为 (5,)。 

官网超棒
 1.设置正常中文字体
 
mpl.rcParams['font.sans-serif'] = ['KaiTi']
mpl.rcParams['font.serif'] = ['KaiTi']
mpl.rcParams['axes.unicode_minus'] = False
 
2.设置背景和绘图区颜色
 
plt.rcParams['axes.facecolor'] = 'azure'        #设置绘图背景色
plt.rcParams['figure.facecolor'] = 'azure'      #设置背景色
 
3.设置可变颜色 色卡
 在plot/scatter的颜色参数处输入一个列表，其中数值大小代表颜色的相对值，数值越小颜色越深，可将列表导致使较大值输出的颜色较深一点（不能自己指定颜色）。同时，数值相同的点颜色一样。
 3-1 设置可变大小，传入列表，值越大点越大
 
a = [1,2,3,4,5,6,7,8]
b = [1,2,3,4,5,6,7,8]
c = [10,20,30,40,50,60,70,80]
color = c
color.reverse()
plt.scatter(a,b,s = 70,marker = 'o',facecolor='g',c = color)
 

 
 4.设置坐标轴、标题、图例
 
    plt.title(label +': 时间-压力 '+op+'指数平滑曲线', fontsize=18)
    plt.xlabel('时间', fontsize=15)
    plt.ylabel('压力', fontsize=15)
    plt.legend(('原数据', '一次平滑', '二次平滑','三次平滑'), loc='best')
 
5 保存图片
 设置保存路径，像素（dpi）
 
plt.savefig('test2.png',dpi = 300)

引言
 
学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分：
 
什么是激活函数？
激活函数的用途（为什么需要激活函数）？
有哪些激活函数，都有什么性质和特点？
应用中如何选择合适的激活函数？
 
如果你对以上几个问题不是很清楚，下面的内容对你是有价值的。
 
什么是激活函数？
 
首先要了解神经网络的基本模型。（不熟悉的同学请去看本人另外一篇介绍：人工神经网络基本原理）
 单一神经元模型如下图所示。
 
 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。
 
激活函数的用途（为什么需要激活函数）？
 
如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了，那么网络的逼近能力就相当有限。正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络表达能力就更加强大（不再是输入的线性组合，而是几乎可以逼近任意函数）。
 
有哪些激活函数，都有什么性质和特点？
 
早期研究神经网络主要采用sigmoid函数或者tanh函数，输出有界，很容易充当下一层的输入。
 近些年Relu函数及其改进型（如Leaky-ReLU、P-ReLU、R-ReLU等）在多层神经网络中应用比较多。下面我们来总结下这些激活函数：
 
Sigmoid函数
 
Sigmoid 是常用的非线性的激活函数，它的数学形式如下：
 $$f(z)=\frac{1}{1+e^{-z}}$$
 Sigmoid的几何图像如下：
 
 特点：
 它能够把输入的连续实值变换为0和1之间的输出，特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1.
 缺点：
 sigmoid函数曾经被使用的很多，不过近年来，用它的人越来越少了。主要是因为它固有的一些 缺点。
 缺点1：在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失，其中梯度爆炸发生的概率非常小，而梯度消失发生的概率比较大。首先来看Sigmoid函数的导数，如下图所示：
 
 如果我们初始化神经网络的权值为 $[0,1]$ 之间的随机值，由反向传播算法的数学推导可知，梯度从后向前传播时，每传递一层梯度值都会减小为原来的0.25倍，如果神经网络隐层特别多，那么梯度在穿过多层后将变得非常小接近于0，即出现梯度消失现象；当网络权值初始化为 $(1,+\infty )$ 区间内的值，则会出现梯度爆炸情况。
 详细数学分析见文章：http://neuralnetworksanddeeplearning.com/chap5.html 中文译文：深度神经网络为何很难训练
 缺点2：Sigmoid 的 output 不是0均值（即zero-centered）。这是不可取的，因为这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。 产生的一个结果就是：如$x>0,f=w^{T}x+b$,那么对w求局部梯度则都为正，这样在反向传播的过程中w要么都往正方向更新，要么都往负方向更新，导致有一种捆绑的效果，使得收敛缓慢。 当然了，如果按batch去训练，那么那个batch可能得到不同的信号，所以这个问题还是可以缓解一下的。因此，非0均值这个问题虽然会产生一些不好的影响，不过跟上面提到的梯度消失问题相比还是要好很多的。
 缺点3：其解析式中含有幂运算，计算机求解时相对来讲比较耗时。对于规模比较大的深度网络，这会较大地增加训练时间。
 
tanh函数
 
tanh函数解析式：
 $$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
 tanh函数及其导数的几何图像如下图：
 
 tanh读作Hyperbolic Tangent，它解决了Sigmoid函数的不是zero-centered输出问题，然而，梯度消失（gradient vanishing）的问题和幂运算的问题仍然存在。
 
Relu函数
 
Relu函数的解析式：
 $$Relu=max(0,x)$$
 Relu函数及其导数的图像如下图所示：
 
 ReLU函数其实就是一个取最大值函数，注意这并不是全区间可导的，但是我们可以取sub-gradient，如上图所示。ReLU虽然简单，但却是近几年的重要成果，有以下几大优点：
 1） 解决了gradient vanishing问题 (在正区间)
 2）计算速度非常快，只需要判断输入是否大于0
 3）收敛速度远快于sigmoid和tanh
 
ReLU也有几个需要特别注意的问题：
 1）ReLU的输出不是zero-centered
 2）Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化，这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。
 
尽管存在这两个问题，ReLU目前仍是最常用的activation function，在搭建人工神经网络的时候推荐优先尝试！
 
Leaky ReLU函数（PReLU）
 
函数表达式：$$f(x)=max(\alpha x,x)$$
 Leaky Relu函数及其导数的图像如下图所示：
 （有同学在评论中反映下图有误，其实没有错误，左半边直线斜率非常接近0，所以看起来像是平的。就不改了，$\alpha =0.01$看起来就是这样的。感谢大家提意见 ^ _ ^）
 
 人们为了解决Dead ReLU Problem，提出了将ReLU的前半段设为$\alpha x$而非0，通常$\alpha =0.01$。另外一种直观的想法是基于参数的方法，即$ParametricReLU:f(x)=\max (\alpha x,x)$，其中$\alpha$
 可由方向传播算法学出来。理论上来讲，Leaky ReLU有ReLU的所有优点，外加不会有Dead ReLU问题，但是在实际操作当中，并没有完全证明Leaky ReLU总是好于ReLU。
 
ELU (Exponential Linear Units) 函数
 
函数表达式：
 $$f(x)=\{\begin{array}{ll}x,& \text{if }x>0\\ \alpha (e^x-1),& \text{otherwise}\end{array}$$
 函数及其导数的图像如下图所示：
 
 
ELU也是为解决ReLU存在的问题而提出，显然，ELU有ReLU的基本所有优点，以及：
 
不会有Dead ReLU问题
输出的均值接近0，zero-centered
 
它的一个小问题在于计算量稍大。类似于Leaky ReLU，理论上虽然好于ReLU，但在实际使用中目前并没有好的证据ELU总是优于ReLU。
 
MaxOut函数
 
这个函数可以参考论文《maxout networks》，Maxout是深度学习网络中的一层网络，就像池化层、卷积层一样等，我们可以把maxout 看成是网络的激活函数层，我们假设网络某一层的输入特征向量为：X=（x1,x2,……xd），也就是我们输入是d个神经元。Maxout隐藏层每个神经元的计算公式如下：
 
 
上面的公式就是maxout隐藏层神经元i的计算公式。其中，k就是maxout层所需要的参数了，由我们人为设定大小。就像dropout一样，也有自己的参数p(每个神经元dropout概率)，maxout的参数是k。公式中Z的计算公式为：
 
 
权重w是一个大小为(d,m,k)三维矩阵，b是一个大小为(m,k)的二维矩阵，这两个就是我们需要学习的参数。如果我们设定参数k=1，那么这个时候，网络就类似于以前我们所学普通的MLP网络。
 我们可以这么理解，本来传统的MLP算法在第i层到第i+1层，参数只有一组，然而现在我们不这么干了，我们在这一层同时训练n组的w、b参数，然后选择激活值Z最大的作为下一层神经元的激活值，这个max（z）函数即充当了激活函数。
 
应用中如何选择合适的激活函数？
 
这个问题目前没有确定的方法，凭一些经验吧。
 1）深度学习往往需要大量时间来处理大量数据，模型的收敛速度是尤为重要的。所以，总体上来讲，训练深度学习网络尽量使用zero-centered数据 (可以经过数据预处理实现) 和zero-centered输出。所以要尽量选择输出具有zero-centered特点的激活函数以加快模型的收敛速度。
 2）如果使用 ReLU，那么一定要小心设置 learning rate，而且要注意不要让网络出现很多 “dead” 神经元，如果这个问题不好解决，那么可以试试 Leaky ReLU、PReLU 或者 Maxout.
 3）最好不要用 sigmoid，你可以试试 tanh，不过可以预期它的效果会比不上 ReLU 和 Maxout.
 
参考资料
 
1.聊一聊深度学习的activation function—夏飞
 2.http://blog.csdn.net/cyh_24/article/details/50593400
 3.http://www.cnblogs.com/tornadomeet/p/3428843.html
 4.《maxout networks》