前段时间在看深度学习的内容，对于全局最小值和局部最小值这两个概念之前理解的不太深入，总是容易混淆，看了西瓜书之后明白了，特此总结一下，加深印象。

1. 全局、局部最小值的概念

局部最小值是在某一区域内，函数的取值达到了最小，但是如果将这个区域扩展到定义域上来，那么这个局部最小值就不一定是最小的。 全局最小值，是在定义域内，函数值最小。全局最小一定是局部最小值，但是反之不一定成立。



图中的点是一个局部最小值点，因为我们可以看见在该点的右侧，函数值一直在变小。 

2.如何跳出局部最小值

（1）使用随机梯度下降算法，顾名思义，因为是随机选择要计算梯度的点，数值可能不为0，就有机会跳出“局部最小值”；

（2）使用“模拟退火”算法，模拟退火每一步都在以一定的概率接受比当前解更差的结果，在每次迭代过程中，接受“次优解”的概率要随着时间的推移而逐渐降低，从而保证算法的稳定；

（3）以多组不同的参数值初始化多个神经网络，按照标准的方法训练之后，去其中误差最小的解作为最终的参数。 

（4）借助动量法，冲出局部最小值；

（5）对应第（3）条，调整学习率（步长），选取合适的ansatz。

步长过小：收敛太慢；

步长偏大：在最小值附近震荡，达不到最优

步长太大:  容易跳出合理区域，无法收敛

**#如何利用C语言求最小值**

—刚刚开始学习C语言，不知道如何利用数组求一组数中的最小值，可以看下面链接，看会后可以改一下求最大值，或者同时求最大最小值。**
转自
链接:https://me.csdn.net/Code_beeps
作者：https://blog.csdn.net/Code_beeps

描述

定义一个含10个元素的整型数组，从键盘输入数组所有元素的值，并求该数组中的最小值和最小值的下标。如果最小值在数组中出现多次，输出最小的那个下标。
输入

10个整数

输出

最小值和最小值的下标。如果最小值在数组中出现多次，输出最小的那个下标。

样例输入

5 4 6 3 1 8 9 7 15 34

样例输出

The minimum number is 1.

It’s subscript is 4.
题解：
#include<iostream>
using namespace std;
int a[15];
int main(){
	int count,min;
	for(int i = 0;i < 10;i++){
		cin>>a[i];
	}
	for(int i = 0; i < 10; i++){
        if(i == 0){
        	min = a[0];
        	count = 0;
		}else{
			if(min > a[i]){
				min = a[i];
				count = i;
			}
		}
    }
	cout<<"The minimum number is "<<min<<"."<<endl;
	cout<<"It's subscript is "<<count<<"."<<endl;
	return 0;
}

嗯，就是这样一个题，相信你看到代码就已经明白了吧~

首先我们声明一个数组，然后写一个循环输入它，我们声明一个最小值，并且在开始循环的时候把最小值改为a[0]，用来计数的count也赋值为零，然后我们让最小值与数组中的每一项进行比较，如果比某一项大，那么就把小的那个a[i]赋值给“min”最后输出最小值min即可。

找出数据集合中的最小值和最大值的两种算法比较
最小值和最大值
—— 算导笔记
实现太过于简单以至于算导里面都不讲代码实现，只是简单介绍了理论.
通常寻找最大值最小值的方法
方法一：
void max_min(int* array,int size,int* max)
{
int tmp = 0;
for(tmp = 0,*max = array[0];tmp < size;tmp++)
{
*max = *max > array[tmp] ? *max : array[tmp];
}
}
这里如果寻找最小值同理
可以发现如果同时要求找到最小值和最大值需要比较2*size次
有没有更快的方法呢？
方法二:
void max_min(int* array,int size,int* min,int* max)
{
int tmp = 0;
for(tmp = 0,*min = array[0],array[1];tmp < size;tmp += 2)
{
if(array[tmp] < array[tmp+1])
{
*min = *min < array[tmp]   ? *min : array[tmp];
*max = *max > array[tmp+1] ? *max : array[tmp+1];
}
else
{
*min = *min < array[tmp+1]   ? *min : array[tmp+1];
*max = *max > array[tmp]     ? *max : array[tmp];
}
}
}
而这种方法会把比较次数降低到3*size/2 次
http://www.dengb.com/Javabc/883025.htmlwww.dengb.comtruehttp://www.dengb.com/Javabc/883025.htmlTechArticle找出数据集合中的最小值和最大值的两种算法比较 最小和最大 —— 算导笔记 实现太过于简单以至于算导里面都不讲代码实现，只是简单介...