常见凸优化问题的类型
线性规划
分式线性规划转为线性规划
最小化多面体函数
带二次约束的二次规划
二阶锥规划

全部笔记的汇总贴：最优化学习目录

线性规划

分式线性规划转为线性规划

最小化多面体函数

带二次约束的二次规划
$\min \frac{1}{2} x^{\top} Q_{0} x+c_{0}^{\top} x$$\text{s.t. }\frac{1}{2} x^{T} Q_{i} x+c_{i}^{\top}x+b_{i} \leqslant 0, \quad i=0, \ldots, k$


二阶锥规划

数据库优化的几个方面

SQL以及索引的优化是最重要的。
要根据一些范式来进行表结构的设计。
系统配置的优化。
硬件优化。

sql语句的优化

可以通过打开Mysql中的慢查询日志来定位有问题的sql语句

慢查询日志相关内容：https://www.cnblogs.com/kerrycode/p/5593204.html

慢查询日志主要分为5部分，第一部分是慢查询时间，第二部分是慢查询的来源主机和用户，第三部分是查询的执行时间、锁定时间、发送的行数、扫描的行数。最后是时间戳形式记录的命令以及该命令的执行的时间戳。

通过explain查看sql执行计划，具体分析、优化
索引优化

选择索引

1）选择合适的索引列，选择在 where, group by, order by, on 从句中出现的列作为索引项对于离散程度不大的列，没有必要创建索引

2）索引字段越小越好（因为数据库的存储单位是页，一页中能存储的数据越多越好）

3）离散度大的列放在联合索引前边

判断离散程度大小的办法：

select count(distinct ziduan1),count(distinct ziduan2) from tablename


索引优化方法：

索引一般情况下都是高效的。不过凡是都有两面性，索引是以空间换时间的一种策略，索引本身在提高查询效率的同时会影响插入、更新、删除的效率。不当的使用索引不仅增加了写操作的负担，也会影响读取的效率。索引越多，数据库分析的越慢。注意点：

1）InnoDB 每个索引都会加上主键，联合索引不要加上主键，innodb会自动加，否则会冗余。

2）索引存在的目的是为了加快查询的效率，不过不是索引越多越好，建立索引要适当才好。过多的索引会增加数据库判断使用什么索引来查询的开销，所以，有时候也会出现以去掉重复或者无效的索引为优化手段的优化方式。

3）主键已经是索引了，所以primay key 的主键不用再设置unique唯一索引了。
索引原理参考：点这里

数据表结构优化

1、选择合适的数据类型

（1）使用可存下数据的最小的数据类型。

（2）使用简单地数据类型，int要比varchar类型在mysql处理上更简单。

（3）尽可能使用not null定义字段，这是由innodb的特性决定的，因为非not null的数据可能需要一些额外的字段进行存储，这样就会增加一些IO。可以对非null的字段设置一个默认值。

（4）尽量少用text，非用不可最好分表，将text字段存放到另一张表中，在需要的时候再使用联合查询，这样可提高查询主表的效率。

例子1、用int存储日期时间from_unixtime()可将Int类型的时间戳转换为时间格式

select from_unixtime(1392178320); 输出为 2014-02-12 12:12:00unix_timestamp()可将时间格式转换为Int类型

select unix_timestamp(‘2014-02-12 12:12:00’); 输出为1392178320

例子2、存储IP地址——bigInt

利用inet_aton(),inet_ntoa()转换

select inet_aton(‘192.169.1.1’); 输出为3232301313

select inet_ntoa(3232301313); 输出为192.169.1.1

数据库配置优化

硬件优化

前端性能优化是个巨大的课题，如果要面面俱到的说的话，估计三天三夜说不完。所以我们就从实际的工程应用角度出发，聊我们最常遇见的前端优化问题。

Yslow是雅虎开发的基于网页性能分析浏览器插件，可以检测出网页的具体性能值，并且有著名的Yslow 23条优化规则，这23条，就够我们玩的了。



1. 减少HTTP请求次数

尽量合并图片、CSS、JS。比如加载一个页面，如果有5个css文件的话，那么会发出5次http请求，这样会让用户第一次访问你的页面的时候会长时间等待。而如果把这个5个文件合成一个的话，就只需要发出一次http请求，节省网络请求时间，加快页面的加载。



2. 使用CDN

网站上静态资源即css、js全都使用cdn分发，图片亦然。



3. 避免空的src和href

当link标签的href属性为空、script标签的src属性为空的时候，浏览器渲染的时候会把当前页面的URL作为它们的属性值，从而把页面的内容加载进来作为它们的值。所以要避免犯这样的疏忽。




4. 为文件头指定Expires

Exipres是用来设置文件的过期时间的，一般对css、js、图片资源有效。 他可以使内容具有缓存性，这样下回再访问同样的资源时就通过浏览器缓存区读取，不需要再发出http请求。如下例子：
新浪微博的这个css文件的Expires时间是2016-5-04
 09:14:14.




5. 使用gzip压缩内容

gzip能够压缩任何一个文本类型的响应，包括html，xml，json。大大缩小请求返回的数据量。



6. 把CSS放到顶部

网页上的资源加载时从上网下顺序加载的，所以css放在页面的顶部能够优先渲染页面，让用户感觉页面加载很快。



7. 把JS放到底部

加载js时会对后续的资源造成阻塞，必须得等js加载完才去加载后续的文件 ，所以就把js放在页面底部最后加载。



8. 避免使用CSS表达式

举个css表达式的例子
font-color: expression( (new Date()).getHours()%3 ? “#FFFFFF" : “#AAAAAA" );
这个表达式会持续的在页面上计算样式，影响页面的性能。并且css表达式只被IE支持。



9. 将CSS和JS放到外部文件中

目的是缓存文件，可以参考原则4。 但有时候为了减少请求，也会直接写到页面里，需根据PV和IP的比例权衡。




10. 权衡DNS查找次数

减少主机名可以节省响应时间。但同时，需要注意，减少主机会减少页面中并行下载的数量。

IE浏览器在同一时刻只能从同一域名下载两个文件。当在一个页面显示多张图片时，IE 用户的图片下载速度就会受到影响。所以新浪会搞N个二级域名来放图片。

下面是新浪微博的图片域名，我们可以看到他有多个域名，这样可以保证这些不同域名能够同时去下载图片，而不用排队。不过如果当使用的域名过多时，响应时间就会慢，因为不用响应域名时间不一致。




11. 精简CSS和JS

这里就涉及到css和js的压缩了。比如下面的新浪的一个css文件，把空格回车全部去掉，减少文件的大小。现在的压缩工具有很多，基本主流的前端构建工具都能进行css和js文件的压缩，如grunt，glup等。



12. 避免跳转

有种现象会比较坑爹，看起来没什么差别，其实多次了一次页面跳转。比如当URL本该有斜杠（/）却被忽略掉时。例如，当我们要访问 baidu.com 时，实际上返回的是一个包含301代码的跳转，它指向的是 baidu.com/（注意末尾的斜杠）。在nginx服务器可以使用rewrite；Apache服务器中可以使用Alias 或者 mod_rewrite或者the DirectorySlash来避免。

另一种是不用域名之间的跳转， 比如访问 baidu.com/bbs 跳转到bbs.baidu.com/。那么可以通过使用Alias或者mod_rewirte建立CNAME（保存一个域名和另外一个域名之间关系的DNS记录）来替代。




13. 删除重复的JS和CSS

重复调用脚本，除了增加额外的HTTP请求外，多次运算也会浪费时间。在IE和Firefox中不管脚本是否可缓存，它们都存在重复运算JavaScript的问题。




14. 配置ETags

它用来判断浏览器缓存里的元素是否和原来服务器上的一致。比last-modified date更具有弹性，例如某个文件在1秒内修改了10次，Etag可以综合Inode(文件的索引节点(inode)数)，MTime(修改时间)和Size来精准的进行判断，避开UNIX记录MTime只能精确到秒的问题。 服务器集群使用，可取后两个参数。使用ETags减少Web应用带宽和负载




15. 可缓存的AJAX

异步请求同样的造成用户等待，所以使用ajax请求时，要主动告诉浏览器如果该请求有缓存就去请求缓存内容。如下代码片段, cache:true就是显式的要求如果当前请求有缓存的话，直接使用缓存

 $.ajax({      url : 'url',      dataType : "json",      cache: true,      success : function(son, status){                  }




16. 使用GET来完成AJAX请求

当使用XMLHttpRequest时，浏览器中的POST方法是一个“两步走”的过程：首先发送文件头，然后才发送数据。因此使用GET获取数据时更加有意义。




17. 减少DOM元素数量

这是一门大学问，这里可以引申出一堆优化的细节。想要具体研究的可以看后面推荐书籍。总之大原则减少DOM数量，就会减少浏览器的解析负担。

18. 避免404

比如外链的css、js文件出现问题返回404时，会破坏浏览器的并行加载。





19. 减少Cookie的大小

Cookie里面别塞那么多东西，因为每个请求都得带着他跑。



20. 使用无cookie的域

比如CSS、js、图片等，客户端请求静态文件的时候，减少了 Cookie 的反复传输对主域名的影响。




21. 不要使用滤镜

IE独有属性AlphaImageLoader用于修正7.0以下版本中显示PNG图片的半透明效果。这个滤镜的问题在于浏览器加载图片时它会终止内容的呈现并且冻结浏览器。在每一个元素（不仅仅是图片）它都会运算一次，增加了内存开支，因此它的问题是多方面的。

完全避免使用AlphaImageLoader的最好方法就是使用PNG8格式来代替，这种格式能在IE中很好地工作。如果你确实需要使用AlphaImageLoader，请使用下划线_filter又使之对IE7以上版本的用户无效。





22. 不要在HTML中缩放图片

比如你需要的图片尺寸是50* 50

<img width=”50″ height=”50″ src=“hahah.jpg” alt=”hahaha” />


那就不用用一张500*500的大尺寸图片，影响加载




23. 缩小favicon.ico并缓存



以上是Yslow的23个优化原则，基本可以涵盖现在前端大部分的性能优化原则了，很多更加geek和精细优化方法都是从这些原则里面延伸出来的。 具体想了解更多优化细则的童鞋建议去看看下面的一本书，毕竟页数多讲的也细嘛：

《高性能网站建设指南（第二版》，这里面其实就是细化的讲解了上面的23原则。

前端优化是条漫长的路，不是说一天两天就能全部做完的。我们可以参考上面的准则去把我们目前能做的都给优化了，剩下的更加小的一些细节点不用太过着急，毕竟也是要考虑优化性价比的。比如为了减小一个文件几个字节花上个把月根本不值得。这些优化的东西都可以在我们的工作中慢慢去通过积累，去通过google解决。



如果想了解更多前端知识，可以跑去这里看看：系统学习前端知识

优化技术是一种以数学为基础，用于求解各种工程问题优化解的应用技术。归纳而言，最优化问题分为函数优化问题和组合优化问题两大类，其中函数优化的对象是一定区间的连续变量，而组合优化的对象则是解空间中的离散状态。 

一、函数优化问题

函数优化问题通常可描述为：令$S$为$R^n$上的有界子集（即变量的定义域），$f:S\rightarrow R$为$n$维实值函数，所谓函数$f$在$S$域上全局最小化就是寻求点$X_\min\in S$使得$f(X_\min)$在$S$域上全局最小，即$\forall X\in S:f(X_\min)\leq f(X)$。

算法的性能比较通常是基于一些称为Benchmark的典型问题展开的，常用的BenchMark问题如下： 

（1）Sphere Model 

            
 $$f_1(X)=\sum_{i=1}^nx_i^2,       |x_i|\leq100$$  

            其最优状态和最优值为$\min(f_1(X^*))=f_1(0,0,...,0)=0$，图像如下： 

             

（2）Schwefel’s Problem 2.22 

 $$f_2(X)=\sum_{i=1}^n|x_i|+\prod_{i=1}^n|x_i|,|x_i|\leq10$$  

其最优状态和最优值为$\min(f_2(X^*))=f_2(0,0,0...,0)=0$，图像如下： 

 

（3）Schwefel’s Problem 1.2 

 $$f_3(X)=\sum_{i=1}^n(\sum_{j=1}^ix_j)^2,|x_i|\leq100$$  

其最优状态和最优值为$\min(f_3(X^*))=f_3(0,0,0,...,0)=0$，图像如下： 

 

（4）Schwefel’s Problem 2.21 

 $$f_4(X)=\max_{i=1}^n{|x_i|},|x_i|\leq100$$  

其最优状态和最优值为$\min(f_4(X^*))=f_4(0,0,0,...,0)=0$，图像如下： 

 

（5）Generalized Rosenbrock’s Function 

 $$f_5(X)=\sum_{i=1}^n[100(x_{i+1}-x_i^2)^2+(1-x_i)^2],|x_i|\leq30$$  

其最优状态和最优值为$\min(f_5(X^*))=f_5(1,1,1,...,1)=0$，图像如下： 

 

鉴于许多工程问题存在约束条件，受约束函数的优化问题也一直是优化领域关注的主要对象。常用的受约束测试函数包括： 

（1）$\min g_1(X)=5\sum_{i=1}^4(x_i-x_i^2)-\sum_{i=5}^{13}x_i$，约束条件为： 

$2x_1+2x_2+x_{10}+x_{11}\leq10$ 

$2x_1+2x_3+x_{10}+x_{11}\leq10$ 

$2x_2+2x_3+x_{11}+x_{12}\leq10$ 

$-8x_1+x_{10}\leq0$ 

$-8x_2+x_{11}\leq0$ 

$-8x_3+x{12}\leq0$ 

$-2x_4-x_5+x_{10}\leq0$ 

$-2x_6-x_7+x_{11}\leq0$ 

$-2x_8-x_9+x_{12}\leq0$ 

$0\leq x_i\leq 1,i=1,2,....,9,13$ 

$0\leq x_i \leq100,i=10,11,12$ 

其全局最优点和最优值为$g_1(X^*)=g_1(1,1,1,1,1,1,1,1,1,3,3,3,1)=1$ 

（2）$\max g_2(X)=(\sqrt{n})^n\prod_{i=1}^nx_i$，约束条件为： 

 $$\sum_{i=1}^nx_i^2=1,0\leq x_i\leq1,i=1,2,...,n$$  

其全局最优点和最优值为： 

 $$g_2(X^*)=g_2(\frac{1}{\sqrt{n}},...,\frac{1}{\sqrt{n}})=1$$  

（3）$\min g_3(X)=(x_1-10)^3+(x_2-20)^3$，约束条件为： 

 $$(x_1-5)^2+(x_2-5)^2\geq100,13\leq x_1\leq100,0\leq x_2\leq100$$  

其已知最优点和最优值为： 

 $$g_3(X^*)=g_3(14.095,0.84296)=-6961.81381$$  

对于受约束问题，除了局部极小解的存在，影响最优化性能的因素主要包括： 

（1）目标函数所对应曲面的拓扑性质，比如在相同约束下，线性或凸函数比无规律的函数要容易求解。 

（2）可行区域的疏密程度，通常以可行区域占整个搜索空间的比值来度量，同时，约束在可行区域边界上的变化强度与惩罚项的确定也大有关系。 

（3）采用惩罚的方法来处理约束越界问题。这种方法比较通用，适当选择惩罚函数的形式可得到较好的结果。比如采用罚函数： 

 $$\{_{X\in S}^{\min f(X)+\lambda h^2(X)+\beta [\min\{0,g(X)\}]^2}$$  

因此对函数优化的讨论通常以无约束问题为主。 

二、组合优化问题 

组合优化问题通常可描述为：令$Ω=\{s_1,s_2,...,s_n\}$为所有状态构成的解空间，$C(s_i)$为状态$s_i$对应的目标函数值，要求寻找最优解$s^*$，使得$\forall s_i \in Ω,C(s^*)=\min C(s_i)$.组合优化往往涉及排序、分类、筛选等问题，它是运筹学的一个分支。 

典型的组合优化问题有旅行商(Traveling salesman problem,TSP)问题、加工调度问题(Scheduling problem,如Flow-shop,Job-shop)、0-1背包问题(Knapsack problem)、装箱问题(Bin packing problem)、图着色问题(Graph coloring problem)、聚类问题(Clustering problem)等。


（1）旅行商问题 

给定$n$个城市和两两城市之间的距离，要求确定一条经过各城市当且仅当一次的最短路径。其图论描述为：给定图$G=(V,A)$，其中$V$为顶点集，$A$为各顶点相互连接组成的边集，一直各顶点间的连接距离，要求确定一条长度最短的Hamilton回路，即遍历所有顶点当且仅当一次的最短回路。 



（2）加工调度问题 

Job-shop问题是一类较TSP更为复杂的典型加工调度问题，是许多实际问题的简化模型。一个Job-shop可描述为：$n$个工件在$m$台机器上加工，$O_{ij}$表示第$i$个工件在第$j$台机器上的操作，相应的操作时间$T_{ij}$为已知，事先给定各工件在各机器上的加工次序（称为技术约束条件），要求确定与技术约束条件相容的各机器上所有工件的加工次序，使加工性能指标达到最优（通常是最小完工时间Makespan）。在Job-shop问题中，除技术约束外，通常还假定每一时刻每台机器只能加工一个工件，且每个工件只能被一台机器所加工，同时加工过程为不间断。若各工件的技术约束条件相同，一个Job-shop问题就转化为简单的Flow-shop问题。进而，若各机器上各工件的加工次序也相同，则问题进一步转化为置换Flow-shop问题。 



（3）0-1背包问题 

对于$n$个体积分别为$a_i$，价值分别为$c_i$的物品，如何将它们装入总体积为$b$的背包中，使得所选物品的总价值最大。 

 

（4）装箱问题 

如何以个数最少的尺寸为$l$的箱子装入$n$个尺寸不超过$l$的物品。

（5）图着色问题 

对于$n$个顶点的无环图$G$，要求对其各个顶点进行着色，使得任意两个相邻的顶点都有不同的颜色，且所用颜色种类最少。 

 

（6）聚类问题 

$m$维空间上的$n$个模式$\{X_i|i=1,2,...,n\}$，要求聚成$k$类，使得各类本身内的点最相近，比如要求 

 $$\chi^2=\sum_{i=1}^n||X_i^{(p)}-R_p||$$  

最小，其中$R_p$为第$p$类中的点数。 



显然，上述问题描述均非常简单，并且有很强的工程代表性，但最优化求解很困难，其主要原因是所谓的“组合爆炸”。比如，聚类问题的可能划分方式有$k^n/k!$个，Job-shop的可能排列方式有$(n!)^m$个，基于置换排列描述的$n$城市TSP问题有$n!$种可行排列，即便对无方向性和循环性的平面问题仍有$(n-1)!/2$种不同排列，显然状态数量随问题规模呈指数增长。因此，解决这些问题的关键在于寻求有效的优化算法。 

（3）优化算法及其分类 

所谓优化算法，其实就是一种搜索过程或规则，它是基于某种思想和机制，通过一定的途径或规则来得到满足用户要求的问题的解。 

就优化机制与行为而分，目前工程中常用的优化算法主要可分为：经典算法、构造型算法、改进型算法，基于系统动态演化的算法和混合型算法等。 

1）经典算法。包括线性规划、动态规划、整数规划和分支定界法等运筹学中的传统算法，其算法计算复杂性一般很大，只适合于求解小规模问题，在工程中往往不实用。 

2）构造型算法。用构造的方法快速建立问题的解，通常算法的优化质量差，难以满足工程需要。比如调度问题中的典型构造方法有：Johnson法、Palmer法、Gupta法、CDS法、Daunenbring的快速接近法、NEH法等 

3）改进型算法，或称领域搜索算法。从任一解出发，对其领域的不断搜索和当前解的替换来实现优化。根据搜索行为，它又可分为局部搜索法和指导性搜索法。


  
局部搜索法。以局部优化策略在当前解的领域中贪婪搜索，如只接受优于当前解的状态作为下一当前解的爬山法；接受当前邻域中的最好解作为下一当前解的最陡下降法等
  
指导性搜索法。利用一些指导规则来指导整个解空间中优良解的探索，如SA、GA、EP、ES和TS等


4）基于系统动态演化的方法。将优化过程转化为系统动态的演化过程，基于系统动态的演化来实现优化，如神经网络和混沌搜索等。 

5）混合型算法。指上述各算法从结构或操作上相混合而产生的各类算法。 

优化算法当然还可以从别的角度进行分类，如确定性算法和不确定性算法，局部优化算法和全局优化算法等。

（4）邻域函数与局部搜索 

邻域函数是优化中的一个重要概念，其作用就是指导如何由一个（组）解来产生一个（组）新的解。邻域函数的设计往往依赖于问题的特性和解的表达方式（编码）。由于优化状态表征方式的不同，函数优化与组合优化中的邻域函数的具体方式明显存在差异。 

函数优化中邻域函数的概念比较直观，利用距离的概念通过附加扰动来构造邻域函数是最常用的方式，如$x'=x+\eta\xi$，其中$x'$为新解，$x$为旧解，$\eta$为尺度参数，$\xi$为满足某种概率分布的随机数或白噪声或混沌系列或梯度信息等。显然，采用不同的概率分布（如高斯分布、柯西分布、均匀分布等）或下降策略，将实现不同性质的状态转移。 

在组合优化中，传统的距离概念显然不再适用，但其基本思想仍旧是通过一个解产生另一个解。下面对邻域函数给出一般性定义，并以TSP为例进行解释。 

定义1  令（$S,F,f$）为一个组合优化问题，其中$S$为所有解构成的状态空间，$F$为$S$上的可行域，$f$为目标函数，则一个邻域函数可定义为一种映射，即$N:S\rightarrow 2^s$。其含义是，对于每个解$i\in S$，一些邻近$i$的解构成$i$的领域$S_i\subset S$，而任意$j \in S_i$称为$i$的邻域解或邻居。通常约定，$j \in S_i\Leftarrow \Rightarrow i\in S_j$。 

通常，TSP问题的解可用置换排列来表示，如排列(1,2,3,4)可表示4个城市TSP的一个解，即旅行顺序为1,2,3,4.那么，$k$个点交换就可认为是一种邻域函数。比如，不考虑由解的方向性和循环性引起的重复性，上述排列的2点交换对应的邻域函数将产生新解(2,1,3,4)、(3,2,1,4)、(4,2,3,1)、(1,3,2,4)、(1,4,3,2)、(1,2,4,3)。 

基于邻域函数的概念，就可以对局部极小和全局极小进行定义。 

定义2  若$\forall j\in S_i\cap F$，满足$f(j)\geq f(i)$，则称$i$为$f$在$F$上的局部极小解；若$\forall j\in F$，满足$f(j)\geq f(i)$，则称$i$为$f$在$F$上的全局最小解。 

局部搜索算法是基于贪婪思想利用邻域函数进行搜索的，它通常可描述为：从一个初始解出发，利用邻域函数持续的在当前解的邻域中搜索比它好的解，若能够找到如此的解，就以之称为新的当前解，然后重复上述过程，否则结束搜索过程，并以当前解作为最终解。可见，局部搜索算法尽管具有通用易实现的特点，但搜索性能完全依赖于邻域函数和初始解，领域函数设计不当或初值选取不合适，则算法最终的性能将会很差。同时，贪婪思想无疑将使算法丧失全局优化的能力，也即算法在搜索过程中无法避免陷入局部极小。因此，若不在搜索策略上进行改进，那么要实现全局优化，局部搜索算法采用的邻域函数必须是“完全的”，即邻域函数将导致解的完全枚举，而这在大多数情况下是无法实现的，而且穷举的方法对于大规模问题在搜索时间上是不允许的。 

鉴于局部搜索算法的上述缺点，智能优化算法，如模拟退火算法、遗传算法、禁忌搜索、神经网络优化算法和混沌搜索等，从不同的角度利用不同的搜索机制和策略实现对局部搜索算法的改进，来取得较好的全局优化性能。