精华内容
下载资源
问答
  • 本书以复合材料翼面结构为研究对象,按照涉及的关键技术进行组织,从优化模型、最优化理论、复合材料层合板优化方法、复合材料夹筋壁板优化方法、翼面结构布局优化方法、复合材料气动弹性剪裁设计等方面,对复合材料...
  • 随机网络优化理论在移动通信和排队系统中的应用,重点介绍移动通信网络优化中的常用方法--李雅普诺夫优化方法在队列稳定性方面的应用
  • 的速度理解和掌握基本概念和操作方法,同时提高工程应用的实践水平。 全书共分十五章,第 1 章至第 7 章为入门篇,介绍 Isight 的界面、集成、试验设计、 数值和全局优化算法;第 8 章至第 13 章为提高篇,全面介绍...
  • 本书主要介绍了OptiStruct和HyperStudy的理论方法、基础练习、使用技巧和工程应用。全书分上、下两篇。上篇是OptiStruct部分,主要介绍OptiStruct的基础理论和各种优化技术,以及部分优化卡片说明;下篇是HyperStudy...
  • 本书按照仿真技术发展的顺序,系统介绍基于经验的光学邻近效应修正、基于模型的光学邻近效应修正、亚曝光分辨率的辅助图形、光源-掩模版共优化技术和反演光刻技术。如何控制套刻精度是光刻中公认的技术难点,本书有...
  • 为使图书馆图书资源优化配置,购书经费得到合理使用。文中首次利用新凯恩斯理论模型在封闭系统中的动态特征,依据西安科技大学图书馆10年(2004—2013)年度流通量大的3类(TP3,H3,O1)图书的采购量、借出量及外借比等指标...
  • 泛函分析优化理论

    热门讨论 2011-08-10 18:17:06
    书名:泛函分析优化理论 ISBN:781077328 作者:王日爽编 出版社:北京航空航天大学出版社 定价:15.5 页数:316 出版日期:2003-9-1 版次: 开本:32开 包装:平装 简介:本书是一本讲授以泛函分析为基础的最...
  • 《最优控制:理论、方法与应用》系统地介绍了最优控制理论内容,包括变分法、极小值原理、线性二次型最优控制、动态规划方法、最优控制的计算方法、随机最优控制、奇异最优控制、鲁棒最优控制、遗传优化算法在最优...

    评分☆☆☆☆☆

    最优控制是现代控制理论的重要分支,目前已广泛应用于工业生产、经济管理以及国防军事等领域。《最优控制:理论、方法与应用》系统地介绍了最优控制理论内容,包括变分法、极小值原理、线性二次型最优控制、动态规划方法、最优控制的计算方法、随机最优控制、奇异最优控制、鲁棒最优控制、遗传优化算法在最优控制中的应用,并介绍了最优控制理论在工程中的具体应用。《最优控制:理论、方法与应用》融入了很多最优控制理论与应用的新成果,同时提供了丰富的工程实例,便于读者理解并掌握最优控制理论。《最优控制:理论、方法与应用》附CD-ROM光盘一张,包含所有MATLAB仿真代码。

    评分☆☆☆☆☆

    非常好的一本书,阅读越有味道

    评分☆☆☆☆☆

    书不错 适合入门者

    评分☆☆☆☆☆

    书很薄 很贵 内容还好

    评分☆☆☆☆☆

    评分☆☆☆☆☆

    书一般吧

    评分☆☆☆☆☆

    最优控制是现代控制理论的重要分支,目前已广泛应用于工业生产、经济管理以及国防军事等领域。《最优控制:理论、方法与应用》系统地介绍了最优控制理论内容,包括变分法、极小值原理、线性二次型最优控制、动态规划方法、最优控制的计算方法、随机最优控制、奇异最优控制、鲁棒最优控制、遗传优化算法在最优控制中的应用,并介绍了最优控制理论在工程中的具体应用。《最优控制:理论、方法与应用》融入了很多最优控制理论与应用的新成果,同时提供了丰富的工程实例,便于读者理解并掌握最优控制理论。《最优控制:理论、方法与应用》附CD-ROM光盘一张,包含所有MATLAB仿真代码。

    评分☆☆☆☆☆

    不斤斤计较斤斤计较咯,哦哦哦哦哦哦

    评分☆☆☆☆☆

    最优控制理论、方法与应用在书店看上了这本书一直想买可惜太贵又不打折,回家决定上京东看看,果然有折扣。毫不犹豫的买下了,京东速度果然非常快的,从配货到送货也很具体,快递非常好,很快收到书了。书的包装非常好,没有拆开过,非常新,可以说无论自己阅读家人阅读,收藏还是送人都特别有面子的说,特别精美各种十分美好虽然看着书本看着相对简单,但也不遑多让,塑封都很完整封面和封底的设计、绘图都十分好画让我觉得十分细腻具有收藏价值。书的封套非常精致推荐大家购买。打开书本,书装帧精美,纸张很干净,文字排版看起来非常舒服非常的惊喜,让人看得欲罢不能,每每捧起这本书的时候似乎能够感觉到作者毫无保留的把作品呈现在我面前。作业深入浅出的写作手法能让本人犹如身临其境一般,好似一杯美式咖啡,看似快餐,其实值得回味无论男女老少,第一印象最重要。从你留给别人的第一印象中,就可以让别人看出你是什么样的人。所以多读书可以让人感觉你知书答礼,颇有风度。多读书,可以让你多增加一些课外知识。培根先生说过知识就是力量。不错,多读书,增长了课外知识,可以让你感到浑身充满了一股力量。这种力量可以激励着你不断地前进,不断地成长。从书中,你往往可以发现自己身上的不足之处,使你不断地改正错误,摆正自己前进的方向。所以,书也是我们的良师益友。多读书,可以让你变聪明,变得有智慧去战胜对手。书让你变得更聪明,你就可以勇敢地面对困难。让你用自己的方法来解决这个问题。这样,你又向你自己的人生道路上迈出了一步。多读书,也能使你的心情便得快乐。读书也是一种休闲,一种娱乐的方式。读书可以调节身体的血管流动,使你身心健康。所以在书的海洋里遨游也是一种无限快乐的事情。用读书来为自己放松心情也是一种十分明智的。读书能陶冶人的情操,给人知识和智慧。所以,我们应该多读书,为我们以后的人生道路打下好的、扎实的基础!读书养性,读书可以陶冶自己的性情,使自己温文尔雅,具有书卷气读书破万卷,下笔如有神,多读书可以提高写作能力,写文章就才思敏捷旧书不厌百回读,熟读深思子自知,读书可以提高理解能力,只要熟读深思,你就可以知道其中的道理了读书可以使自己的知识得到积累,君子学以聚之。总之,爱好读书是好事。让我们都来读书吧。其实读书有很多好处,就等有心人去慢慢发现.最大的好处是可以让你有属于自己的本领靠自己生存。最后在好评一下京东客服服务态度好,送货相当快,包装仔细!这个也值得赞美下希望京东这样保持下去,越做越好

    展开全文
  • 本书在《随机系统最优控制》(清华大学出版社,2005年出版)的基础上,融合了相关新理论和新技术,详细讨论了随机系统统计分析、状态估计、随机*优控制、随机稳定性分析及参数优化等新的理论和方法。内容新颖,研究...
  • 遗传优化的工具中还有相应的代码说明和解释,很不错的,大家可以下载
  • 涵盖的内容有MATLAB基础知识、GUI应用及数值分析、MATALB工程应用实例、GM应用分析、PLS应用分析、ES应用分析、MARKOV应用分析、AHP应用分析、DWRR应用分析、模糊逼近算法、模糊RBF网络、基于FCEM的TRIZ评价、基于...
  • 读书期间没有学习过最优化理论相关的课程,因工作需要了解,机缘巧合在B站上看到了上财崔雪婷老师的课程,听了...另参考为《最优化理论基础方法》第二版(王燕军) 1. 基本概念 凸集:一个集合中任意两个点.

    读书期间没有学习过最优化理论相关的课程,因工作需要了解,机缘巧合在B站上看到了上财崔雪婷老师的课程,听了一下讲的挺不错,在此结合网络资源记录一些笔记,供自己回顾使用。因自己只为工程使用,并不求数学严谨,只求通俗易懂。附上崔老师的课程链接。https://www.bilibili.com/video/BV1m7411u72b?from=search&seid=4862713296099276815。另参考书为《最优化理论基础与方法》第二版(王燕军)

     

    1. 基本概念

    1. 凸集:一个集合中任意两个点连线上的点还在这个集合中。
    2. 凸组合:若干点在某种意义下构成的非负线性组合组成的全集。
    3. 凸包:给定任意集合,包含该集合的最小凸集称为该集合的凸包
    4. 数学基础:

    \( f(x) \) 是n元函数,自变量为 \( x = (x_{1}, x_{2}, ..., x_{n})^{T}\)

    • n元函数梯度(一阶导)
    • Hessian矩阵(二阶导)
    • 线性函数和二次函数的梯度、Hessian矩阵

    线性函数:\( f(x) = b^{T}x\),则\( \nabla f(x) = b\),\( \nabla^{2}f(x) = 0\)

    二次函数:\( f(x) = x^{T}Ax + b^{T}x + c\),这里\( A \)为对称阵,则\( \nabla f(x) = 2Ax + b\),\( \nabla^{2}f(x) = 2A\)

    • Jacobi矩阵:向量函数一阶导。

    以上具体的一些数学定义可见:https://zhuanlan.zhihu.com/p/94879910?from_voters_page=true 


    2. 凸集及其性质

    1. 投影定理 (TODO)
    2. 点和凸集的分离 (TODO)
    3. 支撑超平面:超平面 \( a^{T}x = b \),支撑超平面定义可见参考链接。
    4. 仿射变换:\( f(x) = Ax + b \),向量的线性运算 

    3. 凸函数及其性质

    凸函数的定义:凸集上函数\( f(x) \)值满足下列式子:

    对于任意\( 0 \leq \alpha \leq 1\),有\( f(\alpha x + (1 - \alpha)y) \leq \alpha f(x) + (1 - \alpha) f(y)\)

    形状上和通常认知的凸是相反的(因为凸优化问题通常是求最小值,所以对应凸函数是长成下凹的)。

    几个重要性质:

    (1)凸优化问题的局部极小值是全局极小值

    (2)凸函数其Hessian矩阵半正定

    以上一些重要的数学表达可见:https://zhuanlan.zhihu.com/p/95081047


    4. 凸优化问题

    凸优化问题:凸集上的凸函数求最小值。不等式约束的函数是凸,等式约束是线性函数。(TODO此处需要补充一个连接)

    优化问题的局部解/全局解通常可以转化为其一阶二阶导数的表达形式。

    https://blog.csdn.net/feilong_csdn/article/details/83476277?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162166522416780264042172%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=162166522416780264042172&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-83476277.first_rank_v2_pc_rank_v29&utm_term=%E5%87%B8%E5%87%BD%E6%95%B0&spm=1018.2226.3001.4187 (凸函数及凸优化的几个比较好的性质)


    5. 无约束优化

    一阶必要条件:若点k是函数的一个局部解,若函数可微,那么在点k处的梯度为一个零向量。

    二阶必要条件:一个点是局部解,若函数二阶可微,那么这个点的Hesse矩阵是半正定的。

    最速下降,牛顿法,共轭梯度 (详细算法留在下一篇中)


    6. 约束规划最优性条件

    KKT条件算是最优化理论的一个核心概念,虽然崔老师讲的很形象了,但是对于非数学背景的我来说理解上还是比较吃力。这里找到一个比较形象的解释来理解KKT条件究竟是表达什么:https://www.cnblogs.com/liaohuiqiang/p/7805954.html (拉格朗日,KKT条件几何解释)。其中最关键的是理解在最优解处优化目标函数的梯度方向和等式/不等式约束梯度方向的关系,需要一致。基于这种前提,就可以通过拉格朗日函数将原有的约束优化问题转化为拉格朗日函数求极值问题。

    • 最优性条件:就是给出了最优解所要满足的条件,有些可以直接求解,有些是给找寻最优解提供一个理论依据,或者准则。
    • 等式约束:拉格朗日乘子法。这个方法把等式约束优化问题转化成了无约束优化问题,因为最后直接化成了方程组形式,所以有可能直接解出来的。
    • 不等式约束:KKT条件可以理解为拉格朗日乘子的推广。其中关于最优解在/不在\( g(x) \)约束内的讨论比较形象,其中\( \lambda g(x) = 0\)表达出了这两个必有一个为0,也对应着上述的两种情况。\( g(x) = 0\)意味着目标函数的\( f(x) \)的最小值是在约束外的,那此时约束起了作用,最优解落在约束的边界上。\( \lambda = 0\)意味着此时的最优解是靠\( \nabla f(x) = 0\)来找到的,最优解落在了\( g(x) < 0\)的范围内。

    7. 对偶理论

    对偶理论是最优化理论早期发展的重要产物,从方法论上来看就非常古典,由于自我感觉我大概率不会用到,所以就搞清楚出发点,细节以后需要再慢慢琢磨吧。这里就回答一个问题:对偶理论到底是在搞什么?可参考:https://zhuanlan.zhihu.com/p/158870559,其中也有很多引文可参考。上面这个问题可以引申为两个问题:

    (1)为什么要研究对偶问题?:原问题非凸,或者比较难解。对偶问题一定是凸优化问题,比较好解。

    (2)对偶问题怎么定义,怎么理解?定义说实话有点绕,详细的数学描述可以参考上述链接。本质上来说,是通过广义拉格朗日函数在自变量定义域外,又引入了一个参数域\( \lambda \)和\( \mu \),然后使得对偶问题是原问题的下界,那对偶问题的研究对原问题研究就变得很有价值,甚至在某些情况下等价。关于下界:原问题可以等价为在\( \lambda \)和\( \mu \)域上求先最大,再在\( x \)域上求最小。对偶问题是先在\( x \)域上求最小,再在\( \lambda \)和\( \mu \)域上求最大。所以最小值的最大值肯定比最大值的最小值要小,成为下界。《最优化理论基础与方法》82页有个图示,可以辅助理解。

    这里有一个疑问:对偶问题求最优的时候,函数最优值可以求出来,但是求得的是最优时的\( \lambda \)和\( \mu \)?对应的自变量怎么办?除了最优值,我们往往更关心最优解。

    这里书中强调了两种方法(次梯度法,割平面法),但是并不觉得是特定于对偶问题的,这两种方法其实也广泛应用于其他问题的求解,关于具体算法将在下一篇中记录。

    展开全文
  • 本书力求通过循序渐进,图文并茂的方式使读者能以最快的速度理解和掌握基本概念和操作方法,同时提高工程应用的实践水平。 全书共分十五章,第1章至第7章为入门篇,介绍Isight的界面、集成、试验设计、数值和全局...
  • 本书首先介绍MATLAB的基本使用方法和程序设计基础,然后将MATLAB最优化计算相结合,基于最优化理论与方法,讲解如何使用MATLAB求解最优化领域的实际问题。这些问题涵盖最优化理论与方法中的线性规划问题、整数规划...
  • 系统最优化控制理论

    2019-02-02 12:03:27
    本书从工程应用角度出发, 系统地介绍了最优化理论方法
  • 本书全面而系统地介绍了MATLAB算法和案例应用,涉及面广,从基本操作到...本书结合算法理论和流程,通过大量案例,详解算法代码,解决具体的工程案例,让读者更加深入地学习和掌握各种算法在不同案例中的应用。[1] 
  • 本书全面、系统、深入地介绍了...中结合算法分析的理论和流程,详解了大量的工程案例及其具体的代码实现,让读者可以深入学习和掌握各种算法在相关领域中的具体应用。 但是这里只有代码和课件,希望对打击有帮助
  • 为了完善参数化优化设计理论,通过将参数化思想应用于机械产品设计计算过程中,提出了一种新的参数化优化设计方法,对其设计流程和关键技术进行了详细介绍,并以桥式起重机端梁为例,开发了实例验证系统,验证了该方法的...
  • 控制类专业的同学很有用,有它等于有了 目录 第一章 绪论 第二章 静态优化——函数的极值问题 第三章 变分法解最优控制——泛函极值问题 第四章 极小值原理及其应用 第五章 线性系统二次型指标的最优控制——...
  • 压缩感知:理论与应用(一)

    千次阅读 2019-04-30 14:07:00
    本文主要摘自:Gitta Kutyniok, Compressed Sensing: Theory and ...1.3 恢复算法:优化理论及其它1.4 感知矩阵:允许多少自由度?1.5 压缩感知:Quo Vadis?1.6 概述 摘要   压缩感知是2006年新引入的研究...

    本文主要摘自:Gitta Kutyniok, Compressed Sensing: Theory and Applications, March 12, 2012.

    摘要

      压缩感知是2006年新引入的研究领域,从那时起已经成为应用数学、计算机科学和电气工程等领域的重要概念。它出人意料地预测到,通过使用有效的算法,可以从以前被认为是高度不完整的线性测量中恢复出高维信号,只要这种高维信号能够以适当的基(或frame)来进行稀疏表示。本文将作为对压缩感知进行介绍和综述。

    1、概述

      压缩感知的研究起源于2006年Donoho[18]和Cand´es, Romberg, Tao[11]这两篇突破性论文。如今,在仅仅6年之后,已经有1000多篇文章探讨了大量的压缩感知理论。此外,这种方法被广泛应用于天文学、生物学、医学、雷达和地震学等领域。

    [18] D. L. Donoho. Compressed sensing. IEEE Trans. Inform. Theory, 52:1289–1306, 2006.
    [11] E. Cand`es, J. Romberg, and T. Tao. Robust uncertainty principles: Exact signal reconstruction from highly incomplete Fourier information. IEEE Trans. Inform. Theory,
    52:489-509, 2006.

      压缩感知的关键思想是通过凸优化从很少的非自适应的线性测量中恢复稀疏信号。换个角度,与高维稀疏向量经过降维后的精确恢复相关。再换个角度,我们可以把这个问题看作是,计算一个信号相对于一个超完备系统的稀疏系数向量。压缩感知的理论基础与其它应用领域的方法有联系,如应用谐波分析、frame理论、几何泛函分析、数值线性代数、最优化理论和随机矩阵理论等。
      有趣的是,关于稀疏恢复问题的研究,实际上可以追溯到90年代早期的论文,如[24],以及后来著名的Donoho与Huo的论文[21]以及Donoho与Elad的论文[19]。当前面提到的两篇介绍压缩感知的基础论文发表时,术语“压缩感知”最初用于随机感知矩阵,因为这些矩阵允许最小数量的非自适应的线性测量。目前,“压缩感知”这一术语与“稀疏恢复”这一术语的通用互换性越来越高,这也是我们在本文中将采用的观点。

    [19] D. L. Donoho and M. Elad. Optimally sparse representation in general (nonorthogonal) dictionaries via l 1 l^1 l1 minimization, Proc. Natl. Acad. Sci. USA, 100:2197–2202, 2003.
    [21] D. L. Donoho and X. Huo. Uncertainty principles and ideal atomic decomposition. IEEE Trans. Inform. Theory, 47:2845–2862, 2001.
    [24] D. L. Donoho and P. B. Starck. Uncertainty principles and signal recovery. SIAM J.Appl. Math., 49:906–931, 1989.

    1.1 压缩感知问题

      为了精确地描述这个问题,令 x = ( x i ) i = 1 n ∈ R n {\bf x}=(x_i)^n_{i=1}\in {\mathbb R}^n x=(xi)i=1nRn为有用信号。作为先验信息,我们或者假定 x \bf x x本身为稀疏的,这意味着它只有很少的非零系数,即
    ∣ ∣ x ∣ ∣ 0 : = # { i : x i = ̸ 0 } ||{\bf x}||_0:=\#\{ i:{x_i} { = \not } 0 \} x0:=#{i:xi≠0}很小;或者假定存在一个标准正交基(或frame) Φ \Phi Φ使得 x = Φ c {\bf x}=\Phi \bf c x=Φc,这里 c \bf c c为稀疏的。对于后者,我们假设 Φ \Phi Φ是以正交基或frame的元素作为列向量的矩阵。事实上,frame由于具有冗余因而提供了比标准正交基更多的灵活性,也因此改进了稀疏特性,故frame比标准正交基更常用。有时稀疏性的概念被弱化了,在我们在第2节中对此进行精确说明之前,我们姑且将其称为近似稀疏。进一步,假设 A \bf A A m × n m\times n m×n矩阵,通常称为感知矩阵或测量矩阵。本文中,即使没有明确提及,我们也总是假设 m &lt; n m \lt n m<n A \bf A A的所有列都不为零。
      因此压缩感知问题可以描述如下:从知识(knowledge)
    y = A x \bf y=Ax y=Ax中恢复 x \bf x x,或者从知识(knowledge) y = A Φ c \bf y=A\Phi c y=AΦc中恢复 c \bf c c。在这两种情况下,我们都面临着一个不确定的线性方程组,其稀疏性是要恢复向量的先验信息。这引出如下问题:

    • 用什么样的模型来描述信号和稀疏性是恰当的?
    • 合适的感知矩阵是什么样的?
    • 如何根据算法恢复信号?
    • 信号恢复的时间和精度如何?
        在本节中,我们将对这些问题进行简要讨论,作为后续章节的基础。

    1.2 稀疏性:是否为合理假设?

      作为第一个考虑,人们可能会质疑稀疏性是否确实是一个合理的假设。由于真实数据的复杂性,当然只有启发式的答案是可能的。
      如果取一幅自然图像,众所周知,小波通常提供稀疏近似[45]。可以清楚地看到,大多数系数在绝对值上都很小,用较深的颜色表示。
      根据信号的不同,可以使用各种表示系统来提供稀疏近似值,并不断扩展。事实上,最近的研究表明,小波系统并不能提供大多数自然图像的最佳稀疏近似值,但新型的shearlets系统却能做到这一点[42,41]。因此,假设对要被感知或压缩的信号有一些先知,通常来说,已具备了分析良好的表示系统。如果不是这样的话,可以使用更多的数据敏感方法,例如字典学习算法,该算法针对给定的测试信号集,计算合适的表示系统。

    [45]S. G. Mallat. A wavelet tour of signal processing. Academic Press, Inc., San Diego, CA, 1998.
    [42]G. Kutyniok and W.-Q Lim. Compactly supported shearlets are optimally sparse. J. Approx. Theory, 163:1564–1589, 2011.
    [41]G. Kutyniok and D. Labate. Shearlets: Multiscale Analysis for Multivariate Data. Birkh¨auser, Boston, 2012.

      基于已有应用, x \bf x x通常本身已经是稀疏的。例如在数字通信中,对具有 n n n根天线和 m m m个用户的蜂窝网络建模时,或者在基因组学研究中,用 n n n名患者的 m m m个基因进行试验。在第一种情况下,很少的用户在特定的时间内有持续的呼叫;在第二种情况下,很少的基因是实际活跃的。因此, x \bf x x稀疏本身也是一个非常自然的假设。
      在压缩感知文献中,大多数的结果事实上都假设 x \bf x x本身是稀疏的,并考虑 y = A x \bf y=Ax y=Ax。很少量的文章研究了合并稀疏正交基或frame的问题[55,9]。本文中也将考虑 x \bf x x本身为稀疏的。应该强调的是,“精确”的稀疏性往往过于严格或不自然,需要考虑到减弱的稀疏性概念。另一方面,有时,例如小波系数的树结构,非零系数的一些结构信息是已知的,这导致了不同的结构化稀疏模型。第2部分对这类模型进行了综述。

    1.3 恢复算法:优化理论及其它

      令 x \bf x x为稀疏向量,显然,我们可以通过解优化问题
    ( P 0 ) min ⁡ x ∣ ∣ x ∣ ∣ 0   s u b j e c t   t o   y = A x . (P_0)\qquad \min_{\bf x}||{\bf x}||_0 {\rm \ subject\ to}\ \bf y=Ax. (P0)xminx0 subject to y=Ax.来从 y \bf y y中恢复 x \bf x x.
      由于不可避免的组合搜索,该算法是NP难[48]。基础论文[14]中的主要思想是将 ℓ 0 \ell_0 0范数用最接近的凸范数来替换,即 ℓ 1 \ell_1 1范数。由此引出下面的最小化问题,即基追踪:
    ( P 1 ) min ⁡ x ∣ ∣ x ∣ ∣ 1   s u b j e c t   t o   y = A x . (P_1)\qquad \min_{x}||{\bf x}||_1 {\rm \ subject\ to}\ \bf y=Ax. (P1)xminx1 subject to y=Ax..  由于 ℓ 1 \ell_1 1球的形状, ℓ 1 \ell_1 1最小化确实促进了稀疏性。何时“ ℓ 0 = ℓ 1 \ell_0=\ell_1 0=1”成立是压缩感知的关键。提供了充分必要条件,这不仅取决于原始矢量 x \bf x x的稀疏性,还取决于感知矩阵 A \bf A A的不相干性,这将在第3部分进行精确说明。
      由于对于非常大的数据集,即使当求解器与压缩感知问题特殊结构相适应时 ℓ 1 \ell_1 1最小化也通常是不可行的,因而提出了各种其他类型的恢复算法。这些算法可以大致分为凸优化算法、贪婪算法和组合算法(参见第5节),每种算法都有各自的优缺点。

    1.4 感知矩阵:允许多少自由度?

      如前所述,感知矩阵需要满足某些特定的松散的条件,例如,一个小的所谓互相干。如果允许我们自由选择感知矩阵,最好的选择是随机矩阵,如高斯iid矩阵、均匀随机正交投影或伯努利矩阵,请参见示例[11]。

    [11]E. Cand`es, J. Romberg, and T. Tao. Robust uncertainty principles: Exact signal recon- struction from highly incomplete Fourier information. IEEE Trans. Inform. Theory, 52:489-509, 2006.

      关于是否能够通过精心构造使得确定性矩阵具有相似特性,这仍然是一个悬而未决的问题(更多细节见第4节)。目前,Rauhut等人正在采取不同的方法来解决这个问题,例如[53]或[54]中的结构化随机矩阵。此外,大多数应用不允许自由选择感知矩阵并强制使用特殊结构的矩阵。典型情况是数据分离,这是感知矩阵必须由两个或多个正交基或帧组成[32,第11章],或者对于高分辨率雷达,感知矩阵必须具有特定的时频结构[36]。

    [53]G. Pfander, H. Rauhut, and J. Tropp. The restricted isometry property for time- frequency structured random matrices. Preprint, 2011.
    [54]H. Rauhut, J. Romberg, and J. Tropp. Restricted isometries for partial random circu- lant matrices. Appl. Comput. Harmonic Anal., 32:242–254, 2012.
    [32]Y. C. Eldar and G. Kutyniok. Compressed Sensing: Theory and Applications. Cam- bridge University Press, 2012.
    [36]M. Herman and T. Strohmer. High Resolution Radar via Compressed Sensing. IEEE Trans. Signal Proc., 57:2275–2284, 2009.

    1.5 压缩感知:Quo Vadis?

      目前,除了一些深层次的问题,如具有与随机矩阵相似性质的确定性感知矩阵的构造外,还建立了核心理论。
      目前可以用现有的各种结果来确定的一个主要研究方向,就是加入了额外的稀疏特性可以产生结构化的稀疏性,参见第2部分。另一个主要方向是将压缩感知问题扩展或转换为其它问题,例如matrix compltion,请参见[10]。此外,我们目前正在见证压缩感知思想向各种应用领域(如雷达分析、医学成像、分布式信号处理和数据量化)的扩散;请参见[32]了解概述。这些应用所需的约束条件,对该领域提出了有趣的挑战,从而反过来引发了新的理论问题。最后,我们观察到,由于特别是快速稀疏恢复算法的需要,即与来自其他研究领域的数学家(如优化理论家、数值线性代数学家或随机矩阵理论家)更密切地合作成为趋势。

    [30]M. Elad and A. M. Bruckstein. A generalized uncertainty principle and sparse repre- sentation in pairs of bases. IEEE Trans. Inform. Theory, 48:2558–2567, 2002.
    [32]Y. C. Eldar and G. Kutyniok. Compressed Sensing: Theory and Applications. Cam- bridge University Press, 2012.

      最新研究方向的三个例子描述如下。首先,虽然压缩感知理论的重点是数字化的数据,但有必要发展一个类似的关于连续量的理论。到目前为止最又希望的两种方法是Eldar等人的[47]和Hansen等人的[1]。第二,与将合成系数的 ℓ 1 \ell_1 1范数最小化的基追踪方法相比,其它几种方法,如缺失数据恢复方法,是将分析系数的 ℓ 1 \ell_1 1范数最小化,而不是将合成系数的 ℓ 1 \ell_1 1范数最小化(见第6.1.2和6.2.2小节)。这两个最小化问题之间的关系还很不清楚,最近引入的共稀疏概念[49]是一种很有意思的方法。第三,在压缩感知的背景下,利用frame作为稀疏化系统已成为越来越受关注的话题,我们参考了最初的论文[9]。

    [47]M. Mishali, Y. C. Eldar, and A. Elron. Xampling: Signal Acquisition and Processing in Union of Subspaces. IEEE Trans. Signal Proc., 59:4719-4734, 2011.
    [1]B. Adcock and A. C. Hansen. Generalized sampling and infinite dimensional com- pressed sensing. Preprint, 2012.
    [49]S. Nam, M. E. Davies, M. Elad, and R. Gribonval. The Cosparse Analysis Model and Algorithms. Preprint, 2012.
    [9]E. J. Cand`es, Y. C. Eldar, D. Needell, and P. Randall. Compressed Sensing with Co- herent and Redundant Dictionaries. Appl. Comput. Harmon. Anal., 31:59–73, 2011.

      读者可以参阅网页(http://dsp.rice.edu/cs),其中包含了压缩感知领域的大多数已发表论文,这些论文被细分为不同的主题。我们还想让读者注意最近的书[29]和[32]以及文章[7]。

    [29]M. Elad. Sparse and Redundant Representations. Springer, New York, 2010.
    [32]Y. C. Eldar and G. Kutyniok. Compressed Sensing: Theory and Applications. Cam- bridge University Press, 2012.
    [7]A. M. Bruckstein, D. L. Donoho, and A. Elad. From sparse solutions of systems of equations to sparse modeling of signals and images. SIAM Rev., 51:34–81, 2009.

    1.6 章节结构

    第2部分首先讨论不同的稀疏模型,包括结构化稀疏和稀疏化字典。第3部分将以 ℓ 1 \ell_1 1最小化作为恢复策略,提出精确恢复的必要和充分条件。感知矩阵设计的微妙性是第4部分的重点。第5部分介绍了稀疏恢复的其他算法方法。最后,第6部分将讨论数据分离等应用。

    展开全文
  • 首先声明,这个不是我自己写的。《遗传算法-理论应用与软件实现》源代码,是王小平关于遗传算法很不错的一本,希望对大家有用,也谢谢大家的支持。
  • 机器学习数学基础——最优化理论

    千次阅读 2021-04-22 23:43:00
    优化理论应用范围相当广泛,所涉及的知识面也很宽,并不是简单的一两个章节就可以涵盖的——因而本小节我们的主要讲解重点,在于和后续章节中强相关的一些最优化基础理论,从而为大家的进一步学习扫清障碍。...

    以下文章摘录自

    《机器学习观止——核心原理与实践》

    京东: https://item.jd.com/13166960.html

    当当:http://product.dangdang.com/29218274.html

     

    最优化理论

    概述

    最优化理论是数学的一个分支,它主要研究的是在满足某些条件限制下,如何达到最优目标的一系列方法。最优化理论的应用范围相当广泛,所涉及的知识面也很宽,并不是简单的一两个章节就可以涵盖的——因而本小节我们的主要讲解重点,在于和后续章节中强相关的一些最优化基础理论,从而为大家的进一步学习扫清障碍。

    根据所选分类角度的不同,我们可以把最优化问题划分为多种类型。例如从限制条件的角度,最优化问题通常可以被分为下面3种类型:

    l  unconstrained optimization problem

    l  equality constraint optimization problem

    l  inequality constraint optimization problem

     

    接下来我们针对上述3种类型分别进行讲解。

    (1) unconstrained optimization problem

    这是最简单的一种最优化问题,即在没有任何限制条件下实现最大值或者最小值(minimize和maximize实际上是可以互相转化的)的求解。

    比如对于求解f(x) = x2函数最小值的问题,可以表示为:

     

    从下面图例中,不难看出它的最小值是当x=0时,此时函数取值为0。

    图  无限制条件下的极值范例

     

    总的来说,这种情况下的最优解通常可以通过求导数的方式来获得。

     

    (2) equality constraint optimization problem

    对于带有限制条件的最优解问题,也可以再细分为两种情况——即equality和inequality contraint,简单而言就是等式和不等式约束的区别。

    比如前面所讲述的f(x) = x2函数,我们可以增加一个equality constraint,这样一来问题就变成了:

    subject to x -2 =0

     

    其中“subject to”后面紧跟着的就是限制条件了。

    图  带有一个equality constraint的最优解

     

    在这个限制条件下,当x=2时f(x)可以取得最小值,对应函数值为4。

    当然,我们也可以同时要求多个equality constaints,例如:

    f(x, y) = x2 + y2

    subject to x - 3 = 0

            y - 5 = 0

     

    不过多个限制条件有可能出现无解的情况,譬如:

    subject to x - 2 = 0

            x - 5 = 0

     

    这一点我们在提出限定条件时需要特别注意。

     

    (3) inequality constraint optimization problem

    与equality相对应的是inequality,后者也同样不难理解——它代表的是限定条件为不等式时的情况。

    例如下面是圆形函数的不等式限定条件:

    f(x, y) = x2 + y2

    subject to x - 3 >= 0

            y - 5 <= 0

     

    另外,equality和inequality constraint还可以同时出现,共同做为某个最优解问题的限制条件。举例如下:

    f(x, y) = x2 + y2

    subject to x - 3 = 0

             y - 5 <= 0

     

    针对不同的限定条件,最优解问题的解决策略也会有所差异。

    概况来说,有如下几个核心点:

    l  等式限定条件

    拉格朗日乘子法是将equality constraint“隐含”到最大值/最小值求解过程中的关键理论基础

    l  不等式限定条件

    除了拉格朗日乘子法以外,对于inequality constrint条件下的最优化问题,我们还需要借助于另一个理论——KKT(Karush-Kuhn-Tucher)

     

    在接下来的几个小节中,我们将首先基于若干范例来引出这些理论的应用场景,让大家有一个“感性”的认识。然后再尽量“抽丝剥茧”地为大家详细分析隐藏在它们背后的基础原理以及各种公式的推导过程。

    函数等高线

    在讲解Lagrange Multiplier和KKT之前,我们首先来补充一些基础知识,即什么是函数等高线,以及它的一些核心应用。

    地理学科上的等高线指的是高程海拔相等的相邻各个点所组成的闭合曲线。按照百科上的描述,即是“把地面上海拔高度相同的点连成的闭合曲线,并垂直投影到一个水平面上,并按比例缩绘在图纸上,就得到等高线。等高线也可以看作是不同海拔高度的水平面与实际地面的交线,所以等高线是闭合曲线。在等高线上标注的数字为该等高线的海拔”。

    如下示例图所示:

    图  contour line示例

     

    从地理学上的contour line,还可以引申出函数的等高线。其实并不难理解,比如对于函数f(x1, x2),它的等高线可以被表述为如下的形式:

    f(x1, x2) = c

    这样一来,如果我们针对上述公式取微分值,那么可以得到

     

    另外,业界有多个库函数可以提供非常便捷的API来帮助我们快速绘制出函数的等高线,比如matplotlib。范例代码如下所示:

    import matplotlib.pyplot as plt

    import numpy as np

     

    def contour_func(x, y):

        return (x / 5 + x ** 5 + y ** 3 - 4) * np.exp(- x ** 2 - y ** 2)

     

    n = 500

    x = np.linspace(-3, 3, n)

    y = np.linspace(-3, 3, n)

    X, Y = np.meshgrid(x, y)

     

    plt.contourf(X, Y, contour_func(X, Y), 8, alpha = 0.75, cmap = plt.cm.RdBu)

    C = plt.contour(X, Y, contour_func(X, Y),8, colors = 'red', linewidth = 0.5)

    plt.clabel(C, inline = True, fontsize = 12)

     

    plt.show()

    输出的效果图如下所示:

    图  绘制等高线

     

    等高线可以帮助我们从几何角度来分析拉格朗日乘子法及KKT的原理,因而对大家后续学习有不小的促进作用,建议读者自行编写代码来加深理解。

    拉格朗日乘子法

    约瑟夫·拉格朗日(Joseph-Louis Lagrange,1736~1813)相信大家都不会陌生,他是法国著名的数学家和物理学家。Lagrange的一生著作颇丰,而且横跨数学、天文学、力学等多个领域(据悉,他的“主业”是数学,而在其它学科上的狩猎则是他为了证明数学威力而从事的“副业”),比如拉格朗日中值定理、微分方程、数论等等。

    以拉格朗日命名的Lagrange Multiplier,是求解equality constraint optimization problem最为重要的理论依据之一(求解inequality constraint optimization problem通常还依赖于KKT,我们将在下一小节中做详细阐述)。

    Lagrange Multiplier虽然是大学时期高等数学课程的一个知识点。不过为了让大家可以“零基础”学习本章内容,我们还是有必要简单的做一下复习。

    接下来我们引用同济大学出版的《高等数学》一书中的一道习题,来逐步引导出拉格朗日乘子法以及它的相关应用。

    问题:求表面积为a2而体积为最大的长方体的体积问题。

    我们假设长方体的三条棱的长分别为x、y和z,那么体积V = xyz。又因为要求面积为a2,所以还有一个附加条件:

    2*(xy + yz + xz) = a2

    换句话说,这个问题可以表述为:

    V = xyz

    subject to 2*(xy + yz + xz) - a2 = 0

     

    如何求解呢?

    针对这个问题其实有一个比较简易的解决方案,即根据约束条件,用x和y来表示z,然后应用到V函数中。具体过程如下所述:

    2*(xy + yz + xz) - a2 = 0

    à z = 

    将上述公式代入前面的V函数,可以得到:

    V = xyz

      = x*y*

     

    这样一来,约束条件自然而然地就被“隐含”到V函数中了,而且通过这种简易的办法还降低了变量个数。遗憾的是,并不是所有条件约束下的极值问题都这么简单直接——我们需要一种更为通用的解决方案,这就是拉格朗日乘子法了。

    它的定义如下:

    拉格朗日乘子法: 要找函数z = f(x, y)在附加条件下的可能极值点,可以先作拉格朗日函数

    L(x, y) = f(x, y) + 

    其中为参数。将上述L函数分别针对x和y求一阶偏导数,并使它们为零,同时结合约束条件可得:

     

    上述方程组有3个函数,3个变量,因而可以分别解出x、y和。由此得到的(x,y)就是函数f在附加条件 =0下的可能极值点。

    拉格朗日乘子法还可以推广到多变量(>=2)和多约束条件(>=2)下的情况下。例如如果我们要求解4个变量的函数u

    u = f(x, y, z, t)

    在两个附加条件

     

    下的极值,那么可以先构造出如下的拉格朗日函数:

    L(x, y, z, t) = f(x, y, z, t) +  +

    然后通过如下的方程组:

     

    求解得到极值点(x、y、z、t),以及对应的参数。

    还是以前面长方体最大体积的问题为例,应用拉格朗日乘子法来求解的过程如下:

    首先构造拉格朗日函数

    L(x, y, z) = f(x, y, z) + 

    = xyz + 

     

    分别针对几个参数求偏导数,可得:

     

    à    

     

    由上述方程组,我们不难求解得到:

    x= y =z = 

    所以最大的体积V = xyz = 

     

    另外,我们还可以从几何意义上来理解拉格朗日乘子法。

    如下图例所示(引用自wikipedia):

    图  拉格朗日乘子法几何释义

     

    上面图例中包含了一个目标函数(最大值/最小值)f(x,y)和一个约束函数g(x,y) = c,或者按照我们之前的表述方式即是:

    subject to g(x, y) = c

     

    不难理解,函数f和g有3种可能的关系:

    l  不相交

    l  相交不相切

    l  相交且相切

     

    由于我们需要满足g(x, y) = 0的条件,所以寻找的潜在极值只能在这条线上。进一步来讲,上述三种关系最有可能出现极值的是哪一个呢?

    不相交的关系首先可以被排除掉,因为这种情况通常意味着无解。

    对于相交但不相切的情况,只要我们沿着g线移动,那么一定可以走到比当时相交点更高或者更低的等高线上。换句话说,只有当g(x, y)和f(x, y) = d产生相切关系时,才有可能出现极值点。这样一来就得到:

    可以看到上述参与求导的函数就是前面我们讲解的Lagrange函数了。

    拉格朗日乘子法在机器学习领域应用广泛,比如本书后续章节中将会讲解到的SVM支持向量机就是以此为理论基础构建的,建议大家可以结合起来阅读。

    拉格朗日对偶性

    我们发现不少参考资料在讲解KKT时并没有提及拉格朗日对偶性,或者把这两者完全割裂开来阐述,这可能会让初学者产生或多或少的疑惑——例如对偶性和KKT到底是什么关系,它们对于约束条件下的最优解都有什么样的贡献等等。

    有鉴于此,我们觉得有必要言简意赅地为大家先铺垫一下对偶性的相关知识,以便读者们在学习KKT时既可以“知其然,知其所以然”,同时还能“触类而旁通”。

    如果我们从目标函数和约束条件的角度来分析,那么大致可以有如下几种分类:

    l  线性规划

    当目标函数和约束条件都为线性函数的时候,我们称之为线性规划。这是相对容易求解的优化问题

    l  二次规划

    如果目标函数是二次函数,而约束条件为线性函数,那么这种最优化问题通常被称为二次规划

    l  非线性规划

    如果目标函数和约束条件都是非线性函数,那么这类最优化问题就被称为非线性规划问题

    等等

     

    对于线性规划问题,它们都会有一个与之相对应的对偶问题。那么什么是对偶问题呢?对此维基百科上给出了很好的释义,引用如下:

    “In mathematical optimization theory, duality or the duality principle is the principle that optimization problems may be viewed from either of two perspectives, the primal problem or the dual problem. The solution to the dual problem provides a lower bound to the solution of the primal (minimization) problem. However in general the optimal values of the primal and dual problems need not be equal. Their difference is called the duality gap. For convex optimization problems, the duality gap is zero under a constraint qualification condition”

    上述这段话明确指出了对偶问题的如下几个核心点:

    l  primal problem和dual problem

    duality就像是从两个不同角度来看待同一个问题一样,它们分别被称为primal problem和dual problem

    l  duality的意义

    通常duality的一个重要意义,在于它可以借助更容易获得的dual problem答案,来间接得到(或者接近)primal problem的答案,从而简化问题的解决方案——甚至有的时候,primal problem是无解的

    l  duality gap

    因为dual problem并不总是可以完全等价于primal problem,所以它们之间可能会存在“duality gap”。最理想的情况是这个gap=0,此时我们又称之为strong duality;反之如果gap != 0,那么就是weak duality

     

    所以现在大家应该很清楚了,对偶性duality是我们降低某些艰深问题的复杂度,从而达到“歼灭”目标的有效手段。

    最优化问题的标准形式(optimization problem in the standard form)

    最优化问题的标准形式表述需要综合考虑多个等式、不等式约束条件下的最优解,下面所示的是学术界常见的一种表述手段:

    minimize f(x)

    subject to  <=0, i = 1, 2, 3, …k

     =0, j = 1, 2, 3, …l

     

    针对上述最优化问题,我们定义Lagrangian L:

     = 

     

    其中被称为与第i个不等式限制ci (x) <=0相关联的Lagrange multiplier; 同理被称为与第个j等式限制hj (x) =0相关联的Lagrange multiplier;的专业术语则是dual variables或者Lagrange multiplicer vectors。

     primal problem: min-max

    拉格朗日对偶的原始问题是在前述标准表述上的一种改进。

    我们引入另一个函数,它的定义如下所示:

    =

     

    其中函数的下标p是primal的缩写。

    由此我们可以得出一个非常重要的结论,即和前一小节表述的标准问题是等价的——相信大家心里已经有一个大大的问号了,如何得出这样的结论?

    证明如下:

    a) 当x满足最优化问题的约束条件时

    换句话说,x必须同时满足下面的等式和不等式条件:

     <=0, i = 1, 2, 3, …k

     =0, j = 1, 2, 3,…l

     

    由于 <=0且,所以:

    换句话说它的最大值只能是0。

    另外,因为 =0,所以:

     =0

    这样一来,不难得出:

     = 

    <= f(x) + 0 + 0

    进一步来说,我们可以得到:

    =

    = f(x)

     

    b) 当x不满足约束条件时

    当x不满足约束条件时,也就是说存在:

    l  任何一个i使得 >0 或者

    l  任何一个j使得 != 0

     

    毫无疑问,在这种情况下:

    -> 

     

    综上所述,我们可以得到:

    =

    论题得证。

     

    那么我们费这么大的周折利用primal problem来表述问题的原因是什么呢?其实它的好处是非常明显的,简单来讲就是可以有效地将约束条件“隐藏”进函数中,让我们摆脱原始问题无从下手的“尴尬”。

    这种将“无形问题”化解为“有形问题”的形式就是min-max,如下所示:

     = 

    或者也被称为广义拉格朗日函数的极小极大问题。

    为了表述的方便,通常我们用如下的p*来代表原始问题的最优值:

    p* = 

     dual problem: max-min

    假定有另外一个,它的定义如下:

    如果针对它求极大值,即:

    那么上式就是广义拉格朗日函数的极大极小问题。

    当然,也可以按照前面小节的问题表述方式,把它定义为:

    subject to , i=1,2,3, … k

     

    和前面的p*类似,我们将对偶问题的最优值表示为d*:

    d*  = 

     

    与原始问题和对偶问题相关的有多个定理。例如:

    如果原始问题和对偶问题都有最优值,则:

    d* = 

    <= = p*

    证明如下(参考《统计学习方法》一书中的附录C):

    根据的定义,我们可以得到:

    <= 

    <=  = 

    换句话说就是:

     <= 

     

    又因为原始问题和对偶问题都有最优值,所以,

     <= 

    所以,

    d* = 

    <= = p*

     weak duality

    从前面小节的讲解中,我们知道有如下的关系:

    d* <= p*

    所以说d*是p*的lower bound。值得一提的是,这个不等式对于任意的最优化问题(即使它不是凸优化问题)都是成立的。

    另外,p*-d*在最优化问题中代表的是“optimal duality gap of the original problem”,它具备如下特性:

    l  非负数

    由于d* <= p*,所以很自然的有p*-d* >=0

    l  值越小,表示d*越接近原始问题的最优解

     

    图  Lower bound

     

    如果它们不相等,那么就是weak duality了;而最理想的情况就是它们的差为0的时候。此时就是强对偶关系了,大家可以参见下面小节的讲解。

     strong duality

    如果满足下面的等式:

    d* = p*

    也就是说duality gap是0,那么我们就说它们具备了强对偶关系。

    在最优化理论中,强对偶关系显然不会在所有问题中都成立。不过根据《Convex optimization》中的论述,如果primal problem满足:

    中的f0, … fm均为convex的话,那么这种情况下的最优化问题通常(注意:也不是绝对的)就会满足强对偶关系。

    那么有没有strong duality一定存在的情况呢?

    答案是肯定的,而且还不止一种——比如Slater’s condition,或者后续小节我们将重点介绍的KKT都是。

    Slater’s condition是以Morton L.Slater命名的,它是strong duality的一个充分条件(注意:非必要条件)。简单而言,它是指满足如下条件的问题:

    大家可以注意看下上述与原始问题中的约束条件不太一样,后者使用的是<=,而前者则是<。换句话说,就是slater’s condition要求更为严格。

    接下来我们再分析一下KKT条件。

    KKT

    前面几个小节大家已经学习了如何利用拉格朗日乘子法来解决等式约束条件下的最优化问题,而且也补充了拉格朗日对偶性等基础知识,接下来就可以进一步学习不等式情况下的最优解问题了。

    Karush-Kuhn-Tucker就是上述问题的答案——简单来讲,KKT是以三个人的名字组成的几个conditions。其中Harold W. Kuhn和Albert W. Tucker是在1951年发表了这个适用于不等式约束条件的conditions,所以它又被称为Kuhn-Tucker conditions。只不过后来人们又发现William Karush其实在更早的1939年就已经在他的硕士论文中阐述了完全一致的观点了,所以就成了现在大家所熟知的Karush-Kuhn-Tucker Conditions (简称KKT)了。

    KKT是在满足一些有规则的条件下,一个非线性规划问题具备最优化解法的必要和充分条件。它也可以被理解为广义的拉格朗日乘子法——换句话说,当不存在不等式约束条件时,那么它和前面小节所讲述的拉格朗日乘子法就是等价的。

    接下来我们通过几个examples来逐步引导大家学习和理解KKT条件。

    (1) 范例1

    f(x) =  + 

    g(x) =  +  - 1

    subject to g(x1, x2) <=0

     

    那么f(x)函数的等高线如下:

    图  f函数等高线

    引用自KTH DD3364 Course,下同

     

    (未完待续)

    展开全文
  • [详解MATLAB在最优化计算中的应用(第2版)][李明][MATLAB R2014a基础教学视频2]本书首先介绍MATLAB的基本使用方法和程序设计基础,然后将MATLAB最优化计算相结合,基于最优化理论与方法,讲解如何使用MATLAB求解...
  • 优化理论与方法-牛顿迭代法后续

    千次阅读 2018-04-06 22:20:18
    (2)最优化理论与方法中牛顿迭代法应用。 (3)对Hessian矩阵的深入讨论。 (4)牛顿法梯度下降法的区别。 (一) 牛顿迭代法在数学中求解方程的根  上一篇文章 《最优化理论与方法-牛顿迭代法》 中,主要讲解了...
  • 《多目标智能优化算法及其应用》系统地介绍了多目标智能优化算法理论与应用,力图全面地介绍多目标智能优化算法的最新研究进展。全书共分为8章,主要内容包括:多目标进化算法、多目标粒子群算法、其他多目标智能...
  • 本书全面系统地介绍了遗传算法的基本理论,重点介绍了遗传算法的经典应用和国内外的新发展 本书可供从事计算智能,自动控制、图像处理和模式识别、系统工程、优化设计、高性能计算等专业领域的研究人员阅读
  • 第一章 绪论 1.1神经元 第二章 联想记忆基本原理 第三章 联想记忆模式识别的实用模型 第四章 优化计算的神经网络方法

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 79,436
精华内容 31,774
关键字:

优化理论与应用用什么书