-
2021-04-22 06:30:09
用MATLAB 实现共轭梯度法求解实例
康福 201103710031
一．无约束优化方法
1.1 无约束优化方法的必要性
一般机械优化设计问题，都是在一定的限制条件下追求某一指标为最小，它们都属于约束优化问题。但是为什么要研究无约束优化问题?
(1)有些实际问题，其数学模型本身就是一个无约束优化问题。
(2)通过熟悉它的解法可以为研究约束优化问题打下良好的基础。
(3)约束优化问题的求解可以通过一系列无约束优化方法来达到。所以无约束优
化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。
(4)对于多维无约束问题来说，古典极值理论中令一阶导数为零，但要求二阶可微，且要判断海赛矩阵为正定才能求得极小点，这种方法有理论意义，但无实用价值。和一维问题一样，若多元函数F(X)不可微，亦无法求解。但古典极值理论是无约束优化方法发展的基础。
1.2共轭梯度法
目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。
(1)间接法——要使用导数，如梯度法、(阻尼)牛顿法、变尺度法、共轭梯度法等。
(2)直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。 用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。这类方法较适用于解决变量个数较少的(n ≤20)问题，一般情况下比间接法效率低。间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。 搜索方向的构成问题乃是无约束优化方法的关键。
共轭梯度法是沿着共轭方向进行搜索，属于共轭方向法中的一种，该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。共轭梯度法作为一种实用的迭代法，它主要有下面的优点：
(1)算法中，系数矩阵Ａ的作用仅仅是用来由已知向量P 产生向量W=AP ，这不仅可充分利用Ａ的稀疏性，而且对某些提供矩阵Ａ较为困难而由已知向量P 产生向量W=AP 又十分方便的应用问题是很有益的。
(2)不需要预先估计任何参数就可以计算，这一点不像SOR 等；
(3)每次迭代所需的计算，主要是向量之间的运算，便于并行化。
共轭梯度法原理的知识较多，请详见《机械优化设计》第四章的第四、五节。 图1为共轭梯度法的程度框图 1(0,1,2,)
k k k k s k α+=+=x x
更多相关内容 -
python矩阵运算,转置,逆运算,共轭矩阵实例
2020-09-16 21:42:30主要介绍了python矩阵运算,转置,逆运算,共轭矩阵实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 -
matlab.zip_Morozov偏差原理_matlab 正则化_共轭正则化_正则化 matlab_矩阵 正则化
2022-07-15 04:11:01一个利用共轭梯度法的正则化实例： 通过输入矩阵的维数，利用共轭梯度法的原理，进行正则化计算；Morozov偏差原理 -
基础 | Python 下的矩阵操作
2021-01-12 09:06:29关键词：线性代数 / 矩阵 / 运算今天小编将详细介绍矩阵的运算规则与数学符号应用在矩阵上的含义，如同算数字的加减法需要了解计算公式的规则一样，矩阵的运算虽然与单纯数字运算相似，但其细节的相异处还需要多加...展开全文关键词：线性代数 / 矩阵 / 运算
今天小编将详细介绍矩阵的运算规则与数学符号应用在矩阵上的含义，如同算数字的加减法需要了解计算公式的规则一样，矩阵的运算虽然与单纯数字运算相似，但其细节的相异处还需要多加注意。另外，矩阵计算有些时候手算和代码算的规则是有些差异的，这也容易造成算法在实际部署时的 BUG，接下来的矩阵操作介绍，小编将完全站在编程的角度去重新阐述线性代数的理论知识！
矩阵的基本性质
回顾一下一个矩阵的具体写法与符号定义：
中的
称为矩阵的元素，可以是数字，函数，实数，复数。在 python 代码中的numpy模块几乎可以说是数值计算的唯一选择。
import numpy as np
from Code.linalg import *
如果还没安装过numpy，可以使用下面指令在终端快速安装。
pip install numpy
如果想获得Code.linalg里面的代码，欢迎扫码进群！
1. 矩阵的相等
如果 A 与 B 两个矩阵的阶数相等，所对应的元素也都相等，则称 A 与 B 矩阵相等。
2. 加减法
如果两个矩阵的阶数都相等，则加减法即为对应位置的元素相加减。
A = np.random.randint(0, 5, 6).reshape(2, 3)
B = np.random.randint(0, 5, 6).reshape(2, 3)
C = np.random.randint(0, 8, 6).reshape(3, 2)
print(A, '\n\n', B, '\n\n', C)
print(A + B)
输出 (1)：
[[0 1 1]
[3 1 0]]
[[1 1 0]
[2 2 0]]
[[2 2]
[2 2]
[1 1]]
输出 (2)：
[[1 2 1]
[5 3 0]]
3. 纯量与矩阵的乘积
如果 A 为矩阵而 k 为常数，相乘的结果即为每个 A 内的元素都乘以 k。
print(10 * A)
输出：
[[ 0, 10, 10],
[30, 10, 0]]
4. 矩阵的乘法
如果两个矩阵的 行数 与另一个矩阵的 列数 相等，矩阵乘法才可行，此操作又称为内积。
print(np.dot(A, A.T))
输出:
[[ 2, 1],
[ 1, 10]]
有些在数字上通用的乘法规则，在矩阵中则无效，如下实例：交换律不成立，成立条件：A 与 B 都是 n 阶对角矩阵
A 或 B 中有一个为纯量矩阵(包含单位矩阵)消去律不成立
如果 A 与 B 皆为 n 阶方阵，AB = AC 不表示 B = C，成立条件：
存在。为 0 条件
如果 AB = 0，不恒表示 A = 0 或是 B = 0。成立条件：当
存在，则 B = 0
当
存在，则 A = 0结合律成立
，其中
5. 转置矩阵的性质
转置操作从二维矩阵的角度看，就是把矩阵沿着对角线做一个 180 度的翻转，长宽的尺寸维度也因此跟着变化。如果是高维张量的转置操作，则可以理解成是不同维度的值调换了位置，更多细节将在后面几个章节细说！
print(A == A.T.T)
输出:
[[ True, True, True],
[ True, True, True]]
print((A + B).T == A.T + B.T)
输出:
[[ True, True],
[ True, True],
[ True, True]]如果 k 是常数，
print((10 * A).T == 10 * A.T)
输出:
[[ True, True],
[ True, True],
[ True, True]]
证明：
矩阵中第 i 列第 j 行未知的元素为：
得证。
print(np.dot(A, C).dot(B).T == np.dot(B.T, C.T).dot(A.T))
输出:
[[ True, True],
[ True, True],
[ True, True]]
6. 共轭转置矩阵的性质
共轭转置操作就跟名字起的顺序一样，先做共轭再做转置，数学上计作 上标
。
print(conj_T(conj_T(A)) == A)
输出:
[[ True, True, True],
[ True, True, True]]
print(conj_T(A + B) ==
conj_T(A) + conj_T(B))
输出:
[[ True, True],
[ True, True],
[ True, True]]如果 k 是常数，
print(conj_T(10 * A) == 10 * conj_T(A))
输出:
[[ True, True],
[ True, True],
[ True, True]]
print(conj_T(np.dot(A, C).dot(B)) == np.dot(
conj_T(B), conj_T(C)).dot(conj_T(A)))
输出:
[[ True, True],
[ True, True],
[ True, True]]
7. 对称矩阵与反对称矩阵的性质
如果 A 是 n 阶方阵，则有：
与
为 对称矩阵
证明：
，且
print(np.dot(A, A.T))
输出:
[[ 2, 1],
[ 1, 10]]
print(np.dot(A.T, A))
输出:
[[9, 3, 0],
[3, 2, 1],
[0, 1, 1]]
为 对称矩阵
证明：
D = np.random.randint(0, 10, 9)
D = D.reshape(3, 3)
print(D) # random square matrix
输出:
[[8, 8, 6],
[2, 9, 0],
[2, 2, 6]]
print((D + D.T).T)
输出:
[[16, 10, 8],
[10, 18, 2],
[ 8, 2, 12]]
为 反对称矩阵
证明：
print((D - D.T).T)
输出:
[[ 0, -4, -6],
[ 4, 0, -6],
[ 6, 6, 0]]任何 n 阶实数方阵必定可以表示成 对称矩阵 与 反对称矩阵 的和：
print(0.5 * (D + D.T) + 0.5 * (D - D.T) == D)
输出:
[[ True, True, True],
[ True, True, True],
[ True, True, True]]
8. Trace 的性质
证明：
print(np.trace(A + B) == np.trace(A) + np.trace(B))
输出:
True当 k 是个常数，
print(np.trace(10 * A) == 10 * np.trace(A))
输出:
True
证明：
print(np.trace(np.dot(A, C)) ==
np.trace(np.dot(C, A)))
输出:
True若
存在，
，
证明：
Github源代码github.com
转发、分享！微信公众号每周更新，同时每周腾讯会议在线免费分享! 关注公众号，点击按钮“AI大会”即可加入微信群(公布腾讯会议房间号)，和清华师兄一起面对面讨论Ai。
-
【线性代数之二】矩阵与行列式
2022-03-04 14:54:35矩阵与行列式的区别有四点： 本质上，矩阵是一个数表，行列式是一个数值，n阶的方阵。 数字符号上，矩阵是用括号表示的，行列式是用双竖线表示的。 结构上，矩阵的行数和列数可以不一样，行列式的行数与列数一致。 ...展开全文一、矩阵
1.1 定义
由 m × n 个数aij排成的m行n列的数表称为m行n列的矩阵，简称m × n矩阵。记作：
这m×n 个数称为矩阵A的元素，简称为元，数aij位于矩阵A的第i行第j列，称为矩阵A的(i,j)元，以数 aij为(i,j)元的矩阵可记为(aij)或(aij)m × n，m×n矩阵A也记作Amn。元素是实数的矩阵称为实矩阵，元素是复数的矩阵称为复矩阵。而行数与列数都等于n的矩阵称为n阶矩阵或n阶方阵
1.2. 基本运算
1.2.1 加减法
同位置元对应相加减
只有同型矩阵之间才可以进行加法。
加法：
减法：
矩阵的加法满足下列运算律(A，B，C都是同型矩阵)：
A + B = B + A和(A + B) + C = A + (B + C)1.2.2 数乘
矩阵的数乘满足一下规律：
实例：
矩阵的加减法和矩阵的数乘合称矩阵的线性运算
1.3 矩阵乘法
两个矩阵的乘法仅当第一个矩阵A的列数和另一个矩阵B的行数相等时才能定义。如A是m×n矩阵和B是n×p矩阵，它们的乘积C是一个m×p矩阵 ，它的一个元素：
并将此乘积记为:C = AB
例如：
矩阵的乘法满足以下运算律：
结合律：(AB)C = A(BC)
左分配律：(A + B)C = AC + BC
右分配律：C(A + B) = CA + CB
矩阵乘法不满足交换律。
1.4 转置
把矩阵A的行和列互相交换所产生的矩阵称为A的转置矩阵，这一过程称为矩阵的转置。
转置矩阵记为：
转置过程：
矩阵的转置满足以下运算律：
1.5 共轭
矩阵的共轭定义为:
一个2×2复数矩阵的共轭（实部不变，虚部取负）如下所示：
则：
1.6 共轭转置
矩阵的共轭转置定义为：
，也可以写为：
，或者写为
一个2×2复数矩阵的共轭转置如下所示：
则：
二、行列式
一个n×n的正方矩阵A的行列式记为 或者 ,一个2×2矩阵的行列式可表示如下 :
一个n×n矩阵的行列式等于其任意行（或列）的元素与对应的代数余子式乘积之和，即：
三、 特征值与特征向量
n×n的方块矩阵A的一个特征值和对应特征向量是满足 的标量以及非零向量 。其中v为特征向量， 为特征值。
A的所有特征值的全体，叫做A的谱 ，记为 。矩阵的特征值和特征向量可以揭示线性变换的深层特性四、矩阵与行列式的区别：
矩阵与行列式的区别有四点
- 本质上，矩阵是一个数表，行列式是一个数值，n阶的方阵。
- 数字符号上，矩阵是用括号表示的，行列式是用双竖线表示的。
- 结构上，矩阵的行数和列数可以不一样，行列式的行数与列数一致。
- 运算上，一个数乘以行列式，只能乘以行列式的一行或者一列。一个数乘以矩阵，矩阵的每个元素都要乘上这个数。两个矩阵相等是指对应元素都相等；两个行列式相等不要求对应元素都相等，甚至阶数也可以不一样，只要运算代数和的结果一样就行了。行列式相等，就是值相等，行和列数目不必相等，数据也不必相等。矩阵相等，行和列数目必须相等，对应位置的数据也必须相等。行列式相加减，就是两个数值相加减，结果还是数值。矩阵相加减，对应位置的数据相加减。
矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中，行列式可以看做是有向面积或体积的概念在一般的欧几里得空间中的推广。
-
用MATLAB实现FR共轭梯度法求解实例
2017-10-20 09:11:38问题：编写FR共轭梯度法用于求解min x 2 1 − x 1 x 2 + x 2 2 + 2 x 1 − 4 x 2 x_1^2-x_1x_2+x_2^2+2x_1-4x_2 初始点取为 x 0 = ( 2 , 2 ) T x_0=(2,2)^T frcg.m function [x,val,k] = frcg (fun,...展开全文问题：编写FR共轭梯度法用于求解min x21−x1x2+x22+2x1−4x2
初始点取为 x0=(2,2)Tfrcg.m
function [x,val,k]=frcg(fun,funs,x0) % 功能: 用FR共轭梯度法求解无约束问题: min f(x) %输入: x0是初始点, fun, gfun分别是目标函数和梯度 %输出: x, val分别是近似最优点和最优值, k是迭代次数. maxk=5000; %最大迭代次数 rho=0.6;sigma=0.4; k=0; epsilon=1e-4; n=length(x0); while(k<maxk) g=feval(funs,x0); %计算梯度 itern=k-(n+1)*floor(k/(n+1)); itern=itern+1; %计算搜索方向 if(itern==1) d=-g; else beta=(g'*g)/(g0'*g0); d=-g+beta*d0; gd=g'*d; if(gd>=0.0) d=-g; end end if(norm(g)<epsilon), break; end %检验终止条件 m=0; mk=0; while(m<20) %Armijo搜索 if(feval(fun,x0+rho^m*d)<feval(fun,x0)+sigma*rho^m*g'*d) mk=m; break; end m=m+1; end x0=x0+rho^mk*d; val=feval(fun,x0); g0=g; d0=d; k=k+1; end x=x0; val=feval(fun,x);fun.m
function f=fun(x) f=x(1)^2-x(1)*x(2)+x(2)^2+2*x(1)-4*x(2);funs.m
function fs=funs(x) fs=[2*x(1)-x(2)+2,2*x(2)-x(1)-4]';命令行窗口
x0=[2,2]'; [x,val,k]=frcg('fun','funs',x0)运行结果：
x = -0.0000 2.0000 val = -4.0000 k = 8即 x1=0,x2=2 时，最优值 val=−4 ，迭代次数为8.
-
用MATLAB实现共轭梯度法求解实例.doc
2021-04-22 06:29:09实用标准文案精彩文档用MATLAB实现共轭梯度法求解实例康福 201103710031无约束优化方法1.1 无约束优化方法的必要性一般机械优化设计问题，都是在一定的限制条件下追求某一指标为最小，它们都属于约束优化问题。... -
用matlab实现共轭梯度法求解实例.doc
2021-04-18 17:12:53用matlab实现共轭梯度法求解实例.doc 用MATLAB 实现共轭梯度法求解实例 康福 201103710031 1．无约束优化方法 1.1 无约束优化方法的必要性 一般机械优化设计问题，都是在一定的限制条件下追求某一指标为最小，它 们... -
使用matlab 判断两个矩阵是否相等的实例
2021-04-30 05:54:40使用matlab 判断两个矩阵是否相等的实例数学意义的相等all(A(:) == B(:))isequal(A, B)但须注意的是：B = A，未必能保证 isequal(A, B)返回真，因为如果 A 中包含NaN，因为按照定义，NaN ~= NaN>> A = [1, NaN... -
实数矩阵特征值(根)向量的求解 v1.0
2019-11-11 06:48:10其中的MatrixEigenvalue.exe程序是动态链接库EigenvalueDLL.dll的测试程序，此程序通过调用EigenvalueDLL.dll提供的类求解矩阵特征值问题，你只要将所要 求解的矩阵按照文件"矩阵特征值问题实例.txt"中的数据格式... -
数值计算之 共轭梯度法（2）非线性共轭梯度法
2021-12-22 21:23:12数值计算之 共轭梯度法（2）非线性共轭梯度法前言非线性共轭梯度法 前言 上篇写了线性共轭梯度法，本篇继续非线性共轭梯度法 非线性共轭梯度法 非线性共轭梯度法： k=0k=0k=0，通过梯度下降法初始化x0,r0=∇f(x0),p... -
python中有关矩阵的创建、求逆、转置
2021-01-28 20:09:37注：NumPy是Numarray的后继者，...今天我想在网上找一些关于NumPy的介绍，并试一下用NumPy求逆矩阵的时候，竟然找不到任何中文的资料，有网友在论坛请教“怎么用Python进行矩阵求逆”，也无一人回答。因此我找到Num... -
共轭函数介绍
2021-03-31 19:45:05共轭函数 设函数f:Rn→Rf:\mathrm{R}^{n}\rightarrow \mathrm{R}f:Rn→R，定义函数f∗:Rn→Rf^{*}:\mathrm{R}^{n}\rightarrow\mathrm{R}f∗:Rn→R为f∗(y)=supx∈dom(y⊤x−f(x))f^{*}(y)=\underset{x \in \... -
Matlab求解线性方程组（三）共轭梯度法和最速下降法的比较
2022-03-15 19:32:28对于课本计算实例P113：用共轭梯度法求解线性方程组Ax=b，其中 矩阵A的阶数n分别取为100，200，400，指出计算结果是否可靠。 共轭梯度法的求解结果如下： （1）n=100时 迭代50次后满足精度要求 ,其误差曲线如下图所... -
矩阵论复习-过渡矩阵、生成子空间、表示矩阵、度量矩阵、酉空间、内积
2021-11-23 20:49:23矩阵论复习线性空间基与维数基变换公式、过渡矩阵、坐标变换公式线性子空间齐次方程组的解空间特征子空间生成子空间交空间和空间维数定理直和线性...之间的关系线性变换在两组基下的表示矩阵的关系欧氏空间欧式空间实例... -
Matlab求解线性方程组（一）共轭梯度法
2022-03-14 22:11:26一，算法原理 共轭梯度法可以看作是特殊的迭代法，有迭代法的格式，即首先给出x(0),再由迭代格式 二，程序框图 三，源代码 四，实例分析 -
矩阵和矩阵转置求导公式
2019-01-15 10:39:38##推导公式时用到的矩阵求导 1. Y = A ∗ X Y = A*X Y = A ∗ X -->> d Y d X = A T \frac{dY}{dX} = A^T d X d Y = A T 2. Y = X ∗ A Y = X*A Y = X ∗ A -->> d Y d X = A \frac{dY}{dX} = A d X d Y =... -
matlab矩阵处理
2022-01-28 10:00:26MATLAB矩阵处理前言一、特殊矩阵通用性的特征矩阵用于专门学科的特殊矩阵二、矩阵变换对角阵三角阵矩阵的转置矩阵的旋转矩阵的翻转三、矩阵求值四、矩阵的特征值与特征向量五、稀疏矩阵总结 前言 提示：这里可以... -
最优化学期学习笔记---共轭梯度法（代码记录）
2021-11-29 22:37:14迭代公式：Xk+1=Xk + akdk 最速下降法: 方向d为负梯度方向 步长a可以利用局部极小点的一阶必要条件 共轭梯度法:定义两个向量d1,d2,矩阵Q。d1Qd2=0。则d1与d2方向共轭。在优化中则可以理解为上一次搜索方法与这一次... -
利用矩阵的逆（伪逆）与除法求解
2022-02-16 11:52:13利用矩阵的逆（伪逆）与除法求解： 对于线性方程组Ax=b，若其为恰定方程组且A是非奇异的，则求x最明显...当矩阵为复数时，求矩阵的共轭转置 x0=pinv(A)*b Z=null(A,'r') 实例——矩阵特征值 演示求逆法与除法求解 -
基于共轭梯度法的对抗攻击
2022-07-01 16:51:31A A A是一个正定矩阵， x ∈ R n \boldsymbol{x}\in\mathbb{R}^n x∈Rn。在这种情况下，系数 β ( k ) \beta^{(k)} β(k)的计算公式为 β ( k ) = ⟨ A s ( k − 1 ) , − ∇ f ( x ( k ) ) ⟩ ⟨ A s ( k − 1 ) , ... -
【矩阵计算】特征值计算
2022-04-08 09:16:33如果复矩阵∈^(×),那么存在一个酉矩阵Q∈^(×)，使得 Q^H AQ=T=D+N 这里D=diag(μ1,⋯,μ),∈^(×)是严格上三角矩阵。进一步可以选取Q使得特征值μ"μ" _i沿对角线按任一给定的次序出现。 2、Schur分解唯一性 ... -
Matlab观察预处理共轭梯度法(PCG)效果
2021-11-14 09:45:56文章目录 题目 程序 运行实例 结论 题目 题目来自高等数值分析作业题： 程序 随机给b的取值，可以改成指定，由于这几种预处理方法条件数改变不多，b的随机性会导致结果相差较大。 clc clear n=100; %生成矩阵阶数 A ...
