今天做了一个有关运算放大器的题，感觉什么都忘了。
这是从网上找的一个图，感觉整理的挺好。

机器之心整理
参与：思、Jamin
一直以来，自动微分都在 DL 框架背后默默地运行着，本文希望探讨它到底是什么，通过 JAX，自动微分又能怎么用。
自动微分现在已经是深度学习框架的标配，我们写的任何模型都需要靠自动微分机制分配模型损失信息，从而更新模型。在广阔的科学世界中，自动微分也是必不可少的。说到底，大多数算法都是由基本数学运算与基本函数组建的。
在 ICLR 2020 的一篇 Oral 论文中(满分 8/8/8)，图宾根大学的研究者表示，目前深度学习框架中的自动微分模块只会计算批量数据反传梯度，但批量梯度的方差、海塞矩阵等其它量也很重要，它们可以在计算梯度的过程中快速算出来。
目前自动微分框架只计算出梯度，因此就限定了研究方向只能放在梯度下降变体之上，而不能做更广的探讨。为此，研究者构建了 BACKPACK，它建立在 PyTorch 之上，还扩展了自动微分与反向传播能获得的信息。
选自论文 BACKPACK，arXiv：1912.10985。
除此之外，Julia Computing 团队去年 7 月份也发表了一份论文，提出了可微编程系统，它能将自动微分内嵌于 Julia 语言，从而将其作为第一级的语言特性。由于广泛的科学计算和机器学习领域都需要线性代数的支持，因此这种可微编程能成为更加通用的一种模式。
从这些前沿研究可以清晰地感受到，自动微分越来越重要。
自动微分是什么
在数学与计算代数学中，自动微分也被称为微分算法或数值微分。它是一种数值计算的方式，用来计算因变量对某个自变量的导数。此外，它还是一种计算机程序，与我们手动计算微分的「分析法」不太一样。
自动微分基于一个事实，即每一个计算机程序，不论它有多么复杂，都是在执行加减乘除这一系列基本算数运算，以及指数、对数、三角函数这类初等函数运算。通过将链式求导法则应用到这些运算上，我们能以任意精度自动地计算导数，而且最多只比原始程序多一个常数级的运算。
一般而言会存在两种不同的自动微分模式，即前向累积梯度(前向模式)和反向累计梯度(反向模式)。前向累积会指定从内到外的链式法则遍历路径，即先计算 d_w1/d_x，再计算 d_w2/d_w1，最后计算 dy/dw_2。
反向梯度累积正好相反，它会先计算 dy/dw_2，然后计算 d_w2/d_w1，最后计算 d_w1/d_x。这是我们最为熟悉的反向传播模式，它非常符合「沿模型误差反向传播」这一直观思路。
如图所示，两种自动微分模式都在求 dy/dx，只不过根据链式法则展开的形式不太一样。
来一个实例：误差传播
在统计学上，由于变量含有误差，使得函数也含有误差，我们将其称之为误差传播。阐述这种关系的定律叫做误差传播定律。
先定义一个函数 q(x,y) ，我们想通过 q 传递 x 与 y 的不确定性信息，即 _x 与 _y。最直接的方式是随机采样 x 与 y，并计算 q 的值，然后查看它的分布。这就是「传播不确定性」这个概念的意义。
误差传播的积分公式可以是一个近似值， q(x,y) 的一般表达式可以写为：
如果我们定义一个特殊案例，即 q(x,y)=x±y，那么总不确定性可以写为：
对于特例 q(x,y)=xy 与 q(x,y)=x/y ，不确定性分别为 (σ_q/q)^2 = (σ_x/x)^2+(σ_y/y)^2 与 σ_q=(x/y)* sqrt((σ_x/x)^2+(σ_y/y)^2)。
我们可以尝试这些方法，并对比根据这些近似公式算出来的反传误差，以及实际发生的反传误差。
实战 JAX 自动微分
Jax 是谷歌开源的一个科学计算库，能对 Python 程序与 NumPy 运算执行自动微分，而且能够在 GPU 和 TPU 上运行，具有很高的性能。
如下先导入 JAX，然后用三行代码就能定义之前给出的反传不确定性度量。
from jax *import* grad, jacfwd
import jax.numpy *as* np
def error_prop_jax_gen(q,x,dx):
jac = jacfwd(q)
return np.sqrt(np.sum(np.power(jac(x)*dx,2)))
这里计算的反传梯度是根据 jax 完成的，后面的反传误差会直接通过公式计算，并对比两者。
1. 配置两个具有不确定性的观察值
我们需要使用 x 与 y 作为符号推理，但可以把它们都储存在数组 x 中，x[0]=x、x[1]=y。
x_ = np.array([2.,3.])
dx_ = np.array([.1,.1])
2. 加减法
在 (,)=± 这一特例情况下，误差传播公式可以简化为
上图所示，通过误差传播公式计算出来的值与 JAX 计算出来的是一致地。
3. 乘除法
在 (,)= 与 (,)=/ 这两种特例中，误差传播公式可以写为：
4. 幂
对于特例 (,)=^*^，传播公式可以表示为：
我们可以写成
JAX 的使用非常多样，甚至能直接使用它搭建神经网络。例如 JAXnet 框架，它是一个基于 JAX 的深度学习库，它的 API 提供了便利的模型搭建体验。比如说，以下代码就能建个神经网络：
from jaxnet import *
net = Sequential(Dense(1024), relu, Dense(1024), relu, Dense(4), logsoftmax)
此外，不久之前，DeepMind 也发布了两个新库：在 Jax 上进行面向对象开发 的 Haiku 和 Jax 上的强化学习库 RLax。JAX 这样的通用自动微分库也许能在更广泛的领域发挥作用。

一、关系模型
为什么学习关系模型？
我们可以通过关系模型这种简单的数据结构能够描述出现实世界的实体及实体间的各种联系。


什么是关系模型？
关系模型的基本假定是所有数据都表示为数学上的关系，就是以集合的形式表示。关系模型是采用二维表格结构表达实体类型及实体间联系的数据模型。


关系模型是1970年由E.F.Codd提出的。

它和层次、网状模型相比，有以下特点：

1.数据结构简单（二维表格）

2.扎实的理论基础。

a.关系运算理论

b.关系模式设计理论


几个重要定义

域：
相同的数据类型，又名属性。

笛卡尔积：
一组域D1，D2,D3...Dn的笛卡尔积为：
D1 x D2 x D3 x Dn = {(d1,d2,d3,...,dn) | di∈Di,i=1,2,3...n}
笛卡尔积的每个元素(d1,d2,d3...dn)称做一个n元组，元组的每一个值叫做一个分量。



关系模型（二维表）



关系模型的基本术语共有十三个，它们分别是：
1、关系：一个关系对应着一个二维表，二维表就是关系名。
2、属性和值域：在二维表中的列，称为属性。属性的个数称为关系的元或度。列的值称为属性值；属性值的取值范围为值域。
3、关系模式：在二维表中的行定义，即对关系的描述称为关系模式
4、元组：在二维表中的一行，称为一个元组。
5、分量：元组中的一个属性值
6、键或者码：如果在一个关系中存在这样的一个属性，使得在该关系的任何一个关系状态中的两个元组，在该属性上的值的组合都不同，即这些属性的值都能够用来唯一标识该关系的元组，则称这些属性为该关系的键或者码。
7、超键或者超码：如果在关系的一个键中移去某个属性，它仍然是这个关系的键，则称这样的键为关系的超键或者超码。
8、候选键或者候选码：如果在关系的一个键中不能移去任何一个属性，否则它就不是这个关系的键，则称这个被指定的候选键为该关系的候选键或者候选码。
9、主键或者主码：在一个关系的若干候选键中指定一个用来唯一标识该关系的元组，则称这个被指定的候选键为该关系的主键或者主码。
10、全键或者全码：一个关系模式中的所有属性的集合。
11、主属性和非主属性：关系中包含在任何一个候选键中的属性称为主属性，不包含在任何一个候选键中的属性为非主属性。
12、外键或者外码：关系中的某个属性虽然不是这个关系的主键，或者只是主键的，但它却是另外一个关系的主键时，则称之为外键或者外码。
13、参照关系与被参照关系：是指以外键相互联系的两个关系，可以相互转化。


二、关系运算
关系的基本运算有两类：一类是传统的集合运算（并、差、交等），另一类是专门的关系运算（选择、投影、连接、除法、外连接等）。

一、传统的集合运算

1、并（UNION）　设有两个关系R和S，它们具有相同的结构。R和S的并是由属于R或属于S的元组组成的集合，运算符为∪。记为T＝R∪S。

2、差（DIFFERENCE）　R和S的差是由属于R但不属关系运算组成的集合，运算符为－。记为T＝R－S。

3、交（INTERSECTION）　R和S的交是由既属于R又属于S的元组组成的集合，运算符为∩。记为T＝R∩S。　R∩S＝R－（R－S）。
二、选择运算

从关系中找出满足给定条件的那些元组称为选择。其中的条件是以逻辑表达式给出的，值为真的元组将被选取。这种运算是从水平方向抽取元组。　在FOXPRO中的短语FOR＜条件＞和WHILE＜条件＞均相当于选择运算。
如：LIST　FOR　出版单位＝'高等教育出版社'　AND　单价＜＝20
三、投影运算

从关系模式中挑选若干属性组成新的关系称为投影。这是从列的角度进行的运算，相当于对关系进行垂直分解。在FOXPRO中短语FIELDS＜字段1，字段2，…＞相当于投影运算。　如：　LIST　FIELDS　单位，姓名
四、连接运算

连接运算是从两个关系的笛卡尔积中选择属性间满足一定条件的元组。
五、除法运算

在关系代数中，除法运算可理解为笛卡尔积的逆运算。

设被除关系R为m元关系，除关系S为n元关系，那么它们的商为m-n元关系，记为R÷S。商的构成原则是：将被除关系R中的m-n列，按其值分成若干组，检查每一组的n列值的集合是否包含除关系S，若包含则取m-n列的值作为商的一个元组，否则不取。


注：部分摘自百度百科

写了半天，不知道这些有什么用，好繁琐，不知道从这些东西可以用在什么地方，有哪些场景。

1. 关系运算
关系代数的基本运算主要有并、交、差、笛卡尔积、选择、投影、连接和除法运算。

（1）并。计算两个关系在集合理论上的并集，即给出关系R和S（两者有相同元/列数），R∪S的元组包括R和S所有元组的集合，形式定义如下：



式中 t是元组变量（下同）。显然，R∪S=S∪R。
（2）差。计算两个关系的区别的集合，即给出关系R和S（两者有相同元/列数），R-S的元组包

括R中有而S中没有的元组的集合，形式定义如下：



通俗点说，就是属于R但是属于S的元素。
针对这种差运算的应用场景，举个例子来说，就两只股票组合，一个组合包含“东阿阿胶”，“涪陵榨菜”，“同仁堂”。

而另一个组合只包括“东阿阿胶”，“涪陵榨菜”。那这两个的差就是“同仁堂”
（3）交。计算两个关系集合理论上的交集，即给出关系R和S（两者有相同元/列数），R∩S的元组包括R和S相同元组的集合，形式定义如下：



显然，R∩S=R-(R-S)和R∩S=S-(S-R)成立。
（4）笛卡尔积。计算两个关系的笛卡尔乘积，令R为有m元的关系，S为有n元的关系，则R×S是m+n元的元组的集合，其前m个元素来自R的一个元组，而后n个元素来自S的一个元组。形成定义如下：


若R有u个元组，S有v个元组，则R×S有u×v个元组。
要记住笛卡尔积的数量是两者的乘积即可，相当于两者排列组合。
（5）投影。从一个关系中抽取指明的属性（列）。令R为一个包含属性A的关系，则

（6）θ连接。θ连接从两个关系的笛卡儿积中选取属性之间满足一定条件的元组，记作：


其中A和B分别为R和S上元数相等且可比的属性组。θ为“=”的连接，称为等值连接，记作：


如果两个关系中进行比较的分量必须是相同的属性组，并且在结果中将重复的属性去掉，则称为自然连接，记作：



θ连接是对笛卡尔积进行处理，虽然现在我还不知道这个到底是干什么用的。
二、元祖演算
在元组演算中，元组演算表达式简称为元组表达式，其一般形式为{t|P(t)}，其中，t是元组变

量，表示一个元数固定的元组；P是公式，在数理逻辑中也称为谓词，也就是计算机语言中的条件表

达式。{t|P(t)}表示满足公式P的所有元组t的集合。
在元组表达式中，公式由原子公式组成，原子公式有下列两种形式：

（1）R(s)，其中R是关系名，s是元组变量。其含义是“s是关系R的一个元组”。

（2）s[i]θu[j]，其中s和u是元组变量，θ是算术比较运算符，s[i]和u[j]分别是s的第i个分量和u的第j个分量。原子公式s[i]θu[j]表示“元组s的第i个分量与元组u的第j个分量之间满足θ运算”。例如，“t[2]<u[3]”表示元组t的第2个分量小于元组u的第3个分量。这个原子公式的一种简化形式是s[i]θa或aθu[j]，其中a为常量。例如，“t[4]=3”表示t的第4个分量等于3。
在一个公式中，如果元组变量未用存在量词“ ”或全称量词“ ”等符号定义，那么称为自由元组变量，否则称为约束元组变量。公式的递归定义如下。
（1）每个原子是一个公式，其中的元组变量是自由变量。

（2）如果P1和P2是公式，那么， P1、P1∨P2、P1∧P2和P1→P2也是公式。

（3）如果P1是公式，那么( s)(P1)和( s)(P1)也都是公式。

（4）公式中各种运算符的优先级从高到低依次为θ、 和 、 、∧和∨、→。在公式外还可以加括号，以改变上述优先顺序。

（5）公式只能由上述四种形式构成，除此之外构成的都不是公式。
在元组演算的公式中，有下列四个等价的转换规则：

（1）P1∧P2等价于 ( P1∨ P2)。

（2）P1∨P2等价于 ( P1∧ P2)。

（3）( s)(P1(s))等价于 ( s)( P1(s))；( s)(P1(s))等价于 ( s)( P1(s))。

（4）P1→P2等价于 P1∨P2。

关系代数表达式可以转换为元组表达式，例如，R∪S可用{t|R(t)∨S(t)}表示，R-S可用{t|R(t)∧S(t)}表示
看了上面的这么一段话，完全不懂元祖演算是什么玩意，哈哈哈。
测试习题
试题1

若对关系R（A，B，C，D）进行π1．3（R）运算，则该关系运算与__B__等价，表示__B__。

A．πA=1,C=3（R）      B．πA=1∧C=3（R）     C．πA,C（R）       D．πA=1∨C=3（R）
A．属性A和C的值分别等于1和3的元组为结果集

B．属性A和C的值分别等于1和3的两列为结果集

C．对R关系进行A=1、C=3的投影运算

D．对R关系进行属性A和C的投影运算
试题2

若关系R、S如图5-3所示，则R与S自然连接后的属性列数和元组个数分别为__B__；

π1,4(σ3=6(R×S))B。

图5-3关系R与S

（3）A．4和3 B．4和6 C．6和3 D．6和6

（4）A．πA,D(σC=D(R×S))B．πA,R.D(σS.C=R.D(R×S))

C．πA,R.D(σR.C=S.D(R×S))D．πR.A,R.D(σS.C=S.D(R×S))