表格左列 Int, Add, Negate 是三个变式 (Variant)，eval, toString, hasZero 是三种操作，这里要做的是填满这个表格，分别实现三个变式的三种操作。
函数式编程是写三个函数代表三个方法。然后数据作为参数传人。
面向对象编程是数据是主体，然后每个主体上绑定三个方法
函数式编程式纵向的填满了上面的表格

面向对象编程是横向的填满了上的表格

函数式编程 和 面向对象编程 是两种相反的思维模式和实现方式
//扩展**
加粗样式
**



在上面那个例子的基础上，我们再加一行一列，增加 Multi 这个变式，表示乘法，增加 absolute 这个操作，作用是求绝对值。这会怎么影响我们的代码呢？

函数式编程

在函数式编程中，要增加一个操作 absolute 很简单，只要添加一个新的函数，不用修改之前的代码。但是要增加 Multi 比较麻烦，要修改之前的所有函数。
面向对象编程

和函数式编程相反的，在这里增加一个 Multi 简单，只要添加一个新的 class，但是增加 absolute 这个操作就要在之前的每一个 class 做更改。

选择用 函数式编程 还是 面向对象编程 的一个考量因素是以后将会如何扩展代码，对之前代码的更改越少，出错的概率越小。

————————————————

函数式编程 和 面向对象编程 对比下来，我们并不能说哪一种模式更好。但是可以看出它们在思维上是截然不同的。函数式编程中侧重要做什么，面向对象编程侧重对象的抽象化，

详情

注意看后面的推荐

今天要给大家介绍下Excel中的“万能函数”——sumproduct函数，为什么说他是万能的呢，因为它能做的事情实在太多了，废话不多说，今天跟大家分享9种sumproduct函数的使用方法，让小白秒变大神
sumproduct函数以及参数
sumproduct函数：返回相应的数组或区域乘积的和
第一参数：Array1
第二参数：array2
第三参数：array3
…….最多255个Array
Array：代表数组或者单元格区域
需要注意的是:使用sumproduct函数，参数中的元素数必须相等，比如第一个区域选择了6个单元格，第二个区域也必须选择6个单元格，否则会返回错误值
参数图如下
参数这么单一，具体怎么用呢，让我来实际操作下，如下图要求总销售额
Sumproduct函数中的参数分别是单价列和售出列，我们可以看作是对应元素相乘之后再求和。
我们可以这样理解先用苹果单价与售出相乘得到苹果销售额，然后用橘子的单价与售出相乘然后再得到橘子销售额，以此类推，当所有水果都得到总销售额后，再相加求和。这是sumproduct函数最基础，下面让我get一些sumproduct函数的高级用法把
1.单条件计数
公式：=SUMPRODUCT((B2:B25=$G$3)*1))
函数中部门列等于“成型车间”就等于部门列中的每一个元素与成型车间判断一次，看其结果是否等于成型车间，一共计算部门列元素个数次，比如部门列一共25人，就判断25次，如果等于成型车间就返回TRUE，如果不等于就返回FALSE，，TRUE可以看做等于1，FALSE可以看做等于0，最后又乘以1，1*1=1，1*0=0，只有当返回结果为TRUE时才等于1，然后在相加得到结果，下图便是函数的运算方式，
2. 多条件计数
要求为成型车间员工且等级为2级的人数
公式：=SUMPRODUCT((B2:B25=$G$3)*1,(C2:C25=2)*1)
多条计数和与但条件求和十分相似，只添加了一个条件，我们还是把计算结果列出来便于理解
首先判断部门列是否有等于成型车间的元素，然后判断等级列是否有等于成型车间的元素，然后将其结果乘以1等到数值，最后两组数组的结果相乘，然后求和
3. 排序
公式：=SUMPRODUCT(($B$2:$B$13>B2)*1)+1
这里其实就是一个单条件计数，不过最后为结果加1罢了
4. 单条件求和
公式：=SUMPRODUCT((C3:C19=G4)*1,E3:E19)
先用条件判断成型车间人数，然后成绩薪资列，进而求和，其实无非就是单条件计数后加入薪资列
5. 多条件求和
公式：=SUMPRODUCT((B2:B25=$G$3)*1,(C2:C25=2)*1,D2:D25)
与多条件计数十分相似，无非就是在其后加入薪资列用于求和如果你还是不太明白下图从左到右为其计算关系相信一看就明白了
6.隔行求和
如下图我们想要求第一季度各个仓库出库与入库的总和，这样的问题我们也可以使用sumproduct函数来完成
出库公式：=SUMPRODUCT(($B$2:$G$2=$H$2)*(B3:G3))
入库公式：=SUMPRODUCT(($B$2:$G$2=$I$2)*(B3:G3))
我们只需要输入对应的公式向下填充即可，这个本质上其实也是SUMPRODUCT函数多条件查询的一个应用
7.统计不重复数据的个数
如下图，在这里我们想要统计1班的人数，对于这样的的问题其实就是计算姓名不重复的个数，我们只需要将公式设置为=SUMPRODUCT(1/(COUNTIF(B2:B26,B2:B26)))，即可得到不重复的个数，也就是1班的人数
在这里COUNTIF(B2:B26,B2:B26)他是一个数组公式，比如在这里我们假设鲁班出现了三次，那么这个公式就会得到三个3，然后我们用1除以这个结果就是得到3个三分之一，最后SUMPRODUCT会将这3个三分之一相加它的结果就是1，这样的话我们就能保证每个人的结果都是1以此来达到求不重复的效果
8.，一维表格转二维表格
首先我们先来了解下什么是一维表格，什么是二维表格，简单来说对于一维表格我们只要看一个维度就能够明白数据表达的是什么意思，而对于二维表格我们需要看两个维度才能明白数据表达的是什么意思，他们各有优点，一维表格更加适合函数运算，二维表格会减少数据所占单元格的个数，如下图我们将一维表格转二维表格只需要输入公式
=SUMPRODUCT(($A$3:$A$22=$F3)*($B$3:$B$22=G$2)*($C$3:$C$22))
向右拖动，向下填充即可，这个本质上也是一个多条件查询，之前跟大家讲解过原理，就不多做介绍了
以上就是SUMPRODUCT函数的9种用法，你知道几个呢？
我是excel从零到一，关注我持续分享更多excel技巧

一、什么是匿名函数
       匿名函数通俗的讲就是没有名字的函数，是一种简单、在同一行中定义的函数。

匿名函数构造简单，不需要把函数提取出来放到外面单独列出来，这也是为什么使用其的原因。

二、匿名函数的格式:  lambda arg1,arg2,arg3… :<表达式>
lambda arg1,arg2,arg3… :<表达式>

函数输入：




功能
对应函数中的内容




函数输入
arg1/arg2/arg3……


函数主体
<表达式>


运算结果
表达式的运算结果


例子：

lambda x,y : x*y              函数输入x,y，输出x和y的乘积
a = lambda x : x*2
print(a(3))		#输出6

a = [lambda x:x+2,lambda x:x*2]
print(a[0](3),a[1](3))		#输出5，6

三、例题考察（学习的时候拧螺丝，做题需要造大炮，答案在最后）
基础题：

1、下面这段代码会有什么效果呢？
time.sleep=lambda x:None
time.sleep(3)

2、下面这段代码输出是什么？
add=lambda x, y: x+y
print(add(1,2))

进阶题：

1、求返回值
sorted([1, 2, 3, 4, 5, 6, 7, 8, 9], key=lambda x: abs(5-x))

2、求返回值
list(filter(lambda x: x % 3 == 0, [1, 2, 3]))

3、求返回值
list(map(lambda x: x+1, [1,2,3]))

四、答案
基础题：

1、程序不会进行3秒钟的休眠操作

2、输出3
进阶题：

1、解答：

sorted(iterable[, cmp[, key[, reverse]]])

s.sort([cmp[, key[, reverse]]])中参数的含义：

cmp 为用户定义的任何比较函数，函数的参数为两个可比较的元素（来自 iterable或者 list），函数根据第一个参数与第二个参数的关系依次返回 -1、0 或者 +1（第一个参数小于第二个参数则返回负数）。该参数默认值为 None
key 是带一个参数的函数，用来为每个元素提取比较值，默认为 None（即直接比较每 个元素）
reverse 表示排序结果是否反转

sorted([1, 2, 3, 4, 5, 6, 7, 8, 9], key=lambda x: abs(5-x))是将每一个元素拿去计算得出和5的差距，然后再排序，所以含义就是计算每一个元素到5的距离从小到大的排序。返回值应该是[5, 4, 6, 3, 7, 2, 8, 1, 9]
2、解答：

filter是过滤器，过滤出能被3整除的数，注意如果没有 list() 类型转换将返回一个可迭代对象，这里返回值应该是[3]
3、解答：

返回[2, 3, 4]

插话阅读知乎文章笔记
文章地址：

DQN 从入门到放弃1 DQN与增强学习

DQN 从入门到放弃2 增强学习与MDP

DQN 从入门到放弃3 价值函数与Bellman方程

DQN 从入门到放弃4 动态规划与Q-Learning

DQN从入门到放弃5 深度解读DQN算法

DQN从入门到放弃6 DQN的各种改进

DQN从入门到放弃7 连续控制DQN算法-NAF

在增强学习的世界，我们相信如果输入是确定的，那么输出也一定是确定的。试想一下，有一个机械臂在练习掷筛子，以掷出6点作为目标。但是如果无论机械臂如何调整其关节的角度及扭矩，掷出的点数永远是随机的，那么无论如何也不可能通过算法使机械臂达成目标。因此，增强学习算法要有用，就是相信在增强学习中每一次参数的调整都会对世界造成确定性的影响。

未完待续…哎开学了静下心学习的机会不多了呀~
神经网络方法求解RL
为什么引入神经网络
前面学习了Q表格求解RL，但是Q表格毕竟是动作种类和状态种类数量较少的情况，像如果用强化学习来训练小人走路那么关节动作的角度是无穷个状态的情况，这个时候就不能用Q表格来解决问题，需要使用值函数来做逼近处理。




Q表格缺点
值函数近似的优点




表格可能占用极大的内存
仅需存储有限的参数


当表格较大时，查表效率低
状态泛化，相似的状态可以输出一样


DQN：使用神经网络求解RL问题的算法
本质：Q-learning

DQN算法两大创新点：




经验回放
固定Q目标




解决序列决策的样本关联问题
解决算法非平稳问题


解决样本利用率低的问题



解决序列决策的样本关联问题：

对于正常的监督学习的训练网络，样本之间是没有互相联系的关系的。但是强化学习是一个序列决策的问题，状态之间是相互连续的，因此需要打破数据间的关系。DQN利用off-policy的特点先存储了一批数据，然后打乱顺序从中选取一个小的batch的数据来更新网络这种方式既可以打乱数据间的相关性又可以使神经网络更有效率。

解决算法非平稳问题：

对于监督学习，输入x目的是让输出的y去逼近真实的y，这个真实值是固定的稳定的。但是强化学习的真实y是不定的，DQN让Q_target固定住然后定期拷贝神经网络的同步参数。—没咋听懂，核心应该是固定住Q目标

经验回放源码：


DQN代码实现
model.py:



algorithm.py


def sync_target(self):
	self.model.sync_weights_to(self.target_model)

def predict(self,obs):
	return self.model.value(obs)



首先拿到model.py里面传过来的模型
将该模型复制一份给target_model
使用sync_target函数将model的参数同步到target_model网络
使用predict函数返回网络输出值

。。。。。。有点看不明白了，先看实践
单摆游戏
运行：PARL\examples\tutorials\lesson3\dqn\train.py文件即可


代码分析
文件目录：