文章目录
作用
分类
vue.js
Angular
react
比较 Angular、React、Vue
主流的前端框架排行
第一名：Angular框架
第二名：React框架
第三名：Vue

作用

解决了原始html，css，js的UI与数据状态之间同步的难题，避免了大量的操作DOM代码。
使用了React，Angular和Vue，我们只需要定义一次 UI 界面，不再需要为每个操作编写特定的 UI 代码，同时，每个相同的状态均有相同的输出：当状态改变后，框架自动更新（对应的）视图。
简单来说，前端框架就是已经搭建好了的web前端基本架构并且封装了一些功能比如html文档操作，漂亮的各种控件等，一般用于简化网页设计。当我们选择好某个前端框架进行项目开发时，只要添加自己需要的东西，就可以快速高效的完成网页的设计

分类
vue.js

优点：更轻量，单页面，简单易学
缺点：不支持IE8

Angular

优点：模块化功能强大、自定义directive非常灵活、双向数据绑定，依赖注入
缺点：比较笨重，学习成本高，不兼容IE6/7

react

优点：速度快、跨浏览器兼容、单向数据流、兼容性好
缺点：并不是一个完整的框架，需要加上ReactRouter和Flux才能完成。

比较 Angular、React、Vue
https://juejin.im/post/5a0d5df1f265da43062a542f
主流的前端框架排行
第一名：Angular框架
第二名：React框架
第三名：Vue
参考资料：

https://www.cnblogs.com/liangqingshan/p/10954800.html

一元或多元线性回归：
特征矩阵X点乘权重矩阵W后，生成了对应的预测值Y’，通过最小二乘法或者梯度下降法（对W求导）,不断对比预测值Y’和真实值Y的误差值LOSS，调整W，使得LOSS值最小。
多项式回归（非线性回归）：
和一元或多元线性回归类似，不过X是先经过一定的特征处理，在保留原特征的同时，根据原特征新增部分的特征（x的n次方）。由于神经元之间传递是线性的，非线性的传递需要由激活函数去实现。
激活函数的作用：
解决我们日常生活中不能用线性方程概括的问题。
假设面对分类问题，预测值Y’无法直接通过X点乘权重矩阵W直接得到，再X点乘权重矩阵W后再经过特定的激活函数，生成具备一定特征的结果值,这里设为K，K再经过一定的判断后，就可以得到预测值Y’。例如：sigmoid函数，把XW转为0到1之间的数，然后可以自定义判断，比如大于0.5为A类，小于或等于0.5为B类。

 
			
主要作用
			
优点
			
缺点
		
BERT
			
 
			
 
			
 
		
BILSTM
			
 
			
 
			
 
		
BIGRU
			
 
			
 
			
 
		
BERT中demo：如图两个句子的分类任务（MNLI\QQP\QNLI\STS-B\MRPC\RTE\SWAG),单句的分类任务（SST-2\CoLA);问答任务（SQuAD v1.1）；单句序列标注任务（CoNLL-2003 NER)，Google在很多任务上都做了测试，显示出了较好的性能。（预训练机制、微调机制？？）



 

一、BERT 原理初探

原文下载地址：https://arxiv.org/pdf/1810.04805.pdf

参考阅读笔记：https://zhuanlan.zhihu.com/p/46652512 ；https://www.jianshu.com/p/4cb1f255cd7c ；https://www.cnblogs.com/rucwxb/p/10277217.html

 
			
上下文相关
			
模型
			
预测目标
			
下游具体任务
			
负采样
			
级别
		
BERT
			

			
         T
			
			
transformer
			
masked
			
不需要encording
			
T
			
sentence-level
		
Word2vec
			

			
         F
			
			
skip-gram/CBOW
			

			
next-word
			
			
需要encording
			
T
			
word-level
		
Bidirectional Encoder Representations from Transformers（双向transformer编码表示）看名字知道他是内含Transformers模型的，当我们将其用在某些NLP任务中时，姑且可以把他看作是一个词嵌入（将不可计算非结构的词转化为可计算结构化的向量）的过程。这是BERT在我理解就是一个将词转换成为词向量的工具，但是他又优于word2vec的词向量方式。word2vec的词向量是考虑离得近的词关系大，离得远的词关系小，但是并不考虑词的顺序问题，是一种静态的（啥叫静态啥叫动态）方式，并且词与向量是一一对应的关系，无法解决一词多义的现象。BERT对词向量的考虑兼顾字、词、句子，甚至是句子之间的关系。

Transformer 是一种注意力机制，可以学习文本中单词之间的上下文关系的，因此该模型中也是含有attention机制的。



(一) Embeddding

模型的输入embeddding由三个部分组成：基于词级别的词向量、基于位置的向量、基于句子的向量。



至于为啥可以直接相加，请自行百度。 



BERT中的亮点操作：Masked LM、transformer、sentence-level。

（二）Masked LM

意思就是在语料库中随机的将一些词token进行mask遮盖，这里的遮盖比例是每一次mask语料的15%，对这15%的语料如何进行mask呢？规则是随机的以一定的概率进行mask，80%的概率用【mask】标记来mask，10%的概率随便找个词来mask，10%的概率这个词没变。那么mask之后要进行对该位置的词进行预测了，去判断这个位置的词对不对。这一阶段的输入和输出是一样的，但是增强了句子的特征（通过加入噪声进行强化，咋感觉有点强化学习的感觉）





我们可以看到在mask时还有一个符号【CLS】可以看作是对后续的每一个词进行的总的向量，是能够代表整个句子的。有利于下游任务的完成。这里的loss是只考虑被mask的部分的。

“因为序列长度太大（512）会影响训练速度，所以90%的steps都用seq_len=128训练，余下的10%步数训练512长度的输入。”

（三）transformer



（这个图是transformer不是BERT！不是不是！！！）

【输入嵌入向量--transformer encoder（负责文本输入） -- 输入向量 --- transformer decoder（负责文本预测） --  输出预测】

在BERT中只需要生成语言模型，所以在BERT中只用得到transformer的encoder部分（即左边部分)

在transformer中输入一个向量进行嵌入（粉色框）将词嵌入与位置嵌入结合进行下一步。Nx框指的分别是encoder（左）和decodder（右）。橙色框（Multi-Head Attention）是transformer的多头自注意力机制，黄色框（ADD&Norm）是归一化操作。在进入encoder阶段时，词向量分为两步进行，一边进行了多头注意力，另一边多头注意力的向量又与原向量一起进行归一化步骤，这一步可以看作是增加了残差连接，防止了过程中的偏差。接下来的过程仍然是分为两部进行，一边是前馈神经网络feed forword，一边结合这一步的输入进行归一化处理。



       在自注意力机制中，每个词对应3个不同的向量，它们分别是 Query 向量（Q）、Key 向量（K）和 Value 向量（V），长度相同，由嵌入向量乘以三个不同的权值矩阵wq、wk、wv得到。 每个词的重要度score由Query向量和Key向量相乘而得： score = Q·K  。 Attention值通过使用SoftMax对score作平滑而得，平滑后的结果与Value向量相乘：



其中：Q ∈ RN × dk ，K ∈ Rm × dk ，V ∈ Rm × dv ，dk 为 Q、K 的一个维度， dk 为惩罚因子，确保 Q、K 的内积不至于过大。通过 self-attention操作，原输入矩阵Q(RN × dk )变成了新矩阵Q'(RN × dv )。 实际使用中，一般先通过注意力机制计算注意力包含注意力的编码向量Z，然后将Z送入前馈神经网络层，用作训练下游任务，即：



BERT 预训练模型使用了由多个自注意力机制构成的多头注意力机制（multihead-attention），用于获取句子级别的语义信息。



为解决深度神经网络训练困难的问题，Transformer 模块 还使用了“短路连接”［13］ 和“层归一化”［14］ 方法。“短路连接”是残差网络中常使用的方法，它的思路是将前 一层信息无差地传递到下一层从而解决深度神经网络中梯度消失问题；“层归一化”是指对每一层的激活值进行归一化处理，这样可以加速模型训练过程，使得模型尽快收敛。 【来自论文《基于BERT的警情文本命名实体识别》】

 

  (四)  sentence-level

这一步是用来判断两句话谁在前谁在后的



此时在两个句子之间加了一个【SEP】，这个符号仅仅是用来区分句子的。最终的loss也是来源于两种训练方法叠加的一个loss。 在训练 BERT 模型时，Masked LM 和 Next Sentence Prediction 是一起训练的，目标就是要最小化两种策略的组合损失函数。

（五）Fine-turning（微调）



“

可以调整的参数和取值范围有：

Batch size: 16, 32
	
Learning rate (Adam): 5e-5, 3e-5, 2e-5
	
Number of epochs: 3, 4
因为大部分参数都和预训练时一样，精调会快一些，所以作者推荐多试一些参数。

”

 

 

 

 

sigmod 函数与softmax 函数之间既有类似，又有差异，是两种典型的深度神经网络的activation functions。通俗而言，sigmod 函数常用于二分类，softmax 函数常用于多分类。两者都起到了压缩的作用。
sigmoid函数（也叫逻辑斯谛函数）
引用wiki百科的定义：
A logistic function or logistic curve is a common “S” shape (sigmoid curve).



　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。
logistic曲线如下：


softmax 函数
同样，我们贴一下wiki百科对softmax函数的定义：
softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.
这句话既表明了softmax函数与logistic函数的关系，也同时阐述了softmax函数的本质就是将一个K

维的任意实数向量压缩（映射）成另一个K
维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。
softmax函数形式如下：

　　

总结：sigmoid将一个real value映射到（0,1）的区间（当然也可以是（-1,1）），这样可以用来做二分类。

而softmax把一个k维的real value向量（a1,a2,a3,a4….）映射成一个（b1,b2,b3,b4….）其中bi是一个0-1的常数，然后可以根据bi的大小来进行多分类的任务，如取权重最大的一维。

参考：

https://www.cnblogs.com/charlesblc/p/6750290.html

http://blog.csdn.net/u014422406/article/details/52805924