-
前端框架分类+作用
2020-06-17 15:38:11作用 解决了原始html,css,js的UI与数据状态之间同步的难题,...当组件中的状态发生改变时,在内存中计算出(新的)DOM 结构后与已有的 DOM 结构进行对比。这样会消耗很多资源。因而采取(将真实 DOM)映射为虚拟 DOM作用
- 解决了原始html,css,js的UI与数据状态之间同步的难题,避免了大量的操作DOM代码。
- 使用了React,Angular和Vue,我们只需要定义一次 UI 界面,不再需要为每个操作编写特定的 UI 代码,同时,每个相同的状态均有相同的输出:当状态改变后,框架自动更新(对应的)视图。
- 简单来说,前端框架就是已经搭建好了的web前端基本架构并且封装了一些功能比如html文档操作,漂亮的各种控件等,一般用于简化网页设计。当我们选择好某个前端框架进行项目开发时,只要添加自己需要的东西,就可以快速高效的完成网页的设计
分类
vue.js
- 优点:更轻量,单页面,简单易学
- 缺点:不支持IE8
Angular
- 优点:模块化功能强大、自定义directive非常灵活、双向数据绑定,依赖注入
- 缺点:比较笨重,学习成本高,不兼容IE6/7
react
- 优点:速度快、跨浏览器兼容、单向数据流、兼容性好
- 缺点:并不是一个完整的框架,需要加上ReactRouter和Flux才能完成。
比较 Angular、React、Vue
https://juejin.im/post/5a0d5df1f265da43062a542f
主流的前端框架排行
第一名:Angular框架
第二名:React框架
第三名:Vue
-
回归问题的本质与激活函数的作用
2019-12-03 15:09:37特征矩阵X点乘权重矩阵W后,生成了对应的预测值Y’,通过最小二乘法或者梯度下降法(对W求导),不断对比预测值Y’和真实值Y的误差值LOSS,调整W,使得LOSS值最小。 多项式回归: 和一元或多元线性回归类似,不过X是...一元或多元线性回归:
特征矩阵X点乘权重矩阵W后,生成了对应的预测值Y’,通过最小二乘法或者梯度下降法(对W求导),不断对比预测值Y’和真实值Y的误差值LOSS,调整W,使得LOSS值最小。
多项式回归(非线性回归):
和一元或多元线性回归类似,不过X是先经过一定的特征处理,在保留原特征的同时,根据原特征新增部分的特征(x的n次方)。由于神经元之间传递是线性的,非线性的传递需要由激活函数去实现。
激活函数的作用:
解决我们日常生活中不能用线性方程概括的问题。
假设面对分类问题,预测值Y’无法直接通过X点乘权重矩阵W直接得到,再X点乘权重矩阵W后再经过特定的激活函数,生成具备一定特征的结果值,这里设为K,K再经过一定的判断后,就可以得到预测值Y’。例如:sigmoid函数,把XW转为0到1之间的数,然后可以自定义判断,比如大于0.5为A类,小于或等于0.5为B类。
-
关于命名实体识别的方法对比总结与原理初探
2020-11-07 15:39:03BERT中demo:如图两个句子的分类任务(MNLI\QQP\QNLI\STS-B\MRPC\RTE\SWAG),单句的分类任务(SST-2\CoLA);问答任务(SQuAD v1.1);单句序列标注任务(CoNLL-2003 NER) 一、BERT 原理初探 原文下载地址:...主要作用 优点 缺点 BERT BILSTM BIGRU BERT中demo:如图两个句子的分类任务(MNLI\QQP\QNLI\STS-B\MRPC\RTE\SWAG),单句的分类任务(SST-2\CoLA);问答任务(SQuAD v1.1);单句序列标注任务(CoNLL-2003 NER),Google在很多任务上都做了测试,显示出了较好的性能。(预训练机制、微调机制??)
一、BERT 原理初探
原文下载地址:https://arxiv.org/pdf/1810.04805.pdf
参考阅读笔记:https://zhuanlan.zhihu.com/p/46652512 ;https://www.jianshu.com/p/4cb1f255cd7c ;https://www.cnblogs.com/rucwxb/p/10277217.html
上下文相关 模型 预测目标 下游具体任务 负采样 级别 BERT T
transformer masked 不需要encording T sentence-level Word2vec F
skip-gram/CBOW next-word
需要encording T word-level Bidirectional Encoder Representations from Transformers(双向transformer编码表示)看名字知道他是内含Transformers模型的,当我们将其用在某些NLP任务中时,姑且可以把他看作是一个词嵌入(将不可计算非结构的词转化为可计算结构化的向量)的过程。这是BERT在我理解就是一个将词转换成为词向量的工具,但是他又优于word2vec的词向量方式。word2vec的词向量是考虑离得近的词关系大,离得远的词关系小,但是并不考虑词的顺序问题,是一种静态的(啥叫静态啥叫动态)方式,并且词与向量是一一对应的关系,无法解决一词多义的现象。BERT对词向量的考虑兼顾字、词、句子,甚至是句子之间的关系。
Transformer 是一种注意力机制,可以学习文本中单词之间的上下文关系的,因此该模型中也是含有attention机制的。
(一) Embeddding
模型的输入embeddding由三个部分组成:基于词级别的词向量、基于位置的向量、基于句子的向量。
至于为啥可以直接相加,请自行百度。
BERT中的亮点操作:Masked LM、transformer、sentence-level。
(二)Masked LM
意思就是在语料库中随机的将一些词token进行mask遮盖,这里的遮盖比例是每一次mask语料的15%,对这15%的语料如何进行mask呢?规则是随机的以一定的概率进行mask,80%的概率用【mask】标记来mask,10%的概率随便找个词来mask,10%的概率这个词没变。那么mask之后要进行对该位置的词进行预测了,去判断这个位置的词对不对。这一阶段的输入和输出是一样的,但是增强了句子的特征(通过加入噪声进行强化,咋感觉有点强化学习的感觉)
我们可以看到在mask时还有一个符号【CLS】可以看作是对后续的每一个词进行的总的向量,是能够代表整个句子的。有利于下游任务的完成。这里的loss是只考虑被mask的部分的。
“因为序列长度太大(512)会影响训练速度,所以90%的steps都用seq_len=128训练,余下的10%步数训练512长度的输入。”
(三)transformer
(这个图是transformer不是BERT!不是不是!!!)
【输入嵌入向量--transformer encoder(负责文本输入) -- 输入向量 --- transformer decoder(负责文本预测) -- 输出预测】
在BERT中只需要生成语言模型,所以在BERT中只用得到transformer的encoder部分(即左边部分)
在transformer中输入一个向量进行嵌入(粉色框)将词嵌入与位置嵌入结合进行下一步。Nx框指的分别是encoder(左)和decodder(右)。橙色框(Multi-Head Attention)是transformer的多头自注意力机制,黄色框(ADD&Norm)是归一化操作。在进入encoder阶段时,词向量分为两步进行,一边进行了多头注意力,另一边多头注意力的向量又与原向量一起进行归一化步骤,这一步可以看作是增加了残差连接,防止了过程中的偏差。接下来的过程仍然是分为两部进行,一边是前馈神经网络feed forword,一边结合这一步的输入进行归一化处理。
在自注意力机制中,每个词对应3个不同的向量,它们分别是 Query 向量(Q)、Key 向量(K)和 Value 向量(V),长度相同,由嵌入向量乘以三个不同的权值矩阵wq、wk、wv得到。 每个词的重要度score由Query向量和Key向量相乘而得: score = Q·K 。 Attention值通过使用SoftMax对score作平滑而得,平滑后的结果与Value向量相乘:
其中:Q ∈ RN × dk ,K ∈ Rm × dk ,V ∈ Rm × dv ,dk 为 Q、K 的一个维度, dk 为惩罚因子,确保 Q、K 的内积不至于过大。通过 self-attention操作,原输入矩阵Q(RN × dk )变成了新矩阵Q'(RN × dv )。 实际使用中,一般先通过注意力机制计算注意力包含注意力的编码向量Z,然后将Z送入前馈神经网络层,用作训练下游任务,即:
BERT 预训练模型使用了由多个自注意力机制构成的多头注意力机制(multihead-attention),用于获取句子级别的语义信息。
为解决深度神经网络训练困难的问题,Transformer 模块 还使用了“短路连接”[13] 和“层归一化”[14] 方法。“短路连接”是残差网络中常使用的方法,它的思路是将前 一层信息无差地传递到下一层从而解决深度神经网络中梯度消失问题;“层归一化”是指对每一层的激活值进行归一化处理,这样可以加速模型训练过程,使得模型尽快收敛。 【来自论文《基于BERT的警情文本命名实体识别》】
(四) sentence-level
这一步是用来判断两句话谁在前谁在后的
此时在两个句子之间加了一个【SEP】,这个符号仅仅是用来区分句子的。最终的loss也是来源于两种训练方法叠加的一个loss。 在训练 BERT 模型时,Masked LM 和 Next Sentence Prediction 是一起训练的,目标就是要最小化两种策略的组合损失函数。
(五)Fine-turning(微调)
“
可以调整的参数和取值范围有:
- Batch size: 16, 32
- Learning rate (Adam): 5e-5, 3e-5, 2e-5
- Number of epochs: 3, 4
因为大部分参数都和预训练时一样,精调会快一些,所以作者推荐多试一些参数。
”
-
sigmod 函数与softmax 函数对比
2019-12-23 07:03:19sigmod 函数与softmax 函数之间既有类似,又有差异,是两种典型的深度神经网络的activation functions。通俗而言,sigmod 函数常用于二分类,softmax 函数常用于多分类。两者都起到了压缩的作用。 sigmoid函数(也叫...sigmod 函数与softmax 函数之间既有类似,又有差异,是两种典型的深度神经网络的activation functions。通俗而言,sigmod 函数常用于二分类,softmax 函数常用于多分类。两者都起到了压缩的作用。
sigmoid函数(也叫逻辑斯谛函数)
引用wiki百科的定义:
A logistic function or logistic curve is a common “S” shape (sigmoid curve).
其实逻辑斯谛函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线。logistic曲线如下:
softmax 函数
同样,我们贴一下wiki百科对softmax函数的定义:
softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.
这句话既表明了softmax函数与logistic函数的关系,也同时阐述了softmax函数的本质就是将一个K
维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。
softmax函数形式如下:
总结:sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1,1)),这样可以用来做二分类。
而softmax把一个k维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务,如取权重最大的一维。
参考:
https://www.cnblogs.com/charlesblc/p/6750290.html
http://blog.csdn.net/u014422406/article/details/52805924 -
Rocksdb 与 TitanDb 原理分析 及 性能对比测试
2020-05-18 00:17:13文章目录前言Rocksdb的compaction机制compaction作用compaction分类level style compaction(rocksdb 默认进行的compaction策略)level 的文件存储结构compaction过程compaction中的level target sizeuniversal ... -
室内定位技术:分类、方法与应用综述
2016-09-02 16:34:46本文对国内外室内定位技术的研究现状进行了分析与总结,首先详细介绍了目前主流的室内定位技术的定位原理与最新发展,对比分析了定位精度、相对成本与优缺点,然后总结与分析室内定位技术的分类体系与定位方法,最后... -
Supplement 卷积神经网络的图像分类方法
2021-02-08 16:20:43然后传递至下一层, 增加前向传播的特征信息, 影响反向传播算法的权值更新, 以有利于图像的分类; 最后通过实验阐述了 Supplement CNN 模型受网络层数的影响情况. 与传统的 CNN 及部分扩展模型进行对比实验的结果表明... -
基于目标分解的面向对象决策树PolSAR影像分类
2020-05-16 22:41:34为了解决极化合成孔径雷达(Polarization Synthetic Aperture ...采用RADARSAT-2全极化SAR数据进行实验,并将分类结果与经典的分类方法进行了对比,证明了本文提出方法的有效性.该成果将在PolSAR影像分类中发挥更大的作用. -
摄影光学与镜头pdf_光学镜头概述及分类.pdf
2020-12-24 15:00:58镜头是机器视觉系统中的重要组件,对成像质量有着关键性的作用,它对成像质量的几个最主要指标都有影响,包括:分辨率、对比度、景深及各种像差。镜头不仅种类繁多,而且质量差异也非常大,但一般用户在进行系统设计... -
基于非线性相关系数核方法的超谱数据分类
2021-02-10 08:39:01针对一对一策略的支持向量机算法进行了加权改造,提出一种新的基于非线性相关系数的核方法,在没有地物真实参考图的情况下进一步提高了超谱数据的分类精度。该方法考虑到遥感超谱数据信息依波段分布不均匀的特性,... -
三种数据标准化方法的对比:StandardScaler、MinMaxScaler、RobustScaler
2020-05-28 14:56:03一、数据标准化 / 归一化的作用 提升模型精度:标准化 / 归一化使不同维度的特征在数值上更具比较性,提高分类器的准确性。 提升收敛速度:对于线性模型,数据归一化使梯度下降过程更加平缓,更易正确的收敛到最优... -
jvm中的变量分类-类加载
2020-11-17 15:33:54变量的分类: 按照数据类型分: 基本数据类型 引用数据类型 按照在类中声明的位置分: 成员变量:在使用前,都经历过默认初始化赋值 类变量:linking的prepare阶段:给类变量默认赋值 —》initial阶段:给类... -
论文研究-基于兴趣域检测的空间金字塔匹配图像分类.pdf
2019-09-08 00:19:44在图像分类过程中,一个图像区域内起着决定性作用的对象位置和大小都不确定,直接使用空间金字塔匹配算法的分类准确率并不高。为此,提出了一种基于兴趣域检测的空间金字塔匹配方法可以有效改善分类准确率。首先利用... -
R 语言 基础教程 第6章 分类与预测建模(1)朴素贝叶斯分类,KNN算法,人工神经网络,CART算法,C4.5算法,...
2020-07-05 13:01:16分类与测分析是数据挖掘的主要技术手段之一,都属于分析数据的形式,至今已在理论和方法上取得了丰硕的研究成果。 1.回归分析 数据分析概念 数据分析是指用适当的分析方法对收集来的大量数据进行分析,提取有用信息和... -
bert 中文 代码 谷歌_CAIL2020司法考试模型中BERT预训练语言模型的作用分析
2020-12-16 02:53:57BERT的编码作用已经在BERT论文中充分证明。...接着分析了百万京东对话预训练BERT语言模型与谷歌中文BERT语言模型的效果对比。图1 司法考试二分类模型结构 第一版改造后的模型利用了BERT中文模型,如图1黄色所示,使... -
论文研究-肿瘤类疾病的过度与错误医疗检查控制机制与模型的研究.pdf
2019-07-22 21:10:04针对当前肿瘤类疾病诊治过程中存在...该方案能及时发现错误与过度医疗问题并提出预警,发挥监督提醒的作用,在实现预防和避免诊治错误的同时减少对人工鉴别的依赖,为错误医疗问题及减轻患者负担提供一种新的解决途径。 -
基于主题模型的垃圾邮件过滤系统的设计与实现
2021-01-19 18:45:34垃圾邮件过滤技术在保证信息安全、提高资源利用、分拣信息数据等方面都...通过与其他典型垃圾邮件过滤方法的对比实验,证明基于主题模型的垃圾邮件分类方法及基于Word2Vec的改进方法均能有效提高垃圾邮件过滤的准确度。 -
论文阅读:蛋白质作用预测
2019-12-09 22:17:03从多种异构相互作用网络中提取高级特征,使用random walk with restarts(可以回到原点的随机游走) 与 positive pointwise mutual information将network转化为vector,输入到自编码器中学习其低维表示最后使用svm来... -
大数据应用导论 Chapter02 | 大数据的采集与清洗
2020-03-25 09:15:07Chapter2 | 大数据的采集与清洗一、数据采集的方法1、传感器1.1、传感器主要应用1.2、传感器的功能2、日志系统3、网络爬虫3.1、爬虫的作用3.2、爬虫的分类3.3、爬虫的框架二、数据采集的工具1、日志系统 Flume1.1、... -
论文研究 - 不同认知水平儿童认知功能与运动协调的相关性
2020-05-30 04:26:28采用等级方差分析(Kruskal-Wallis非参数检验)和Mann-Whitney U配对比较以及邓恩对多个对比的校正来评估关于两种结果的差异。 皮尔逊乘积矩相关系数用于计算物理性能与认知测验结果之间的相关性。 当违反正态性... -
node.js实现http服务器与浏览器之间的内容缓存操作示例
2020-12-20 09:55:40二、缓存的分类 1、强制缓存,如果缓存有效,则不需要与服务器发生交互,直接使用缓存。 2、对比缓存,每次都需要与服务器发生交互,对缓存进行比较判断是否可以使用缓存。 三、通过使用 Last-Modified / If-... -
【数据挖掘学习笔记】5.分类基础
2018-06-22 22:34:34一、特征与分类特征作用数据库通常存放大量的细节数据。然而,用户通常希望以简洁的描述形式观察汇总的数据集提供一类数据的概貌,或将它与对比类相区别方便、灵活地以不同的粒度和从不同的角度描述数据集概念描述... -
ISOCOM介绍以及对比(Avago,Vishay,TOSHIBA)等其他品牌。
2019-01-12 14:38:17本文仅代表个人观点,与其他人...ISOCOM光耦的分类 一、按功能分 1、普通光耦(只有隔离的作用) 2、高速光耦(具备数据传输的作用) 3、驱动光耦(除数据传输外还具有驱动IPM的作用) 二、按封装分 1、... -
node.js中实现http服务器与浏览器之间的内容缓存
2019-01-14 17:38:00二、缓存的分类 1、强制缓存,如果缓存有效,则不需要与服务器发生交互,直接使用缓存。 2、对比缓存,每次都需要与服务器发生交互,对缓存进行比较判断是否可以使用缓存。 三、通过使用Last-Modified / If-... -
nodejs 中public文件夹作用初探
2018-11-16 18:21:54... 2018年10月27日 20:01:23 liji_digital 阅读数:43 标签: nodejs 更多 ...本篇博客对比两个nodejs实例,一个实例将index.html放在与index.js相同的文件夹下;而另一个实例则建立一个与index.js同... -
Tensorflow-keras关于分类问题、回归问题、损失函数理论部分
2020-10-22 15:48:29keras可以处理问题类型:{分类问题、回归问题、损失函数} 什么是分类问题: 用于多元分类(一般大于三类),预测的是类别,模型输出...1.需要衡量目标类别与当前预测的差距如(【0.2,0.7,0.1】) 真实类别为2-——&g -
VUE之组件(基础、分类、命名)
2019-10-22 14:29:53组件( Component )是 Vue.js 最核心的功能,Vue.js的组件就是提高重用性的,让代码可复用。...②局部组件:只有在该实例作用域下有效(对比全局与局部变量记忆) 组件注册-全局 语法: my-component ... -
论文研究-分维和孔隙度在肝癌超声纹理识别中协同作用.pdf
2019-09-07 02:26:12用SVM对单因子和组合因子进行训练和检验表明,傅里叶功率谱分维与盒柱平均值孔隙度(FPS LBCM)(4个核)和差分盒计数分维与盒柱平均值孔隙度(DBC LBCM)(除SIGMOID外)构成的组合因子有比单因子较高的分类准确率...
-
java泛型类使用_java泛型类的定义与使用详解
-
Amoeba 实现 MySQL 高可用、负载均衡和读写分离
-
Docker从入门到精通
-
2021年 系统分析师 系列课
-
Vue3.0+ElementPlus+Koa2搭一个全栈后台管理模板项目!!!!!
-
druid监控页面授权
-
acm常用模板.rar
-
TL1788_V0.8_20060401.pdf
-
Redis缓存穿透、缓存雪崩、缓存击穿好好说说
-
第三阶段目录.docx
-
java泛型的作用和实现原理_【系列】重新认识Java——泛型(基础、使用和实现原理)...
-
ISO7816 APDU标准 英文版
-
filetype all java试卷_JAVA期末考试试卷1.pdf
-
MySQL 性能优化(思路拓展及实操)
-
ELF视频教程
-
使用navicat连接ORACLEO出现错误 : RA-12514: TNS:监听程序当前无法识别连接描述符中请求的服务
-
爬取咪哩咪哩动漫视频
-
uci1960c_a0.1.pdf
-
java泛型实现方法_Java泛型的实现方法:类型擦除
-
【爱码农】C#制作MDI文本编辑器