精华内容
下载资源
问答
  • 前端框架分类+作用

    2020-06-17 15:38:11
    作用 解决了原始html,css,jsUI数据状态之间同步难题,...当组件中状态发生改变时,在内存中计算出(新)DOM 结构后已有 DOM 结构进行对比。这样会消耗很多资源。因而采取(将真实 DOM)映射为虚拟 DOM

    作用

    • 解决了原始html,css,js的UI与数据状态之间同步的难题,避免了大量的操作DOM代码。
    • 使用了React,Angular和Vue,我们只需要定义一次 UI 界面,不再需要为每个操作编写特定的 UI 代码,同时,每个相同的状态均有相同的输出:当状态改变后,框架自动更新(对应的)视图。
    • 简单来说,前端框架就是已经搭建好了的web前端基本架构并且封装了一些功能比如html文档操作,漂亮的各种控件等,一般用于简化网页设计。当我们选择好某个前端框架进行项目开发时,只要添加自己需要的东西,就可以快速高效的完成网页的设计

    分类

    vue.js

    • 优点:更轻量,单页面,简单易学
    • 缺点:不支持IE8

    Angular

    • 优点:模块化功能强大、自定义directive非常灵活、双向数据绑定,依赖注入
    • 缺点:比较笨重,学习成本高,不兼容IE6/7

    react

    • 优点:速度快、跨浏览器兼容、单向数据流、兼容性好
    • 缺点:并不是一个完整的框架,需要加上ReactRouter和Flux才能完成。

    比较 Angular、React、Vue

    https://juejin.im/post/5a0d5df1f265da43062a542f

    主流的前端框架排行

    第一名:Angular框架
    第二名:React框架
    第三名:Vue

    参考资料:
    https://www.cnblogs.com/liangqingshan/p/10954800.html

    展开全文
  • 特征矩阵X点乘权重矩阵W后,生成了对应预测值Y’,通过最小二乘法或者梯度下降法(对W求导),不断对比预测值Y’和真实值Y误差值LOSS,调整W,使得LOSS值最小。 多项式回归: 和一元或多元线性回归类似,不过X是...

    一元或多元线性回归:

    特征矩阵X点乘权重矩阵W后,生成了对应的预测值Y’,通过最小二乘法或者梯度下降法(对W求导),不断对比预测值Y’和真实值Y的误差值LOSS,调整W,使得LOSS值最小。

    多项式回归(非线性回归):

    和一元或多元线性回归类似,不过X是先经过一定的特征处理,在保留原特征的同时,根据原特征新增部分的特征(x的n次方)。由于神经元之间传递是线性的,非线性的传递需要由激活函数去实现。

    激活函数的作用:

    解决我们日常生活中不能用线性方程概括的问题。

    假设面对分类问题,预测值Y’无法直接通过X点乘权重矩阵W直接得到,再X点乘权重矩阵W后再经过特定的激活函数,生成具备一定特征的结果值,这里设为K,K再经过一定的判断后,就可以得到预测值Y’。例如:sigmoid函数,把XW转为0到1之间的数,然后可以自定义判断,比如大于0.5为A类,小于或等于0.5为B类。

    展开全文
  • BERT中demo:如图两个句子的分类任务(MNLI\QQP\QNLI\STS-B\MRPC\RTE\SWAG),单句的分类任务(SST-2\CoLA);问答任务(SQuAD v1.1);单句序列标注任务(CoNLL-2003 NER) 一、BERT 原理初探 原文下载地址:...
      主要作用 优点 缺点
    BERT      
    BILSTM      
    BIGRU      

    BERT中demo:如图两个句子的分类任务(MNLI\QQP\QNLI\STS-B\MRPC\RTE\SWAG),单句的分类任务(SST-2\CoLA);问答任务(SQuAD v1.1);单句序列标注任务(CoNLL-2003 NER),Google在很多任务上都做了测试,显示出了较好的性能。(预训练机制、微调机制??)

     

    一、BERT 原理初探

    原文下载地址:https://arxiv.org/pdf/1810.04805.pdf

    参考阅读笔记:https://zhuanlan.zhihu.com/p/46652512https://www.jianshu.com/p/4cb1f255cd7chttps://www.cnblogs.com/rucwxb/p/10277217.html

      上下文相关 模型 预测目标 下游具体任务 负采样 级别
    BERT

             T

    transformer masked 不需要encording T sentence-level
    Word2vec

             F

    skip-gram/CBOW

    next-word

    需要encording T word-level

    Bidirectional Encoder Representations from Transformers(双向transformer编码表示)看名字知道他是内含Transformers模型的,当我们将其用在某些NLP任务中时,姑且可以把他看作是一个词嵌入(将不可计算非结构的词转化为可计算结构化的向量)的过程。这是BERT在我理解就是一个将词转换成为词向量的工具,但是他又优于word2vec的词向量方式。word2vec的词向量是考虑离得近的词关系大,离得远的词关系小,但是并不考虑词的顺序问题,是一种静态的(啥叫静态啥叫动态)方式,并且词与向量是一一对应的关系,无法解决一词多义的现象。BERT对词向量的考虑兼顾字、词、句子,甚至是句子之间的关系。

    Transformer 是一种注意力机制,可以学习文本中单词之间的上下文关系的,因此该模型中也是含有attention机制的。

    (一) Embeddding

    模型的输入embeddding由三个部分组成:基于词级别的词向量、基于位置的向量、基于句子的向量。

    至于为啥可以直接相加,请自行百度。 

    BERT中的亮点操作:Masked LM、transformer、sentence-level。

    (二)Masked LM

    意思就是在语料库中随机的将一些词token进行mask遮盖,这里的遮盖比例是每一次mask语料的15%,对这15%的语料如何进行mask呢?规则是随机的以一定的概率进行mask,80%的概率用【mask】标记来mask,10%的概率随便找个词来mask,10%的概率这个词没变。那么mask之后要进行对该位置的词进行预测了,去判断这个位置的词对不对。这一阶段的输入和输出是一样的,但是增强了句子的特征(通过加入噪声进行强化,咋感觉有点强化学习的感觉)

    我们可以看到在mask时还有一个符号【CLS】可以看作是对后续的每一个词进行的总的向量,是能够代表整个句子的。有利于下游任务的完成。这里的loss是只考虑被mask的部分的。

    “因为序列长度太大(512)会影响训练速度,所以90%的steps都用seq_len=128训练,余下的10%步数训练512长度的输入。”

    (三)transformer

    (这个图是transformer不是BERT!不是不是!!!)

    输入嵌入向量--transformer encoder(负责文本输入) -- 输入向量 --- transformer decoder(负责文本预测) --  输出预测】

    在BERT中只需要生成语言模型,所以在BERT中只用得到transformer的encoder部分(即左边部分)

    在transformer中输入一个向量进行嵌入(粉色框)将词嵌入与位置嵌入结合进行下一步。Nx框指的分别是encoder(左)和decodder(右)。橙色框(Multi-Head Attention)是transformer的多头自注意力机制,黄色框(ADD&Norm)是归一化操作。在进入encoder阶段时,词向量分为两步进行,一边进行了多头注意力,另一边多头注意力的向量又与原向量一起进行归一化步骤,这一步可以看作是增加了残差连接,防止了过程中的偏差。接下来的过程仍然是分为两部进行,一边是前馈神经网络feed forword,一边结合这一步的输入进行归一化处理。

           在自注意力机制中,每个词对应3个不同的向量,它们分别是 Query 向量(Q)、Key 向量(K)和 Value 向量(V),长度相同,由嵌入向量乘以三个不同的权值矩阵wq、wk、wv得到。 每个词的重要度score由Query向量和Key向量相乘而得: score = Q·K  。 Attention值通过使用SoftMax对score作平滑而得,平滑后的结果与Value向量相乘:

    其中:Q ∈ RN × dk ,K ∈ Rm × dk ,V ∈ Rm × dv ,dk 为 Q、K 的一个维度, dk 为惩罚因子,确保 Q、K 的内积不至于过大。通过 self-attention操作,原输入矩阵Q(RN × dk )变成了新矩阵Q'(RN × dv )。 实际使用中,一般先通过注意力机制计算注意力包含注意力的编码向量Z,然后将Z送入前馈神经网络层,用作训练下游任务,即:

    BERT 预训练模型使用了由多个自注意力机制构成的多头注意力机制(multihead-attention),用于获取句子级别的语义信息。

    为解决深度神经网络训练困难的问题,Transformer 模块 还使用了“短路连接”[13] 和“层归一化”[14] 方法。“短路连接”是残差网络中常使用的方法,它的思路是将前 一层信息无差地传递到下一层从而解决深度神经网络中梯度消失问题;“层归一化”是指对每一层的激活值进行归一化处理,这样可以加速模型训练过程,使得模型尽快收敛。 【来自论文《基于BERT的警情文本命名实体识别》】

     

      (四)  sentence-level

    这一步是用来判断两句话谁在前谁在后的

    此时在两个句子之间加了一个【SEP】,这个符号仅仅是用来区分句子的。最终的loss也是来源于两种训练方法叠加的一个loss。 在训练 BERT 模型时,Masked LM 和 Next Sentence Prediction 是一起训练的,目标就是要最小化两种策略的组合损失函数。

    (五)Fine-turning(微调)

    可以调整的参数和取值范围有:

    • Batch size: 16, 32
    • Learning rate (Adam): 5e-5, 3e-5, 2e-5
    • Number of epochs: 3, 4

    因为大部分参数都和预训练时一样,精调会快一些,所以作者推荐多试一些参数。

     

     

     

     

    展开全文
  • sigmod 函数softmax 函数之间既有类似,又有差异,是两种典型深度神经网络activation functions。通俗而言,sigmod 函数常用于二分类,softmax 函数常用于多分类。两者都起到了压缩的作用。 sigmoid函数(也叫...

    sigmod 函数与softmax 函数之间既有类似,又有差异,是两种典型的深度神经网络的activation functions。通俗而言,sigmod 函数常用于二分类,softmax 函数常用于多分类。两者都起到了压缩的作用。

    sigmoid函数(也叫逻辑斯谛函数)

    引用wiki百科的定义:

    A logistic function or logistic curve is a common “S” shape (sigmoid curve).
    在这里插入图片描述
      其实逻辑斯谛函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线。

    logistic曲线如下:
    这里写图片描述

    softmax 函数

    同样,我们贴一下wiki百科对softmax函数的定义:

    softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.

    这句话既表明了softmax函数与logistic函数的关系,也同时阐述了softmax函数的本质就是将一个K
    维的任意实数向量压缩(映射)成另一个K

    维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。

    softmax函数形式如下:
      这里写图片描述
    总结:sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1,1)),这样可以用来做二分类。
    而softmax把一个k维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务,如取权重最大的一维。
    参考:
    https://www.cnblogs.com/charlesblc/p/6750290.html
    http://blog.csdn.net/u014422406/article/details/52805924

    展开全文
  • 文章目录前言Rocksdbcompaction机制compaction作用compaction分类level style compaction(rocksdb 默认进行compaction策略)level 文件存储结构compaction过程compaction中level target sizeuniversal ...
  • 本文对国内外室内定位技术的研究现状进行了分析总结,首先详细介绍了目前主流的室内定位技术的定位原理最新发展,对比分析了定位精度、相对成本优缺点,然后总结分析室内定位技术的分类体系定位方法,最后...
  • 然后传递至下一层, 增加前向传播的特征信息, 影响反向传播算法的权值更新, 以有利于图像的分类; 最后通过实验阐述了 Supplement CNN 模型受网络层数的影响情况. 传统的 CNN 及部分扩展模型进行对比实验的结果表明...
  • 为了解决极化合成孔径雷达(Polarization Synthetic Aperture ...采用RADARSAT-2全极化SAR数据进行实验,并将分类结果经典的分类方法进行了对比,证明了本文提出方法的有效性.该成果将在PolSAR影像分类中发挥更大的作用.
  • 镜头是机器视觉系统中重要组件,对成像质量有着关键性的作用,它对成像质量几个最主要指标都有影响,包括:分辨率、对比度、景深及各种像差。镜头不仅种类繁多,而且质量差异也非常大,但一般用户在进行系统设计...
  • 针对一对一策略的支持向量机算法进行了加权改造,提出一种新的基于非线性相关系数的核方法,在没有地物真实参考图的情况下进一步提高了超谱数据的分类精度。该方法考虑到遥感超谱数据信息依波段分布不均匀的特性,...
  • 一、数据标准化 / 归一化的作用 提升模型精度:标准化 / 归一化使不同维度特征在数值上更具比较性,提高分类准确性。 提升收敛速度:对于线性模型,数据归一化使梯度下降过程更加平缓,更易正确收敛到最优...
  • 变量的分类: 按照数据类型分: 基本数据类型 引用数据类型 按照在类中声明的位置分: 成员变量:在使用前,都经历过默认初始化赋值 类变量:linking的prepare阶段:给类变量默认赋值 —》initial阶段:给类...
  • 在图像分类过程中,一个图像区域内起着决定性作用的对象位置和大小都不确定,直接使用空间金字塔匹配算法的分类准确率并不高。为此,提出了一种基于兴趣域检测的空间金字塔匹配方法可以有效改善分类准确率。首先利用...
  • 分类与测分析是数据挖掘主要技术手段之一,都属于分析数据形式,至今已在理论和方法上取得了丰硕研究成果。 1.回归分析 数据分析概念 数据分析是指用适当分析方法对收集来大量数据进行分析,提取有用信息和...
  • BERT编码作用已经在BERT论文中充分证明。...接着分析了百万京东对话预训练BERT语言模型谷歌中文BERT语言模型效果对比。图1 司法考试二分类模型结构 第一版改造后模型利用了BERT中文模型,如图1黄色所示,使...
  • 针对当前肿瘤类疾病诊治过程中存在...该方案能及时发现错误过度医疗问题并提出预警,发挥监督提醒的作用,在实现预防和避免诊治错误同时减少对人工鉴别依赖,为错误医疗问题及减轻患者负担提供一种新解决途径。
  • 垃圾邮件过滤技术在保证信息安全、提高资源利用、分拣信息数据等方面都...通过其他典型垃圾邮件过滤方法的对比实验,证明基于主题模型垃圾邮件分类方法及基于Word2Vec改进方法均能有效提高垃圾邮件过滤准确度。
  • 从多种异构相互作用网络中提取高级特征,使用random walk with restarts(可以回到原点随机游走) positive pointwise mutual information将network转化为vector,输入到自编码器中学习其低维表示最后使用svm来...
  • 大数据应用导论 Chapter02 | 大数据采集清洗

    千次阅读 多人点赞 2020-03-25 09:15:07
    Chapter2 | 大数据的采集清洗一、数据采集的方法1、传感器1.1、传感器主要应用1.2、传感器的功能2、日志系统3、网络爬虫3.1、爬虫的作用3.2、爬虫的分类3.3、爬虫的框架二、数据采集的工具1、日志系统 Flume1.1、...
  • 采用等级方差分析(Kruskal-Wallis非参数检验)和Mann-Whitney U配对比较以及邓恩对多个对比的校正来评估关于两种结果的差异。 皮尔逊乘积矩相关系数用于计算物理性能认知测验结果之间的相关性。 当违反正态性...
  • 二、缓存的分类 1、强制缓存,如果缓存有效,则不需要服务器发生交互,直接使用缓存。 2、对比缓存,每次都需要服务器发生交互,对缓存进行比较判断是否可以使用缓存。 三、通过使用 Last-Modified / If-...
  • 【数据挖掘学习笔记】5.分类基础

    千次阅读 2018-06-22 22:34:34
    一、特征与分类特征作用数据库通常存放大量细节数据。然而,用户通常希望以简洁描述形式观察汇总数据集提供一类数据概貌,或将它与对比类相区别方便、灵活地以不同粒度和从不同角度描述数据集概念描述...
  • 本文仅代表个人观点,其他人...ISOCOM光耦的分类   一、按功能分 1、普通光耦(只有隔离的作用) 2、高速光耦(具备数据传输的作用) 3、驱动光耦(除数据传输外还具有驱动IPM的作用)   二、按封装分 1、...
  • 二、缓存的分类 1、强制缓存,如果缓存有效,则不需要服务器发生交互,直接使用缓存。 2、对比缓存,每次都需要服务器发生交互,对缓存进行比较判断是否可以使用缓存。 三、通过使用Last-Modified / If-...
  • nodejs 中public文件夹作用初探

    千次阅读 2018-11-16 18:21:54
    ... 2018年10月27日 20:01:23 liji_digital 阅读数:43 标签: nodejs 更多 ...本篇博客对比两个nodejs实例,一个实例将index.html放在index.js相同文件夹下;而另一个实例则建立一个index.js同...
  • keras可以处理问题类型:{分类问题、回归问题、损失函数} 什么是分类问题: 用于多元分类(一般大于三类),预测是类别,模型输出...1.需要衡量目标类别当前预测差距如(【0.2,0.7,0.1】) 真实类别为2-——&g
  • 组件( Component )是 Vue.js 最核心功能,Vue.js组件就是提高重用性,让代码可复用。...②局部组件:只有在该实例作用域下有效(对比全局局部变量记忆) 组件注册-全局 语法: my-component ...
  • 用SVM对单因子和组合因子进行训练和检验表明,傅里叶功率谱分维盒柱平均值孔隙度(FPS LBCM)(4个核)和差分盒计数分维盒柱平均值孔隙度(DBC LBCM)(除SIGMOID外)构成的组合因子有比单因子较高的分类准确率...

空空如也

空空如也

1 2 3 4 5 ... 8
收藏数 151
精华内容 60
关键字:

对比的分类与作用