多页面的标签支持，完成了不同页面之间业务的多现实的场景。但是同一页面下，关联业务的展现方式，如果可以通过多层级页面的支持，则加大单个页面丰富业务的展现手段，丰富操作的同时，可以更加直观的完成相同业务的处理过程。 
层级多页
多标签页面虽然可以支持多页面共同存在的业务场景，但单页面中仍然需要嵌入页面的方式来丰富单页面中不同业务处理的需求。层级多页可以完成单页面中，多个页面，不同业务共同展现的形式，结合标签多页以及层级多页可以通过不同的页面展现的方式，丰富业务的场景需求。
层间多页通常分为三个类型，根据不同的需要来支持不同的功能。包括：密你页、编辑页、内嵌页。
处理过程
层级页面加载可以通过触发事件来指定特殊的处理过程，包括：前置回调、成功回调、关闭回调。
前置回调，页面加载之前预置处理过程，窗体显示之前完成的自定义过程。 成功回调，页面加载之后成功处理过程。 关闭回调，可以分为两个处理过程，一是取消页面回调处理过程，二是关闭页面回调处理过程。针对不同的操作过程来完成关闭页面类处理过程。
层级优先
多种层级页面存在显示优先的处理，迷你页 > 编辑页 > 内嵌页。根据不同页面处理业务内容的过程以及功能所带有的含义，划分的多层页面显示的层级优先。
迷你页
正如其名，页面显示所占篇幅较小，可以完成简单的页面内容嵌入，嵌入的方式通过页面首先声明元素，出于隐藏状态。当需要通过迷你页面显示时，迷你页作为元素容器填充事先声明的元素通过拷贝的方式进行显示。迷你页关闭之后，作为容器内的元素删除，容器删除。
迷你页由于所占篇幅较小，多用于元素较少的页面，如元素较少的编辑，特殊的消息提醒等。
引用代码，框架为JQuery作为基础，控件为Layer作为功能。
...
/**
 * 弹窗 , 密你页类型
 * @param container 页面容器
 * @param holder 页面容器
 * @param title 标题
 * @param prepare 前置回调
 * @param success 成功回调
 * @param cancel 取消回调
 * @returns 弹窗索引
 */
popup4mini: function(container, holder, title, prepare, success, cancel){

    if(prepare && typeof(prepare) == 'function') prepare();

    var _holder = core.focusPage(holder).clone(true).show(); // 加载元素 , 通过克隆方式复制
    var _container = core.focusPage(container).html("").append($(_holder)); // 元素容器

    // 页面显示宽度和高度 , 密你页宽度固定(例: 512px) , 高度根据加载元素内容进行定义 , 同时存在上限控制
    var _height = _container.height() > $(window).height() * 0.8 ? $(window).height() * 0.8 : _container.height() + 50;

    var _id = "popup-mini";

    var options = {
        id: _id,
        type: 1,
        title: title,
        content: _container,
        area: ["512px", _height + "px"],
        maxmin: false, // 不可改变大小
        move: false, // 不可移动
        zIndex: 3500,
        success: function (layer, index) {
            if(success && typeof(success) == 'function') success();
        },
        cancel: function () {
            if(cancel && typeof(cancel) == 'function') cancel();
        },
        end: function(){
            layer.closeAll();
            if(cancel && typeof(cancel) == 'function') cancel();
        }
    }

    return layer.open(options);
},
...
编辑页
编辑页加载过程与迷你页基本相同，不同的只有页面篇幅通过加载元素的尺寸进行显示。编辑页主要提供表单类元素的处理过程，或者树形结构的编辑功能，主要提供的方面为编辑类的页面场景。所以，该类页面称之为编辑页。
...
/**
 * 弹窗 , 编辑页类型
 * @param holder 页面容器
 * @param title 标题
 * @param prepare 前置回调
 * @param success 成功回调
 * @param cancel 取消回调
 * @returns 弹窗索引
 */
popup4model: function(holder, title, prepare, success, cancel){

    if(prepare && typeof(prepare) == 'function') prepare();

    var _holder = core.focusPage(holder);

    // 页面显示宽度和高度 , 宽度和高度根据加载元素内容进行定义 , 同时存在上限控制
    var _width = (_holder.width() > 521 ? _holder.width() + 50 : 521);
    var _height = _holder.height() > $(window).height() * 0.8 ? $(window).height() * 0.8 : _holder.height() + 50;

    var _id = "popup-model";

    var options = {
        id: _id,
        type: 1,
        skin: 'layui-layer-lan',
        title: title,
        content: _holder,
        area: [_width + "px", _height + "px"],
        maxmin: false, // 不可改变大小
        move: false, // 不可移动
        zIndex: 3000,
        success: function (layer, index) {
            if(success && typeof(success) == 'function') success();
        },
        cancel: function () {
            layer.closeAll();
            if(cancel && typeof(cancel) == 'function') cancel();
        },
        end: function () {
            layer.closeAll();
            if(cancel && typeof(cancel) == 'function') cancel();
        }
    }

    return layer.open(options);
},
...
内嵌页
与迷你页和编辑页不同，内嵌页同标签页加载内容相同，都为独立页面，区别在于内嵌页归属于标签页面之中，存在一个归属性质。另一个区别，内嵌页可以使用迷你页以及编辑页，完成需要的业务场景。
内嵌页加载过程仍然通过页面路径完成整体页面的加载，不同于迷你页和编辑页使用事先定义好的页面元素来完成加载。
...
/**
 * 弹窗 , 内嵌页类型
 * @param holder 页面容器
 * @param url 地址
 * @param title 标题
 * @param success 成功回调
 * @param cancel 取消回调
 * @param prepare 前置回调
 * @returns 弹窗索引
 */
popup4page: function(holder, url, title, prepare, success, cancel){

    if(prepare && typeof(prepare) == 'function') prepare();

    var _holder = core.focusPage(holder);

    // 页面显示宽度和高度 , 宽度和高度根据显示篇幅进行固定配置(例: 80%) , 突出内嵌页
    var _width = $(window).width() * 0.8;
    var _height = $(window).height() * 0.8;

    var _area = [_width + "px", _height + "px"]

    var _id = "popup-page";

    var options = {
        id: _id,
        type: 1,
        title: title,
        content: _holder,
        area: _area,
        maxmin: false, // 不可改变大小
        move: false, // 不可移动
        zIndex: 2500,
        success: function (layer, index) {
            _holder.load(url);
            if(success && typeof(success) == 'function') success();
        },
        cancel: function () {
            layer.closeAll();
            if(cancel && typeof(cancel) == 'function') cancel();
        },
        end: function () {
            layer.closeAll();
            if(cancel && typeof(cancel) == 'function') cancel();
        }
    }

    return layer.open(options);
},
...
JQuery更多使用说明，参考JQuery官方网站。 
LayUI（Layer）所有使用方式，参考LayUI官方网站，了解更多功能。 

网站优化主要的优化手段：前期的站内调整以及持续的网站内容的更新，今天我们就针对网站内容的持续更新进一步去探索。很多时候站长都会发现网站内容持续的更新，但更新的内容并不收录，甚至页面基本的蜘蛛的索引都没有。那么这是什么原因导致的呢？又该怎么去解决呢？下面为大家分享一下网站内容更新如何让百度快速收录小技巧。
一、导致网站文章不收录的几点原因
1、文章的大量复制粘贴，无原创度
可以确切的表明一点：网站中所以的文章内容，都可能在百度数据库中存在。百度搜索引擎跟我们一样喜欢比较新颖的东西，如果网站长时间进行纯粘贴，没有加入新的内容，而很多站长为了增加收录大量的转载文章，长期以往网站可能会被判定作弊，这样的话不仅仅网站文章不收录，网站也处于评级比较低的一层。
2、网站文章URL带有#链接或者文章层级深
网站优化对网站的URL也是有很多的要求的，那么针对于文章来说对文章URL要求主要有两点：第一网站文章页URL层级不能太深，我们都知道蜘蛛是一层层进行抓取的，页面层级越高，可能导致蜘蛛的数量以及权重就会逐渐减少，导致网站文章不收录。
第二网站文章页URL带有#链接，#链接代表主动告诉搜索引擎蜘蛛这个页面不去抓取，同样也不会被收录。
3、网站服务器经常性的卡顿或者速度过慢
搜索引擎对网站进行抓取，发现长时间进不去网站。那么这种情况下搜索引擎蜘蛛可能会反馈给百度的结果是网站打不开等等，久而久之蜘蛛会认为你的网站没人管理，蜘蛛对网站抓取就会逐渐的减少，收录也会随之减少。
4、网站robots文件的错误书写
网站robots.txt文件主要告诉蜘蛛网站哪些地方你可以去抓取，哪些不能去抓取。如果你的文章页被禁止抓取了，网站的文章更新怎么会被收录呢。但这种情况，出现的概率会很小，但也存在，所以建议网站在上线之前首先检查网站的各项文件是否有错误。
二、网站文章快速收录小技巧
1、文章的原创度
所谓文章的原创度不只是指你单纯的手写一篇文章，原创文章指的是逻辑性比较强、条理分明的文章。如何做到这些呢？首先我们知道每一个页面都有自己独立的TDK，文章页也不例外。首先，保证一点文章的标题一定要新颖、吸引用户去点击。只要你的标题写的精致，你的文章已经写好一半了。
对于文章的正文，只要符合文章的标题，做到不跑题、条理分明就可以。这样下来，网站文章一旦被蜘蛛所抓取，收录的几率会成倍的增加。
2、网站内链建设有讲究
网站内链建设，网站所有的内部链接都统称为网站内链。那么对于文章页面来说，如何去建设文章页的内链呢。首先，我们要知道文章页的链接一般在1-3个之间，不要全部的链接到首页，要针对于不同的情况来进行内链的建设。
文章的标题指出的是什么内容，我们一般的内链建设都会链接到与此文章有相关性的页面，网站内敛的建设就犹如一张蜘蛛网，这样长期下去网站的收录会倍增。
3、文章样式也是增加收录的手段
网站文章不仅仅只是满足搜索引擎规则，更要满足用户的体验。我们都是视觉动物，喜欢美的东西，对于网站文章我们肯定会喜欢一些有文字有图片的内容。
所以我们在进行文章的编辑的时候，要注意文章的图文并茂，但每一个图片都需要添加alt标签，各个小标题需要添加h标签的尽量去添加等，这些都是蜘蛛喜欢的东西。
4、文章要想收录快主动提交是关键
在新站刚上线的时候，搜索引擎对网站都会有一段考察期，这段时间就是网站最主要的时段。要想收录网站文章，我们就必须主动引导搜索引擎蜘蛛来抓取网站内容。
主要的引导搜索引擎的做法：主动去百度站长平台提交网站未收录的内页URL、通过友链的交换来引导蜘蛛、通过发布外链引导蜘蛛等。
综上所述，网站优化文章的持续更新是重点，网站收录提升上去才是网站流量以及权重的来源，所以我们在进行网站优化的时候一定要注意检查以上的几点问题，针对于不同的问题做出不同的处理方法。

     层次分析法（多层次权重解析方法）的思路为通过分析复杂系统所包含的因素及相关关系，把一个复杂的问题分解成各个组成因素，并将这些因素按支配关系分组，从而客观上形成多层次的有序的递减层次关系。这种方法将定性分析和定量分析相结合。实际上这种方法掺杂了很多主观因素，而1——9标度实现了将心理上的定性转化为定量的数值去描述问题。将这种数值构造出判断矩阵，再通过数学手段计算出权重，用权重来对问题进行判断。具体过程归结为：
    一般的决策问题可以分为3个层次。最上层为目标层，即你想要决策的问题；中间层为准则层，即影响决策的因素；最下层为方案层，即列举参与决策的方案。将准则层中的各个方案进行两两比较，得到准则对目标的重要性权重。再针对每个准则，对各个可行性方法进行两两比较，得到方案对于准则的重要性权重。
           

                                       如图为某城市需要改善商场的交通环境而构建的层次结构
1.矩阵构造
     构造准则目标的矩阵为：通车能力和方便群众，基建费用，交通安全，市容美观哪个更重要？用1——9标度表示。。接着方便群众的准则再和其他四项比。。。依次来就可以得到一个准则目标的矩阵。随后的方案准则矩阵也这样构造。
2.矩阵的一致性问题
       由于决策者构造矩阵存在心理偏差，因此构造的矩阵可能不是完全一致性矩阵，但是Saaty提出，可对这种不一致性有一定的容忍性。并可以将构造矩阵的最大特征值对应的归一化特征向量作为权向量。MATLAB代码如下：
特征根法求权向量
%%  AHP矩阵
a=[1 3 5 3 5 
    1/3 1 3 1 3
    1/5 1/3 1 1/3 3
    1/3 1 3 1 3 
    1/5 1/3 1/3 1/3 1]
[v,d]=eig(a)
a =

    1.0000    3.0000    5.0000    3.0000    5.0000
    0.3333    1.0000    3.0000    1.0000    3.0000
    0.2000    0.3333    1.0000    0.3333    3.0000
    0.3333    1.0000    3.0000    1.0000    3.0000
    0.2000    0.3333    0.3333    0.3333    1.0000


v =

  1 至 4 列

  -0.8414 + 0.0000i   0.8474 + 0.0000i   0.8474 + 0.0000i  -0.9299 + 0.0000i
  -0.3532 + 0.0000i   0.0481 + 0.3010i   0.0481 - 0.3010i   0.2398 + 0.0000i
  -0.1743 + 0.0000i  -0.2680 - 0.0403i  -0.2680 + 0.0403i  -0.1293 + 0.0000i
  -0.3532 + 0.0000i   0.0481 + 0.3010i   0.0481 - 0.3010i   0.2398 + 0.0000i
  -0.1098 + 0.0000i   0.0377 - 0.1456i   0.0377 + 0.1456i   0.0591 + 0.0000i

  5 列

  -0.0000 + 0.0000i
  -0.7071 + 0.0000i
  -0.0000 + 0.0000i
   0.7071 + 0.0000i
   0.0000 + 0.0000i


d =

  1 至 4 列

   5.2067 + 0.0000i   0.0000 + 0.0000i   0.0000 + 0.0000i   0.0000 + 0.0000i
   0.0000 + 0.0000i  -0.0183 + 1.0343i   0.0000 + 0.0000i   0.0000 + 0.0000i
   0.0000 + 0.0000i   0.0000 + 0.0000i  -0.0183 - 1.0343i   0.0000 + 0.0000i
   0.0000 + 0.0000i   0.0000 + 0.0000i   0.0000 + 0.0000i  -0.1702 + 0.0000i
   0.0000 + 0.0000i   0.0000 + 0.0000i   0.0000 + 0.0000i   0.0000 + 0.0000i

  5 列

   0.0000 + 0.0000i
   0.0000 + 0.0000i
   0.0000 + 0.0000i
   0.0000 + 0.0000i
  -0.0000 + 0.0000i
找到d的最大值，再将对应v的某子列归一化，得到权向量。归一化后结果如下：
 w=v(:,1)/sum(v(:,1))

w =

    0.4593
    0.1928
    0.0951
    0.1928
    0.0599
前面有说构造矩阵容忍度的问题，为了衡量，Saaty定义了一致性指标：
                                                           
CI越小，标明一致性越好，而算出CI以后，将CI与RI相除得到一致性比率CR，当CR<0.1时说明矩阵A在容许范围内，特征向量可以用。（待补充5个方案准则向量，其实求解过程一致的）
下面考虑的是各个准则对目标的权向量和各个方案对每一准则的权向量综合分析，五个矩阵合成一个矩阵再和准则目标矩阵相乘。得到最终的组合权重。定性描述以上过程其实就是，把准则对目标的影响通过权重算出来，再将方案里每个准则的权重算出来，相乘以后得到的是方案对目标的权重（待补充一个抽象一点的思维图）。但是这个组合权重还是不能直接用，还要对其进行一次一致性检验。具体为：
                                                
                             
最后如果通过一致性检验则权向量可用。接下来直接看权重哪个大，那么对应方案就是最优方案。实际上当你构造出所有矩阵的那一刻，你心理已经对结果有逼数了。曾经做过一个用层析分析法的电脑选购问题的题目，上网看电脑时候就想买的那个电脑在最后的计算结果上，权重比其他电脑型号大很多：
当时想买四号电脑，结果权重就特别大。
     3. 由于构造矩阵比较粗糙，这里有三种近似的求解权向量的方法
%%  AHP矩阵
a=[1 3 5 3 5 
    1/3 1 3 1 3
    1/5 1/3 1 1/3 3
    1/3 1 3 1 3 
    1/5 1/3 1/3 1/3 1]
s0=sum(a,1);
[m,n]=size(a);
for j=1:m;
    b(:,j)=a(:,j)/s0(j);
end
%和积法
w=sum(b,2);
w1=w/sum(w)

%方根法
w=geomean(b,2);
w2=w/sum(w)

%对数最小偏差法
w=geomean(a,2);
w3=w/sum(w)
结果
w1 =

    0.4563
    0.1915
    0.0991
    0.1915
    0.0616


w2 =

    0.4614
    0.1946
    0.0909
    0.1946
    0.0586


w3 =

    0.4614
    0.1946
    0.0909
    0.1946
    0.0586

上海科技大学和阿里巴巴发布了一篇被ACL2020收录的论文《Structure-Level Knowledge Distillation For Multilingual Sequence Labeling》，论文针对在自然语言处理中的序列标注任务中，多语种模型的表现不及各个语种单独的模型做出了改进，通过知识蒸馏的手段，从各个单语种模型中学习到结构层级的知识，训练一个新的多语种模型，缩短了多语种模型跟各个语种单独模型之间的差距。在4个任务的15个数据集上，文章提出的模型表现都优于多个经典的baseline模型。同时，对于那些缺乏数据的小语种具有较强的泛化能力。



图1 论文信息

论文链接：

https://arxiv.org/pdf/2004.03846.pdf​arxiv.org

 

简介

序列标注是自然语言处理的一类重要的任务，常见的有命名实体识别，词性标注等等，它能够提供一些额外的信息，从而对于下游的自然语言处理任务有着重要影响。大多数当前的序列标注任务都是针对单个语种的，当需要把模型跨语种迁移到那些缺乏语料的语种上时依旧需要训练单独的模型。全世界有7000多种语种，在每个语种上都单独训练一个模型是非常消耗时间跟精力的事情，其中还有很多小语种是严重缺乏足够的训练语料的。因此，训练一个针对多语种的模型显得十分必要，于是MultilingualBERT横空出世。不过，它的效果比不上各个单语种模型，这是因为单语种模型利用了各种强大的预训练好的词表征能力。

对此，文章利用了知识蒸馏，将各个具有强大表征能力的单语种模型的知识迁移到一个多语种模型。知识蒸馏，是通过训练一个student模型去尽可能的模仿teacher模型的预测，希望得到一个较小较快的student模型，同时尽可能具备teacher模型强大的预测能力。

背景

在BiLSTM-CRF中，给定一个输入序列 和它对应的预测标签  ,,通过BiLSTM得到的上下文表达可以表示为  ,则对应的条件概率可以按以下公式计算。其中  跟  是相应的状态跟转移函数的参数，  是序列开始的标记。

公式一：



公式二：



相应的负对数似然函数可以表示为：公式三：



最常见的知识蒸馏方法的损失函数如下公式四所示，后续实验中提及的Emission模型就是已经这样的方式得到。公式四：



方法

关于如何从多个单语种模型中通过蒸馏出结构层级的知识从而学习到一个多语种的序列标注模型，文章提出两种方法，一种是Top-K蒸馏，是通过近似最小化teacher跟student的结构层级概率分布得到的，另一种是后验蒸馏，通过聚合结构层级的知识到局部后验概率分布，然后通过最小话两者的局部后验概率分布得到。详情可见图2。



图2 论文模型图

Top-K蒸馏通过维特比算法，得到预测得分最高的K个预测序列，将他们通过公式五的方式计算，可以得到student模型的概率分布关于teacher模型的概率分布的条件期望的一个有偏估计。其中  ，  分别表示student模型与teacher模型的预测结果。

公式五：



在基本的Top-K方法中，当K变大后效果会变得愈发糟糕。一种改进的方式是加权Top-K,如公式六和公式七所示，其基本思想就是对K个不同的预测序列赋予不同的权重，得分越高的序列赋予更高的权重。

公式六：



公式七：



在Top-K的方法中，当K增大时计算量会增加，进而速度会变慢。文章由此提出另一种方法后验蒸馏，具体的计算方法如公式八和公式九所示。

公式八：



公式九：



当选定好蒸馏方法后，对于任何语种的语料数据，会利用单语种的teacher模型去计算得到Top-K的预测序列或者后验分布，然后多语种的student模型会从这些硬标签跟软标签去联合学习，最小化如下的损失函数，如公式十所示，依次遍历所有语种，训练得到一个多语种的student模型。

公式十：



实验结果

文章在四种不同的序列标注任务中进行了实验，对应的数据集有CoNLLNER，WikiAnnNER，UniversalDependencies和AspectExtraction。具体实验结果如图2所示。其中，Baseline指的是没有经过知识蒸馏而训练得到的多语种模型，Emission模型指的是KD采用Emission的模型，Top-K、Top-WK和Posterior指的是文章提出来的新模型，Pos.+Top-WK指的是混合了Top-WK跟Posterior的模型。

主要有以下六个结论：

在大部分实验中，采用BiLSTM-CRF的多语种模型效果要优于采用BiLSTM-Softmax的多语种模型。这也跟当前序列标注任务的现状是一致的。
	
单语种的teacher模型效果要优于多语种的student模型。大概率是因为单语种的模型拥有强大的词嵌入，能够提供额外的信息，而这时多语种的student模型所不具备的。
	
Emission模型不具备迁移知识的能力，在大部分数据集上表现都不及baseline模型。
	
Top-K跟Top_WK都要优于baseline模型，其中Top-WK的效果要优于Top-K。
	
Posterior在大部分数据集上都取得最好的效果。
	
Top-WK+Posterior的效果介于Top-WK和Posterior之间。


图3 实验结果图

换句话说，可以归纳为：Posterior>Top-WK+Posterior>Top-WK>Top-K>Baseline>Emission.

总结

文章的主要贡献是，在序列标注任务中，提出了两种结构层级上的知识蒸馏手段，Top-K蒸馏跟后验蒸馏，能够从单语种的teacher模型中蒸馏出知识，学习出一个多语种的student模型。在4个不同任务的25个数据集上，验证了文章提及的这两种方法相对于原有的方法都有一定的提升。

高效可行的多语种模型训练方法，对于数量众多的语言种类而言，不必再去对每种语言训练一个单独的模型，是一种行之有效的解决方法。同时，对于那些相对小众的语种，也具备较强的泛化能力。文章提出的这些方法，在序列标注任务中具有一定的前景，能为下游的一些自然语言处理任务。例如，情感分析、意图识别等提供一定的帮助，值得后续更多更深入的研究。