精华内容
下载资源
问答
  • 锐捷网络为大连皮肤病医院网络方案设计了三层网络架构,通过双核心双链路三层的网络架构设计,为大连皮肤病医院提供稳定高高速的数字化医疗网络,实现了高带宽、高速度;高稳定性和可靠性;高安全性;高扩展性的办公...
  • 软件定义网络的双向链路损耗测量方法
  • 本文档针对AC6605设备的1+1双链路备份技术进行说明。通过双链路备份技术,可在网络重要节点提供高可靠性,保证业务的稳定性。
  • CISCO双链路自动备份

    2012-11-07 11:39:10
    CISCO双链路自动备份
  • 飞机座舱显示系统是航空电子系统的重要组成部分,以DVI为代表的高清信号越来越多地应用在航电显控...提出一种基于FPGA的双链路DVI信号设计,可以实现将两路单链路DVI信号转换成一路超大分辨率的双链路DVI信号进行传输。
  • 企业网模拟试题(双核心、双链路
  • ensp vrrp双链路备份

    2020-12-11 14:14:43
    ensp vrrp双链路备份一、实验topo二、实验目的三、PC及设备端口基本配置四、OSPF路由配置五、配置VRRP六、验证实验结果 一、实验topo 二、实验目的 SW2为192.168.10.0网段的主路由,192.168.20.0的备用路由 SW3为...

    ensp vrrp单链路

    一、实验topo

    在这里插入图片描述

    二、实验目的

    SW2为192.168.10.0网段的主路由,192.168.20.0的备用路由
    SW3为192.168.20.0网段的主路由,192.168.10.0的备用路由
    在主路由链路故障的时候,VRRP备用路由自动启动

    三、PC及设备端口基本配置

    PC1
    在这里插入图片描述

    PC2
    在这里插入图片描述

    SW1

    [SW1]vlan batch 10 20
    [SW1]int g 0/0/1
    [SW1-GigabitEthernet0/0/1]port link-type trunk 
    [SW1-GigabitEthernet0/0/1]port trunk allow-pass vlan 10 20
    
    [SW1]int g 0/0/2
    [SW1-GigabitEthernet0/0/2]port link-type trunk 
    [SW1-GigabitEthernet0/0/2]port trunk allow-pass vlan 10 20
    
    [SW1]int g 0/0/24
    [SW1-GigabitEthernet0/0/24]port link-type access 
    [SW1-GigabitEthernet0/0/24]port default vlan 10
    
    [SW1]int g 0/0/23
    [SW1-GigabitEthernet0/0/23]port link-type access 
    [SW1-GigabitEthernet0/0/23]port default vlan 20
    

    SW2

    [SW2]vlan batch 10 20 100
    [SW2]int vlan 100
    [SW2-Vlanif100]ip add 192.168.100.1 24
    
    [SW2]int vlan 10
    [SW2-Vlanif10]ip add 192.168.10.10 24
    
    [SW2]int vlan 20
    [SW2-Vlanif20]ip add 192.168.20.10 24
    
    [SW2]int g 0/0/1
    [SW2-GigabitEthernet0/0/1]port link-type access 
    [SW2-GigabitEthernet0/0/1]port default vlan 100
    
    [SW2]int g 0/0/2
    [SW2-GigabitEthernet0/0/2]port link-type trunk 
    [SW2-GigabitEthernet0/0/2]port trunk allow-pass vlan 10 20
    

    SW3

    [SW3]vlan batch 10 20 100
    [SW3-Vlanif10]ip add 192.168.10.20 24
    
    [SW3]int vlan 20
    [SW3-Vlanif20]ip add 192.168.20.20 24
    
    [SW3]int vlan 100
    [SW3-Vlanif100]ip add 192.168.200.1 24
    
    [SW3]int g 0/0/1
    [SW3-GigabitEthernet0/0/1]port link-type access 
    [SW3-GigabitEthernet0/0/1]port default vlan 100
    
    [SW3]int g 0/0/2
    [SW3-GigabitEthernet0/0/2]port link-type trunk
    [SW3-GigabitEthernet0/0/2]port trunk allow-pass vlan 10 20
    

    R1

    [R1]int loop 0
    [R1-LoopBack0]ip add 10.0.0.1 24
    
    [R1]int g 0/0/0
    [R1-GigabitEthernet0/0/0]ip add 192.168.100.2 24
    
    [R1]int g 0/0/1
    [R1-GigabitEthernet0/0/1]ip add 192.168.200.2 24
    

    四、OSPF路由配置

    SW2

    [SW2]ospf 1
    [SW2-ospf-1]area 0
    [SW2-ospf-1-area-0.0.0.0]network 192.168.10.0 0.0.0.255
    [SW2-ospf-1-area-0.0.0.0]network 192.168.20.0 0.0.0.255
    [SW2-ospf-1-area-0.0.0.0]network 192.168.100.0 0.0.0.255
    

    SW3

    [SW3]ospf 1
    [SW3-ospf-1-area-0.0.0.0]network 192.168.10.0 0.0.0.255
    [SW3-ospf-1-area-0.0.0.0]network 192.168.20.0 0.0.0.255
    [SW3-ospf-1-area-0.0.0.0]network 192.168.200.0 0.0.0.255
    

    R1

    [R1]ospf 1
    [R1-ospf-1-area-0.0.0.0]network 10.0.0.0 0.0.0.255
    [R1-ospf-1-area-0.0.0.0]network 192.168.100.0 0.0.0.255
    [R1-ospf-1-area-0.0.0.0]network 192.168.200.0 0.0.0.255
    

    五、配置VRRP

    SW2

    [SW2]int vlan 10
    [SW2-Vlanif10]vrrp vrid 1 virtual-ip 192.168.10.1 
    [SW2-Vlanif10]vrrp vrid 1 priority 100
    [SW2-Vlanif10]vrrp vrid 1 track interface g 0/0/1 reduced 50
    
    [SW2]int vlan 20
    [SW2-Vlanif20]vrrp vrid 2 virtual-ip 192.168.20.1 
    [SW2-Vlanif20]vrrp vrid 2 priority 90
    [SW2-Vlanif20]vrrp vrid 2 track interface G 0/0/1 reduced 50
    

    SW3

    [SW3]int vlan 10
    [SW3-Vlanif10]vrrp vrid 1 virtual-ip 192.168.10.1 
    [SW3-Vlanif10]vrrp vrid 1 priority 90
    [SW3-Vlanif10]vrrp vrid 1 track interface g 0/0/1 reduced 50
    
    [SW3]int vlan 20
    [SW3-Vlanif20]vrrp vrid 2 virtual-ip 192.168.20.1 
    [SW3-Vlanif20]vrrp vrid 2 priority 100
    [SW3-Vlanif20]vrrp vrid 2 track interface G 0/0/1 reduced 50
    

    六、验证实验结果

    可以看出SW2现在为192.168.10.0网段的主路由,192.168.20.0网段的备份路由
    SW3和SW2正好相反
    在这里插入图片描述
    在这里插入图片描述
    PC1查看追踪路由
    在这里插入图片描述
    PC2查看追踪路由
    在这里插入图片描述
    在SW2和SW3的g 0/0/2端口抓包检测在这里插入图片描述
    此时将SW3>R1的链路切断来检测是否会切换路由
    在这里插入图片描述
    查看路由追踪
    在这里插入图片描述

    可以看到在链路出现故障的时候备份路由会自动升级为主路由,由此可见实验成功

    展开全文
  • 链路层的双链路--大型服务器的优化体系 一直在潜水,不过朋友可在相关QQ群找我,哈也可以加我工作QQ; 之前有朋友问过,链路层的东西,其实很抽象,刚好看到相关的内容,在此分享一下;   可以...

    链路层的双链路--大型服务器的优化体系


    一直在潜水,不过朋友可在相关QQ群找我,哈也可以加我工作QQ;
    之前有朋友问过,链路层的东西,其实很抽象,刚好看到相关的内容,在此分享一下;

     
    可以参考下面的文章:

    0. 前言

    何为双链路实时计算体系?
    微观实时计算链路
    a) 最细粒度商品/店铺/用户数据的实时
    b) 底层模型的实时
    宏观实时计算链路
    相比微观实时,宏观实时的对象粒度更粗,更上层
    a) 以实时效果为目标,基于bandit learning的实时策略寻优
    b) 以流量实时匀速化投放为目标,基于PID控制理论的实时流量调控
    在整个实时计算算法优化工作中,金榕教授给予了细致指导,使得项目得以顺利开发和落地。

    1. 搜索实时计算体系

    1.1 系统架构

    ss_realtime_platform

    1.2 重要组件介绍

    Pora:

    Pora是淘宝搜索基于iStream(自主研发的运行在Hadoop YARN上的实时计算引擎)+ HBase基础平台打造的一套实时计算和在线学习系统,支持在秒级别内对海量用户行为及其相关联的海量商品作实时分析处理,从中提取多维度的用户/商品数据特征,并采用分布式Parameter Server架构进行在线学习,从而使用户行为可以在几秒内影响搜索排序等在线服务。Pora目前已经应用于实时个性化搜索/推荐、实时反作弊、实时流量优化等诸多领域。
    双11期间,Pora实现7*24持续运行无重启,双11当天共处理消息量1300亿,峰值QPS 500万。

    iGraph:

    iGraph是淘宝搜索打造的实时在线图存储与查询的系统,可以提供大规模KV/KKV数据的存储、查询、更新和计算服务。目前支持了包括搜索/推荐个性化在内的众多业务线。
    双11期间,iGraph 访问峰值QPS 245W,同时支持大规模实时数据更新,如用户实时点击表峰值更新QPS 28WQPS,用户信息表 40W QPS

    SP :

    SP(search planer)是搜索面向前端应用的统一服务接口,根据用户指定的查询条件制定查询计划,查询包括QP,igraph,ISearch5引擎在内的各个搜索后端系统,得到最终结果返回个前端。SP通过将业务逻辑从前端往后端下沉,简化了搜索调用逻辑,提升了前端系统性能。

    Isearch5引擎:

    ISearch5是搜索最新一代引擎平台,服务于淘宝、天猫、B2B等各个搜索业务线,支持秒级实时索引,数据实时更新等众多特性。

    实时报表系统:

    基于Galaxy平台的实时报表系统,实时统计分平台/桶/策略/商品类型/用户类型等多维度业务指标数据(包括但不限于曝光,点击,成交与加购等)。该系统提供分钟级别的实时反馈精度,让算法、产品、运营同学能够在功能升级、大促、运营推广中及时准确了解业务指标的变化,通过强大的数据闭环功能为快速响应及决策提供依据。该系统同时提供了丰富的使用接口,为算法同学在大促中在线寻优提供了可靠实时数据。

    BtsServer:

    BtsServer是搜索的分桶测试管理服务平台,能够随时调整每个分桶的测试内容。依托实时报表系统产出的实时数据,今年在BtsServer平台上开发了实时策略寻优和实时流量调控两个模块,可以根据实时报表做智能化的分桶测试寻优,实现整体效果的最优化。

    2. 在线学习

    数据和模型是算法的两大核心,14年基于Pora我们现实了数据的实时更新。15年我们又在Pora上开发了基于Parameter Server架构的在线学习框架,实现了模型的实时更新。
    why在线学习?
    在batch learning中,一般会假设样本独立服从一个未知的分布D,学习得到的模型都是基于该分布的,如果分布变化,模型效果会明显降低。而在实际业务中,很多数情况下,一个模型生效后,样本的分布会发生大幅变化,因此学到的模型并不能很好的fit线上数据。而实时模型,能通过不断的去拟合最近的线上数据,解决这一问题;同时实时模型还能catch用户和商品的实时特征,因此效果会较离线模型有较大提升,特别是在实时数据极为丰富的情况下,例如双11和双12这种大促。
    why秒级更新?
    相比历史长期模型,小时级模型和纯实时秒级模型的时效性都有大幅提升,为什么我们选择了纯实时模型?一个方面是系统工程能力的允许,另外更重要的原因是业务需要,特别是在双11这种成交爆发力强,变化剧烈的场景,秒级实时模型时效性的优势会更加明显。下图是大家都看到的今年双11实时成交额情况,前面1小时已经完成了大概总成交的1/3,小时模型无法很好的catch这段时间里面的变化。
    ss_201511111_hour_trans

    2.1 在线学习框架

    ss_onlinelearning_platform
    模块介绍:
    Sample Worker:处理日志生成训练样本,Fetch最新的模型计算特征梯度
    FeatureHQ:将相同特征的梯度送到同一个FeatureWorker
    Feature Worker:接收梯度,计算更新模型
    Hbase:模型存储(lr模型的w,ftrl的z,n,矩阵分解的user,item向量)

    特点:异步,并行,平台化
    异步,并行:整个训练过程就像不断迭代的map-reduce,需要注意的是Sample Worker中的各个worker和Feature Worker中的各个worker是完全异步的,并没有做任何同步。一开始我们也非常担心这种纯异步的sgd训练方式是否有问题,但实验发现这套系统能够很好做到模型收敛,并且得到和同步训练差不多的准确性。
    平台化:做为一个在线学习框架,我们不仅仅只是提供现成的算法,也可以让大家能够在这个框架下方便地开发实现自己定制的在线学习算法。目前是把三个主要的接口开放给开发者自己来实现:CalcSample(样本采样,样本特征,目标构建),CalcGradient(梯度计算),CalcWeight(模型更新)

    目前这套在线学习框架已经支持训练样本百亿级别/每天,特征十亿级别。包括pc搜索,手淘搜索,天猫搜索,聚划算,淘金币在内的多个业务场景已经有10+的在线模型跑在上面。

    2.2 pointwise model

    2.2.1 LR/FTRL

    Logistical Regression(逻辑回归)作为最常用算法之一,是我们实现的第一个在线学习算法。随后在lr基础上了做了简单的改动实现了Ftrl,模型更新(CalcWeight的实现)这一步不同。这里就不介绍lr和ftrl的原理了,有非常多的资料可以参考。下面说一下遇到的一些问题:
    a) 纯异步训练的收敛性和准确性
    前面提到过,异步训练的收敛性和准确性是我们非常担心的点,实际的实验效果表明模型能够正确收敛,并且准确性和离线同步训练比也差异不大。
    下面是某一场景下的ctr预估应用在不同训练方式下的auc对比:
    在线异步训练的auc比离线同步训练的auc是要差一点,但差异很小。有初值下效果更好一点。都远好于使用历史长期模型(历史数据训练的模型)的效果。
    ss_ftrl_auc
    b) 模型稳定性
    模型不稳定是在线学习在实际应用中遇到的一个大问题,比如在搜索排序场景下,如果短时间内模型变化太大,会造成排序结果剧烈变化,用户体验不连续。为了解决这个问题,预测打分的时候使用模型的平均值,可以有效地平滑掉这种不稳定。
    实际操作中,还可以考虑把最开始的n轮去掉后再做平均(无初值情况下,最开始n轮模型的效果可能还比较差)。
    当然了,模型的稳定性和时效性是一个trade off,为了兼顾这两点,更好的做法是使用移动平均(当前轮的前面t轮模型做平均)。
    c) 热点问题
    通过前面的框架图可以看到,feature worker其实就是一个reduce的过程。如果存在热点特征,比如截距特征beta0,这类特征的梯度会非常非常多,会造成这个特征所在的feature worker处理不过来,出现阻塞,从而造成这个worker节点上的所有特征的更新都延迟。为了解决这个问题,我们在sample worker上做了feature grad的合并(类似于mapreduce的map节点做local combine),大幅减少了往FeatureHQ发送的数据。

    2.2.2 Online AUC Optimization

    与online LR/FTRL 不同的是,在线学习中有一类是直接针对 AUC 进行优化的算法。AUC 直接优化是 NP-Hard,但有一些近似算法能够进行高效的求解。我们实现了 AUC 最大化算法- One-Pass AUC (Refence One-Pass AUC Optimization, Wei Gao, Rong Jin, Lu Wang, Shenghuo Zhu, Zhi-Hua Zhou. Artificial Intelligence Journal, 2014 )

    2.3 pairwise model

    why pair-wise?
    在搜索中,算法更关注的是商品的排序,而不是单个商品的算分。使用point-wise算法,是通过回归单个样本的分数从而得到排序效果;而使用pair-wise算法,是直接优化商品之间的序关系。因此从loss的角度来看,point-wise上会有不必要的约束,这些约束常常会对序关系产生负向影响;pair-wise算法目标明确,是没有这些约束的。另外,从工程框架上来开,日志的不均匀会对point-wise的算法产生极大的不良影响,而pair-wise则不受此干扰。
    因此,我们设计了一套针对排序优化的实时协同过滤框架,并在这个框架上设计和实现了2个pair-wise算法。2个算法均有实时和离线2部分,离线模型会作为实时模型的初始值使用,使用ODPS Graph实现;在线模型由PORA实现。下面会简单介绍模型的含义和实验结果

    2.3.1 实时矩阵分解(Realtime Matrix Factorization for Ranking with Side Information)

    假设我们有m个用户和n个商品,除用户向量screenshot和向量_2015_08_05_10_36_52外,我们还为每个商品j学习一个bias,screenshot。此时的我们将每个用户对每一个商品的偏好标示为:
    screenshot
    在搜索排序中,我们更关注的是商品之间的顺序,而不是模型对偏好程度的预测值和真实值之间的平方误差或绝对值误差。从搜索日志中我们抽取训练三元组screenshot,其中每一个三元组screenshot表示用户i更偏好商品j,相比于商品k。对于这样的一个三元组,我们定义损失函数如下
    screenshot
    其中,screenshot是用户在商品j和k上的真实偏好程度,例如对于一次搜索展现引导的行为,可以设置偏好程度为:成交>加购>收藏>点击>PV。注意这里我们引入了Hinge loss,目的是当我们的模型排序正确时不去做冗余的抑制。此外,我们还使用了已有的一份数据screenshot,描述的是商品之间关于被购买行为的相似度矩阵。如果2个商品在被购买的行为上相似,那么它们在隐空间的向量应该是尽可能靠近的。因此,类似于经典的拉普拉斯特征映射(Laplacian Eigenmap),我们使用了一个正则项体现这项约束
    screenshot
      最后,我们需要优化的目标函数可以形式化为
    screenshot

    2.3.2实时双线性模型(Realtime Bayesian Personalized Bilinear Model)

    定义U为全体用户,I为全部商品,用户反馈S表示implicit feedback,screenshot,每个商品,Item(screenshot),由2部分组成,分别是静态特征(Static descriptors)和动态特征(Temporal characteristics); 每个用户,User(screenshot),同样由2部分组成,分别是特征(U)与用户ID(B);行为,screenshot(Interactive Feedback),其中screenshot是0/1(实际上也可以是实数,这里只考虑0/1的implicit feedback),表示用户u对商品i的偏好。

    我们排序的目标是对用户设置全部商品上的排序方案,screenshot,其中screenshot表示偏序关系。
    另外,我们定义screenshot为用户u点击的全部商品,screenshot为点击过商品i的全部用户。
    在bilinear model中,每个用户对商品的偏好表示为:
    screenshot
    D和C分别表示用户和商品的特征维度,B表示每个用户ID在商品特征上的偏移。将用户的B看做自身feature的一个稀疏维度,那么考虑商品有静态和动态2类属性,有:
    screenshot
    该模型可以看做是将用户feature的每个维度向item的每个维度做投影,然后在商品空间上做点乘,W表示投影矩阵。
    有了上面表示后,根据贝叶斯公式,我们求一个最大后验估计(MAP)。假设所有参数表示为screenshot,则后验分布为:
    screenshot
    右边第一项screenshot,这里screenshot这里表示判断函数。考虑到数据全局上的反对称性,可以对它进行简化:
    screenshot
    在已知
    screenshotscreenshot的情况下,偏好i与j的差值表示为:
    screenshot
    那么点击i而没有点击j的概率为:
    screenshot
    我们算法的目标是最大化后验,于是:
    screenshot

    2.3.3 实验与结果

    实时个性化算法的目标是在淘宝搜索中提升用户的搜索体验,提高流量效率。从指标上表现为搜索的NDCG/MRR等指标,以及线上的CTR等指标。
    下面2张图是一天的模型曲线,左图是矩阵分解的NDCG变化情况,右图是双线性模型的MRR变化情况。可以明显的看到随着模型的运行,MRR和NDCG值在不断上升,直接达到收敛。在收敛时候的指标值较最开始的初期,会有20%以上的提升。
    ss_pairwise_metrics

    3. 宏观实时(实时策略寻优,实时流量平衡)

    3.1 系统架构

    ss_macrorealtime_platform

    3.2 实时策略寻优

    从广义上讲,策略可以是非常宽泛的概念。但在这里我们讲的策略主要是指排序中的特征融合策略。说起特征融合,ltr(learn to rank)是最传统的特征融合方法,也在我们搜索排序得到了广泛应用。但传统的ltr在特定场景下有一些局限:
    a) 特征分无法通过历史数据准确获取。比如双11当天的实时特征分,日常流量下和大促流量下,特征分的分布完全不一样。
    b) ltr的优化目标是我们定义的一个目标函数,并不是最终的线上结果,但任何目标函数的假设,都与线上真实的目标有一定的gap。所以离线效果(比如NDCG)提升,并不代表线上测试效果一定提升。
    基于上面的局限性,今年我们尝试了另外一个思路,直接基于线上最终bts结果做策略优化。而bandit learning和zero-order优化是正是解决这类问题的方法。

    3.2.1 算法流程

    在学术领域,与bandit learning和zero-order 优化问题相关的方法非常多。但我们实际线上排序系统特征多,参数空间大,同时我们希望整体收益的最大化,即对不好的策略投入做尝试的流量尽量少,并尽快收敛到比效好的策略;因此,我们接合了bandit learning和zero-order opt设计整体算法流程图如下:
    基本的思路就是:先用MAB从有限的离散策略集合里面选出最优策略,然后在最优策略基础上用ZeroOrderOpt做连续参数空间的进一步寻优。在寻优过程中会不断把当前的最优策略全量到接受桶。
    screenshot

    3.2.2 Multi-Armed Bandit

    根据已知的知识找到最优的策略,同时还能发现是否有新的策略收益更大,这是典型的增强学习里的double E(exploitation and exploration)问题。定义N个策略集,μ1,..,μNN个策略收益分布的均值,每轮t选择某一个策略It=i,都可以得到其收益g(i,Yt),因此,在T轮之后,定义损失函数ρ=TμTt=1g(i,Yt)μ是每轮最大收益的均值,即μ=maxn{μn}。如果每一轮都选择都是最优的,那么损失ρ就等于0。定义g(i,Yt)的无偏估计g˜(i,Yt)
    screenshot
    显然,E[g˜(i,Yt)|I1,...,It1]=g(i,Yt)
    具体算法如下:screenshot
    其中βηγ是参数。
    首先需要选择参与融合的特征,然后将这些特征按照权重高、中、低档组合成候选策略集(特征a低中高 * 特征b低中高*..),并剔除一些人工认为不靠谱的策略。最终,我们选择N=18个策略。
    开始寻优时,会从所有测试捅中拿出m个桶做bandit,剩余的桶做接受桶。每轮按照概率p选择m个策略做测试,每轮测试半个小时。然后根据这半个小时的实时反馈数据计算收益g(i,Yt),并更新每个策略的概率pi,t。如此反复执行上述过程。同时每轮将当前概率pi,t最大的策略发送到接受桶。
    当MAB收敛后(某一两个策略的概率p明显胜出),因为策略集是有限的,全局最优的策略可能并不在里面,因此,我们会再采用extra gradient算法在连续参数空间内继续寻优,找出更优的策略。
    Question
    为什么MAB收敛前就发送接收桶了?
    Answer
    判断MAB(从候选离散策略集合选最优)是否收敛的目的是用来判断是否可以开始run ExtraGradient了(作为ExtraGradient的初值),MAB本身并不是一定要收敛才发送。因为MAB收敛需要时间(双11当天早上大概7点才第一次收敛),如果收敛之前不发送,那么这段时间(7点之前)接受桶的效果是浪费了的,没有享受到测试桶更好的效果。
    那么没有收敛的情况下是否能发送呢?
    a) 我们判断收敛的条件比较严格,即使没收敛当前的最优策略也是不错的。
    b) 我们在发送之前还有一个和接受桶做PK的最后保障环节(不管是否收敛都会有这个环节),PK赢了才会发送。


    3.3 实时流量调控

    3.3.1 关键词红包中的流量控制

    今年的双11红包有了很多不同于往年的新鲜玩法,其中个在搜索发放的关键词红包就利用到了实时流量调控技术。关键词红包发放有两个方面的要求:一方面,需要履行与商家签订的合同,完成承诺给商家的到店 uv 数量;另一方面,要求完成的过程是平稳可控的。在 uv 资源充分的情况下,只要设置较大的发放概率,就能完成第一个目标。 然而发放概率过大容易导致很快就会将一天的目标完成了, 达不到平稳发放的目的。 在这里,我们采用 PID 控制器技术来控制发放的速度。
    a) PID 控制器介绍
    在控制理论和实践中,PID 是一类广泛使用的控制方法。PID 是“比例-积分-微分”的简写, PID 控制器根据控制原理,对偏差进行比例、积分、微分的调节,从而使被控变量的实际值与既定目标保持一致。
    screenshot
    上图是PID控制系统的图示,其中 e(t) 是误差信号,u(t) 是控制量,Kp, Ki, Kd 分别是 P、I、D 的系数。
    比例(P)控制:直接针对误差进行比例调节,误差越大,比例信号输出越强。举个例子,热水器温度调节系统,当前温度离设定温度差异较大时,就会开启较强的加热功率,等到离设定温度很近时,加热就会缓一些了。
    积分(I)控制:对累积误差进行控制,其功能就是消除累积误差。
    微分(D)控制:以误差的变化率作为控制因素,例如温度上升较快时,虽然没有达到设定温度,微分控制此时会适当降低加热功率,而单纯的比例控制器则可能导致超调现象。

    3.3.2 搜索流量的平衡

    搜索作为流量一大入口,除了做好流量的利用效率,还需要从宏观上做一些流量平衡。比如集市和天猫之间流量平衡,大/小/腰部卖家之间的流量平衡。我们目标并不仅仅是短期成交的最大化,而是考虑平台长期利益,在一些流量平衡约束条件下的最大化。实时操作中也利用了PID控制器的技术。

    4. 双11实战效果

    上述实时计算体系在今年双11发挥了至关重要的作用,是我们搜索成交增长的核动力。下面是各业务线和基准桶(平时全流量生效的最优效果)对比的提升数据,以及带来的增量成交。
    pc搜索/手淘搜索
    预热期引导成交提升 11%,当天成交提升 8%
    天猫搜索/猫客搜索
    当天成交提升 7%
    店铺内搜索
    当天成交提升 3.4%
    总共带来的成交金额提升20亿+

    5. 结束语

    要感谢的人太多,搜索大部分同学都或多或少参与了实时计算体系的建设,要感谢大家的共同努力。
    去年双11,实时计算第一次在大促展露头角,并初露锋芒。今天双11,实时计算在各条业务线全面开花,实时计算体系也更加丰富。我们相信这远远不是终点,期待未来实时给我们带来更多的精彩!


    其实链路层的东西比较抽象,在中小型企业中不一定用得上,作为了解即可。



    展开全文
  • 双链路智能切换

    千次阅读 2015-08-27 15:13:34
    在上一期中,我们介绍了非常给力的双链路网吧解决方案,但在实际使用过程中,仍然有很多网吧老板抱怨。 一、 网吧老板的抱怨 这位淡定的网吧老板是这样反馈问题的: 1. 为了构建“妥妥的网吧”,俺花巨资...

    在上一期中,我们介绍了非常给力的双链路网吧解决方案,但在实际使用过程中,仍然有很多网吧老板抱怨。

    一、     网吧老板的抱怨

    这位淡定的网吧老板是这样反馈问题的:

    1.      为了构建“妥妥的网吧”,俺花巨资租用了电信、联通两条线路;

    2.      在专栏的指点下,俺做了“负载分担双链路”解决方案,俺也专门拔掉电信或者联通线路测试,发现的确可以切换,俺觉得很带感;

    3.      俺的双链路妥妥地运行了2个月,直到今天,使用电信线路的客户们说网络断了,而联通线路的PC还妥妥地;

    4.      俺也不是菜鸟,Ping了一下电信的出口网关,Ping不通,很纳闷,Ping不通为什么不切换,阿丘在忽悠俺,俺要讨个公道。

    二、     阿丘对这个问题的解答

    首先,对这位网吧老板充满理性光辉的叙述方式表示赞扬,叙述简单明了,故障现象非常到位。要解决这个问题,首先就要扭转一个先入为主的观点——出口和ICG网关是点到点连接的。我们之前见到的网络拓扑图,感觉ICG网关和互联网出口都是直接(点到点)相连的,只要接口Up,线路就没有问题,互联网出口就可以通,对于接口依然Up,出口却无法访问这种事情简直闻所未闻。那么我们是不是应该怀疑一下我们的ICG网关和互联网出口是直接相连这个命题的正确性。

    两家运营商——电信和联通对ICG这种用户网关的部署是海量的,而互联网出口则是以高性能著称,高性能的设备往往端口是有限的,在互联网出口的位置直接连接ICG网关的代价是不可接受的,运营商需要一种节约的方式——汇聚,将若干的ICG网关连接到汇聚交换机,如果汇聚交换机数量也是海量的,还可以对汇聚交换机再进行汇聚,其目的就是尽可能地将大量ICG网关的流量汇合起来,再统一通过高速的线路传输给互联网出口。从图上也可以看出,ICG网关的互联网出口,也就是默认路由的下一跳依然是在互联网出口上,非常给力地证明了我们怀疑的正确性。其实做维护工作就是要“大胆假设,小心求证”,如果要让我再添上一句话,那就是“大胆假设没关系,没有求证一场空”。

    三、     既然假设了,我们就要求证

    假设是电信汇聚交换机与电信出口的汇聚线路发生中断:

    1.      ICG网关的线路依然正常,也就是说端口E0/0的状态依然是Up的;

    2.      对于出接口是以太网接口(E0/0就是Ethernet0/0接口的简写)静态路由而言,以太网接口Up,这条静态路由就是Up的;

    3.      ICG网关配置到互联网出口的是两条静态默认路由,所以在这种情况中,到电信出口的静态路由依然生效;

    4.      由于电信静态路由生效,故有50%的PC选择这条线路,而我们知道由于汇聚线路故障,这50%的PC注定是杯具的。

    那么,是不是说,我们的任务是修复汇聚链路呢?那我不得不说,这有点“越俎代庖”了,何解:

    1.      ICG以上线路都是运营商维护;

    2.      网吧老板是运营商的客户,理论上是享有使用互联网服务、投诉互联网服务的权利;

    3.      维修互联网是电信的义务,而不是网吧老板的权利。

    所以,网吧老板要做的是:

    1.      拿起电话,拨打10000,告诉电信mm线路不通了;

    2.      小mm肯定会询问你一些简单的技术问题,以判断网吧老板是真的线路故障还是故意来捣乱聊天的;

    3.      那么,网吧老板就可以把刚开始向我反馈问题的方式,如实向小mm反馈一遍;

    4.      据我的经验,小mm会喜欢这个理性、淡定的网吧老板的,会很快安排技术人员去检查、维修线路。

    事情并没有完,电信只是答应去维修了,什么时候维修好,这就不好说了,网吧老板还营业呢,这段维修真空可不能让网吧业务有大的闪失。

    四、     阿丘的解决方案

    我们对Ping这个命令肯定很熟悉,我们通常利用Ping来判断线路正常还是不正常,比如在图中:

    1.      我们在ICG网关上Ping电信出口地址6.16.5.6;

    2.      Ping的过程分为两部分,首先是ICG网关发送回声探测请求给6.16.5.5(电信出口地址);

    3.      电信出口收到回声探测请求后,会进行回声探测响应,返回给ICG网关6.16.5.6。

    如果ICG网关收到回声探测响应,我们就认为这次Ping成功了。

    如果是因为任意一条线路故障,有如下2种可能:

    1.      电信网关收不到回声探测请求,也就是说ICG网关发出去的任何数据都到达不了电信出口;

    2.      电信网关收到了回声探测请求,但是回声探测响应在前往ICG网关的途中丢失,意味着电信网关发出的任何数据无法到达ICG网关;

    3.      无论哪种情况,Ping的结果就是失败,更直接地说,就是上不了网。

    因此,我们通常都是在怀疑线路存在故障的时候Ping一下,根据Ping的结果来判断线路正常与否。

    现在的问题是,网吧老板必须在知道有人上不去网了,才去Ping,Ping完再去拨打10000,然后再进行线路切换,这估计会损失20分钟,20分钟对于网游玩家、视频聊天的情侣来说,是不可接受的,会给网吧带来很严重的损失,我们在想是不是有个自动的机制替网吧老板做这种事情。

    下面有情NQA出场,NQA的全名叫网络质量分析(Network Quality Analysis),是用于测量端到端网络质量的,它的原理很简单:

    1.      根据用户设置,定期执行一些操作,最简单的操作就是Ping(回声探测机制);

    2.      自动记录每次探测的结果,如Ping成功就是OK,失败就是FAILED;

    3.      根据用户设置,自动根据结果采取动作,如连续3次FAILED,那么就触发机关;

    4.      触发机关可以和一些特性关联,比如静态路由,机关一旦被触发,静态路由自动失效;

    5.      有失效就有生效,也就是线路备份机制也被启发了,所有数据切换到备用线路。

    从这里我们可以得知NQA相当于一个自动代理,执行探测、联动功能。这么带感的东东,你是不是很感兴趣呢,我们来看一下举例的配置吧:

    #

    // 创建NQA探测实体telecom,序号1

    nqa entry telecom 1

     // 探测类型是ICMP-Echo,Echo翻译成中文叫回声

     type icmp-echo

      // 探测的目的IP地址是电信出口地址6.16.5.5

      destination ip 6.16.5.5

      // 设置next-hop也为6.16.5.5,防止从联通线路探测电信出口

      next-hop 6.16.5.5

      // 探测间隔为500ms

      frequency 500

      // 每个周期连续探测10次

      probe count 10

      // 探测超时时间2s,即探测发送后2s仍未收到响应,即认为探测失败

      probe timeout 2000

      // reaction意思是对探测结果的反应,下行配置翻译成中文就是如果连续3次探测失败将触发机关trigger

      reaction 1 checked-element probe-fail threshold-type consecutive 3 action-type trigger-only

      // 探测源接口是连接电信线路的Ethernet 0/0

      source interface Ethernet 0/0

      // 设置ttl为1,防止从联通线路探测电信出口

      ttl 1

    #

     // 设置机关联动组track,联动组关联NQA探测实体telecom 1的反应1

     track 1 nqa entry telecom 1 reaction 1

    #

     // 调度NQA探测实体telecom 1,从现在开始,永远探测

     nqa schedule telecom 1 start-time now lifetime forever

    #

     // 将通往电信的默认路由和机关联动组track绑定

     ip route-static 0.0.0.0 0.0.0.0 6.16.5.5 track 1 description telecom

    #

    以上配置在实际过程中是这么操作的:

    1.      线路正常情况下,NQA探测结果一直OK,所以不会触发机关;

    2.      一旦线路故障了,NQA可以在3.5s内连续检测到3次FAILED,立即触发机关;

    3.      机关被触发,立即联动电信静态路由失效;

    4.      电信静态路由失效,联通线路立刻全权接管,整个过程在5s以内完成;

    5.      如果NQA探测成功,机关触发取消,电信出口默认路由自动恢复。

    这下网吧老板应该开心了,自己亲力亲为30分钟未必能解决问题,使用NQA机器人,5s就完成了动作,网吧老板有丰富的时间去和电信反馈故障,同时网吧并未遭受到太多投诉。线路恢复,路由也自动恢复,相当省心给力。

    展开全文
  • 本篇是参加誉天教育的2020 华为ICT实践赛的赛前辅导讲解的AC双链路热备份的实验!


    实验拓扑

    在这里插入图片描述

    实验配置

    基本配置

    • AR1
    sys
    sys AR1
    int lo 0
     ip ad 10.1.1.1 32
    int g0/0/0
     ip ad 10.1.12.1 24
    
    • SW1
    sys
    sys SW1
    vlan batch 10 20
    int g0/0/1
     p l t
     p t p v 20
     p t a v a
    int g0/0/2
     p l t
     p t p v 20
     p t a v a
    int g0/0/3
     p l t
     p t a v a
    
    • SW2
    sys
    sys SW2
    vlan batch 10 12 20 21
    int vlan 10
     ip ad 10.1.10.2 24
    int vlan 12
     ip ad 10.1.12.2 24
    int vlan 21
     ip ad 10.1.0.3 24
    int vlan 20
     ip ad 10.1.254.2 24
    int g0/0/1
     p l a
     p d v 21
    int g0/0/2
     p l a
     p d v 21
    int g0/0/3
     p l a
     p d v 12
    int g0/0/4
     p l t
     p t a v a
    
    • AC1配置,将AC1的G0/0/1划分进默认的vlanif 1
    sys
    sys AC1
    int vlan 1
     ip ad 10.1.0.1 24
    int g0/0/1
     p l a
    
    • 配置缺省路由
    ip route-static 0.0.0.0 0.0.0.0 10.1.0.3
    
    • AC2配置
    sys
    sys AC2
    int vlan 1
     ip ad 10.1.0.2 24
    int g0/0/1
     p l a
    
    • 配置缺省路由
    ip route-static 0.0.0.0 0.0.0.0 10.1.0.3
    

    配置AC模板

    • 进入wlan视图,以下配置都在wlan视图下

    • 创建AP组

    wlan
     ap-group name AP_Group
    
    • 配置AP认证模式
    wlan
     ap auth-mode mac-auth
    
    • 根据AP的MAC地址绑定AP,并加入相应AP组
    wlan
     ap-id 1 ap-mac 00e0-fc4c-6f20
      ap-name Area_1
      ap-group AP_Group
     ap-id 2 ap-mac 00e0-fc45-70d0
      ap-name Area_2
      ap-group AP_Group
    
    • 配置国家码模板
    wlan
     regulatory-domain-profile name Code_Pro
      country-code CN
    
    • 配置SSID模板
    wlan
     ssid-profile name SSID_Pro
      ssid BAD-Boy
    
    • 配置安全模板
    wlan
     security-profile name SEC_Pro
      security wpa-wpa2 psk pass-phrase Huawei@123 aes
    
    • 将vlan-id、SSID模板、安全模板绑定VAP模板
    wlan
     vap-profile name VAP_Pro
      service-vlan vlan-id 10
      ssid-profile SSID_Pro
      security-profile SEC_Pro
    
    • AP组绑定国家码并设置射频频率
    wlan
     ap-group name AP_Group
      regulatory-domain-profile Code_Pro
      vap-profile VAP_Pro wlan 1 radio 0
      vap-profile VAP_Pro wlan 1 radio 1
    
    • 建立capwap隧道
    capwap source ip-address 10.1.0.1
    

    配置DHCP

    • AC1创建地址池
    ip pool AP_POOL
     gateway-list 10.1.254.2 10.1.10.2 
     network 10.1.254.0 mask 255.255.255.0 
     static-bind ip-address 10.1.254.20 mac-address 00e0-fc45-70d0 
     static-bind ip-address 10.1.254.10 mac-address 00e0-fc4c-6f20 
     option 43 sub-option 3 ascii 10.1.0.1
    
    • AC1接口下选择全局地址池
    dhcp enable
    int vlan 1
     dhcp select global
    
    • SW2的G0/0/4接口开启DHCP中继
    dhcp enable
    int vlan 20
     dhcp select relay
     dhcp relay server-ip 10.1.0.1
    
    • 业务VLAN启用DHCP
    dhcp enable
    int vlan 10
     dhcp select interface
    

    配置主备方式的双链路热备份

    • 配置双链路备份功能
    # AC1
    wlan
     ac protect enable
     ac protect protect-ac 10.1.0.2 priority 0
    
    # AC2
    wlan
     ac protect enable
     ac protect protect-ac 10.1.0.1 priority 1
    

    配置对端AC的IP,自身的优先级

    • 在AC上重启AP,下发双链路备份配置信息至AP
    wlan
     ap-reset all
    
    • 配置双机热备份功能,创建HSB主备服务0,并配置其主备通道IP地址和端口号
    # AC1
    hsb-service 0
     service-ip-port local-ip 10.1.0.1 peer-ip 10.1.0.4 local-data-port 10241 peer-data-port 10241
    
    • 配置将WLAN业务与NAC业务绑定AC1的HSB主备服务
    # AC1
    hsb-service-type ap hsb-service 0
     hsb-service-type access-user hsb-service 0
    
    • AC2也配置双机热备份
    # AC2
    hsb-service 0
     service-ip-port local-ip 10.1.0.1 peer-ip 10.1.0.4 local-data-port 10241 peer-data-port 10241
     q
    hsb-service-type ap hsb-service 0
    hsb-service-type access-user hsb-service 0
    
    • 查看双链路备份状态dis ac protect
    • 查看主备服务建立的情况dis hsb-service 0
      • Service State 为Connected表示建立成功

    测试

    • 可以看到一下现象

    在这里插入图片描述

    • 在STA上可以连接上配置的无线

    • STA可以获取到IP地址,并可以访问10.1.1.1


    以上内容均属原创,如有不详或错误,敬请指出。
    
    展开全文
  • 针对WDM光网络中的双链路故障,采用P-cycle与共享通路保护结合的方式来实现。其主要思路是:对给定的工作路径,在寻找一条与工作通路分离的保护通路的同时,再为工作通路上的每条链路寻找与保护通路部分分离的P-...
  • HP StorageWorks MSA SAN 存储阵列 - 双控制器双链路冗余的物理连接
  • 双链路LACP实施

    千次阅读 2011-11-13 16:35:06
    一、双链路的意义整个系统的“三高”(高可用性、高可靠性、高性能)是系统管理建设的目标。在当前的系统环境中,需要高屋建瓴的去设计我们整个系统各个层次的三高特性:1、 在应用服务器层面,物理机器构建了主备...
  • DS3400双机双链路配置

    2011-11-07 10:45:17
    DS3400双机双链路的配置 一. 目的: 用ds3400作为双机的存储单元,实现2台x3650在windows2003下的双机双链路热备。 二. 环境: 1. 主机:2台x3650 2. 系统:windows 2003 SP2 3. FC HBA:2块emulex 4Gb double...
  • DS3400双机双链路的配置,不可多得的学习资料。
  • dell 交换机 双链路冗余 公司海外机房引入2G带宽,是由2个电口绑定实现的。因业务需要扩容到3G,在绑定端口扩展性不太好,因此直接上10G光纤模块。 机房技术人员建议,2g老线路不撤做备份,3g新线路...
  • 拓扑图:需求:PC1和PC2主机访问http服务走ge-0/0...其余走ge-0/0/0(wan1)。配置过程:第一步,创建路由实例(routing-instance)setrouting-instanceswan1instance-typeforwardingsetrouting-instanceswan1routing-op...
  • 华为AC双机热备(双链路热备)

    千次阅读 2018-09-30 15:15:50
    一、配置AC1和AC2负载分担方式的双链路备份功能 在AC1上配置AC1作为AP1的主用AC、AP2的备用AC,AC2作为AP2的主用AC、AP1的备用AC[AC1-wlan-view] ac protect enableWarning: This operation maybe cause AP reset, ...
  • 关于DVI信号的各种特性,可以参考下表: 规格 信号 备注 DVI-I通道 数字/模拟 可转换VGA DVI-I单通道 数字/模拟 可转换VGA DVI-D通道 数字 不可转换VGA DVI-D单通道 数字 不可转换VGA DVI-A 模拟 已废弃
  • 双链路应用方案 公司之前一直使用的单链路联通,但是随着南方分公司的建立,普遍反映访问公司资源速度太慢,影响了正常工作,于是乎,又上了一条电信。 拓扑如下图: 2.jpg (10.34 KB) 2012-11-6 16:28 ...
  • 1. 电信联通双链路,电信为主(缺省路由),联通为辅 2. 内部一部分服务器需要外部访问, NAT到电信线路 3. 要求调度内网一部分用户走联通线路,却能够通过NAT后的电信公网IP访问内部服务器(假设 172.16.0.0/24) 4. 假设...
  • 何为双链路实时计算体系?微观实时计算链路 a) 最细粒度商品/店铺/用户数据的实时 b) 底层模型的实时宏观实时计算链路 相比微观实时,宏观实时的对象粒度更粗,更上层 a) 以实时效果为目标,基于bandit learning的...
  • 作为网络工程师经常会遇到用户双链路网络环境,对网络依赖性高的用户通常会采取双链路来保证网络的可靠性,也有的用户为了带宽扩容而增加链路,无论是哪种情况双链路都是为了帮助用户解决网络可靠性、负载分担、增加...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,478
精华内容 991
关键字:

双链路