精华内容
下载资源
问答
  • 实时远程医学影像产品对图像传输的失真、卡顿、延时的要求尤为严苛。在LiveVideoStackCon2019深圳大会上,华大智造音视频技术专家 黄翠萍详细了介绍如何在现有网络保障实时远...

     

    实时远程医学影像产品对图像传输的失真、卡顿、延时的要求尤为严苛。在LiveVideoStackCon2019深圳大会上,华大智造音视频技术专家 黄翠萍详细了介绍如何在现有网络保障实时远程医学影像的服务质量及在网络方面所做的优化。

     

    文 / 黄翠萍

    整理 / LiveVideoStack

    1

    产品介绍

    华大影像团队成立的意义:通过集成机器人技术、实时远程控制技术及超声影像技术,解决偏远地区、基层医疗机构缺少超声医生、以及现有医生超负荷工作的现状;打破传统超声诊疗方式的局限,克服时空的障碍,改善医疗资源分布不均衡的现状;使全民平等的享受优质的医疗服务。

    2

    面临挑战

    在远程医疗视频方面的挑战主要有三方面:失真、卡顿、延时。

    • 失真:医生最关注远程超声视频能否保证医生诊断准确,0误诊

    • 卡顿:超声影像为动态实时,出现卡顿,会导致医生需要反复确认,降低检查效率

    • 延时:医生通过操作远程机械臂进行超声检查,手法对应超声视频同步要求高

     

    为了应对挑战,首要任务是分析产品产生失真、卡顿、延时的原因是什么?

    失真主要由以下三个模块产生:

    • 发送端:数据采集、前处理、视频编码压缩产生失真;

    • 网络侧:丢包导致信息丢失及发送端为了缓解网络拥塞主动降码率产生失真;

    • 接收端:视频数据不全解码残帧产生失真。

    卡顿主要由三部分产生,人眼最高捕获帧率为30帧每秒,当帧间间隔分布不均、渲染帧率过低,人会感知卡顿。

    • 发送端:如果发送端发送的帧率偏低,例如通讯软件的帧率一般在15帧每秒,帧率的流畅性不符合医学要求;

    • 网络端:弱网延时过大、或视频帧丢失,会产生冥想卡顿;

    • 接收端:如果帧率为30帧每秒的帧率可以稳定的情况下,不会感觉明显卡顿,但是如果帧率不稳定,忽高忽低情况下,用户就会感知卡顿,会降低用户体验。

    根据ITU-T G.114国际标准规定,端到端的延时控制在200毫秒以内时,则用户体验良好,整体感知不到明显延时,对于我们产品的延时主要有两大类:固有延时和网络延时。

     

    • 系统固有延时:仅仅指端的采集、视频编解码的延时;

    • 网络延时:不仅仅指网络传输的延时,会增加抗网络丢包和抖动的手段,例如NACK、FEC本身引入的缓存所导致的延时,可以归类为网络延时。

     

    根据通讯行业标准规定,网络质量分为良好、较差、恶劣三个等级,实际在互联网应用中发现,大多数网络并不满足如图所示行业标准规定。一般网络环路延时大概在70、80毫秒左右,丢包在8%左右,因此如果想要提供良好的远程服务,控制系统的固有延时和网络延时需要在200毫秒以内。

    通过分析总结出4个模块内容可进行优化:

    • 降低系统固有失真优化

    • 降低系统固有延时优化

    • 视频播放帧率平滑优化

    • 网络抗丢包和抖动优化

    3

    应对措施

    对于医生面对产品所产生的顾虑:是否会导致误诊?

     

    使用体模方式把关超声视频质量,针对扫描不同的脏器器官购买了不同的体模,进行0失真验证;再增加psnr+ssim+vamf方式把关视频质量,以保证在任何情况下,在发送端发送0失真数据,完善把关方法后,就可以分析发送端到接收端中所有可优化的点,进而采取相应优化措施。结合网络质量动态优化编码算法,在高码率的情况下保证速度优先,低码率情况下保证质量优先,中等码率情况下均衡二者的关系。对于接收端,使用私有协议对视频报文、帧、帧间参考关系进行完整性判断,其中首先对RTP报文的完整性进行判断,如若不完整则使用HARQ进行重传修复,如若单帧不完整则采取丢帧操作等对应的操作,以保证接收端接受的信息无异常并且高质量及完整。

    网络RTT延时大多在80毫秒左右,同时要考虑RTT对NACK的影响等,留给系统的固有延时非常有限。因此进行端到端分析引入延时的点有:

    • 采集设备选型:视频采集帧率60fps。在医学实际应用中,很多情况要求采集帧率高,例如心脏科等。

    • 数据传输优化:减少采集数据转换。视频采集可用MGP或YUV格式,针对不同情况,选用对视频传输最有利的格式。

    • 编解码器优化:禁止编码B帧。

    • 渲染性能优化:openGL渲染。

    • 系统性能优化:热点函数优化、亲核设计。

    经过优化的超声系统的固有延时控制在40-50毫秒左右。

     

    如若没有经过任何缓存,直接播放情况下视频播放时间由:采集时间、编码延时、解码延时、渲染延时共同决定,对于以上几种延时情况较为稳定,而网络传输延时是影响视频能否平稳播放的主要因素,因此系统就需要根据网络延时情况配置合理的缓存时间,同时,接收端使用滤波算法,综合考虑传输大帧引起的延时、网络噪声引起的延时以及帧间间隔,计算合理的视频播放时间,平滑渲染帧率,以保证视频平稳播放。

    • 冗余协议局限性及优化

    常用的抗网络丢包方法有冗余、重传和SVC编码,但这三种方法各有优缺点。例如RFC 2198冗余协议的性价比低;XOR_FEC协议性价比略高,但恢复能力有限;RS_FEC冗余算法的恢复能力强,但合适的冗余度配置度较难。

    常规算法:当前丢包率、丢包率加权平均值(恢复能力差)、窗口期最大丢包率(带宽利用率低)。

    远程超声冗余度配置方法:卡尔曼+窗口期最大丢包率加权平均值,同时使用多帧FEC冗余机制和深度优化参数,根据视频帧率、RTT环路延时,动态调整FEC冗余帧数,以保证视频传输实时性。

    • 重传协议局限性及优化

    ACK重传:TCP常用,收到报文则进行ACK响应,其缺点是带宽利用率低,效率差

    NACK重传:音视频领域常用,带宽利用率明显提升,其缺点是受RTT延时影响严重。在环路延时较大时,会引入系统延时高。

    针对RTT延时对NACK的影响较严重的问题,针对不同情况提出三种应对策略:

    1. RTT延时在50ms以下,适合使用ONLY NACK保护机制。即使用RTT/2作为是否进行丢包缓冲延时的判别标志;使用重传次数的RTT倍的时长作为是否进行多次重传延时的判别标志。

    2. RTT延时在50-100ms之间,适合使用HARQ,以FEC数据恢复为主,NACK辅助。

    3. RTT延时在100ms以上,则不适合使用NACK保护机制,否则用户延时感知明显。

    • 时间可适编码局限性及优化

    SVC时间可适性编码:通过改变帧间参考关系,降低丢一帧导致整个GOP都不可用的概率,但是增加了时间冗余度信息,导致编码后的码率上升。对于超声影像,帧间幅度的改变较小,但每增加一层Temporal Layer,实测码率会上浮10%。

    低延时、低丢包网络下,仅使用NACK抗丢包保护。

    高延时、高丢包网络下,仅使用SVC抗丢包保护。

    其他情况,使用SVC+HARQ抗丢包保护,策略是,在SVC不同TL层,使用不同的FEC、NACK保护力度,重点保护TL0层,尽力保护其余层。

    • 智能选路

    由于NAT原因,很多网络不能丢P2P,需要租用服务器,但是网络中跨运营商之间易产生大量丢包,例如从移动切换到电信网络,丢包至少10%,因此需要租用多台BGP网络服务器。

    对于多台BGP网络服务器的路径选择问题,使用心跳机制(目前所使用的方式)或使用RTX重传报文、FEC冗余报文实时探测网络RTT、丢包率等网络QOS,根据反馈,综合考虑负载均衡等因素,动态调整网络传输路径。

    4

    成果展示

    如图是项目应用情况,经过若干优化工作后,目前远程超声项目可以在RTT延时100毫秒以内,网络丢包30%以内,实现0失真、0卡顿、低延时传输。

    5

    未来展望

    华大智造是为了解决就医难而成立,未来有以下几方面的展望:

    • 远程计移动超声诊断:借助5G网络,进一步将远程计移动超声覆盖更多有需要的地方;

    • 医学影像云服务:综合5G+AI+云技术,为医生和患者提供更快捷、更准确的诊断体验。

    通过不断技术更新,进而实现智慧医院整体方案和智慧医疗平台。

    相关链接

    LiveVideoStackCon 2020

    上海/北京/旧金山 讲师招募

    2020年LiveVideoStackCon将持续迭代,LiveVideoStackCon将分别在上海(6月13-14日),北京(9月11-12日)和旧金山(11月)举行。欢迎将你的技术实践、踩坑与填坑经历、技术与商业创业的思考分享出来,独乐不如众乐。请将个人资料和话题信息邮件到 speaker@livevideostack.com 或点击【阅读原文】了解成为LiveVideoStackCon讲师的权益与义务,我们会在48小时内回复。

    展开全文
  • 链路层的双链路--大型服务器的优化体系 一直在潜水,不过朋友可在相关QQ群找我,哈也可以加我工作QQ; 之前有朋友问过,链路层的东西,其实很抽象,刚好看到相关的内容,在此分享一下;   可以...

    链路层的双链路--大型服务器的优化体系


    一直在潜水,不过朋友可在相关QQ群找我,哈也可以加我工作QQ;
    之前有朋友问过,链路层的东西,其实很抽象,刚好看到相关的内容,在此分享一下;

     
    可以参考下面的文章:

    0. 前言

    何为双链路实时计算体系?
    微观实时计算链路
    a) 最细粒度商品/店铺/用户数据的实时
    b) 底层模型的实时
    宏观实时计算链路
    相比微观实时,宏观实时的对象粒度更粗,更上层
    a) 以实时效果为目标,基于bandit learning的实时策略寻优
    b) 以流量实时匀速化投放为目标,基于PID控制理论的实时流量调控
    在整个实时计算算法优化工作中,金榕教授给予了细致指导,使得项目得以顺利开发和落地。

    1. 搜索实时计算体系

    1.1 系统架构

    ss_realtime_platform

    1.2 重要组件介绍

    Pora:

    Pora是淘宝搜索基于iStream(自主研发的运行在Hadoop YARN上的实时计算引擎)+ HBase基础平台打造的一套实时计算和在线学习系统,支持在秒级别内对海量用户行为及其相关联的海量商品作实时分析处理,从中提取多维度的用户/商品数据特征,并采用分布式Parameter Server架构进行在线学习,从而使用户行为可以在几秒内影响搜索排序等在线服务。Pora目前已经应用于实时个性化搜索/推荐、实时反作弊、实时流量优化等诸多领域。
    双11期间,Pora实现7*24持续运行无重启,双11当天共处理消息量1300亿,峰值QPS 500万。

    iGraph:

    iGraph是淘宝搜索打造的实时在线图存储与查询的系统,可以提供大规模KV/KKV数据的存储、查询、更新和计算服务。目前支持了包括搜索/推荐个性化在内的众多业务线。
    双11期间,iGraph 访问峰值QPS 245W,同时支持大规模实时数据更新,如用户实时点击表峰值更新QPS 28WQPS,用户信息表 40W QPS

    SP :

    SP(search planer)是搜索面向前端应用的统一服务接口,根据用户指定的查询条件制定查询计划,查询包括QP,igraph,ISearch5引擎在内的各个搜索后端系统,得到最终结果返回个前端。SP通过将业务逻辑从前端往后端下沉,简化了搜索调用逻辑,提升了前端系统性能。

    Isearch5引擎:

    ISearch5是搜索最新一代引擎平台,服务于淘宝、天猫、B2B等各个搜索业务线,支持秒级实时索引,数据实时更新等众多特性。

    实时报表系统:

    基于Galaxy平台的实时报表系统,实时统计分平台/桶/策略/商品类型/用户类型等多维度业务指标数据(包括但不限于曝光,点击,成交与加购等)。该系统提供分钟级别的实时反馈精度,让算法、产品、运营同学能够在功能升级、大促、运营推广中及时准确了解业务指标的变化,通过强大的数据闭环功能为快速响应及决策提供依据。该系统同时提供了丰富的使用接口,为算法同学在大促中在线寻优提供了可靠实时数据。

    BtsServer:

    BtsServer是搜索的分桶测试管理服务平台,能够随时调整每个分桶的测试内容。依托实时报表系统产出的实时数据,今年在BtsServer平台上开发了实时策略寻优和实时流量调控两个模块,可以根据实时报表做智能化的分桶测试寻优,实现整体效果的最优化。

    2. 在线学习

    数据和模型是算法的两大核心,14年基于Pora我们现实了数据的实时更新。15年我们又在Pora上开发了基于Parameter Server架构的在线学习框架,实现了模型的实时更新。
    why在线学习?
    在batch learning中,一般会假设样本独立服从一个未知的分布D,学习得到的模型都是基于该分布的,如果分布变化,模型效果会明显降低。而在实际业务中,很多数情况下,一个模型生效后,样本的分布会发生大幅变化,因此学到的模型并不能很好的fit线上数据。而实时模型,能通过不断的去拟合最近的线上数据,解决这一问题;同时实时模型还能catch用户和商品的实时特征,因此效果会较离线模型有较大提升,特别是在实时数据极为丰富的情况下,例如双11和双12这种大促。
    why秒级更新?
    相比历史长期模型,小时级模型和纯实时秒级模型的时效性都有大幅提升,为什么我们选择了纯实时模型?一个方面是系统工程能力的允许,另外更重要的原因是业务需要,特别是在双11这种成交爆发力强,变化剧烈的场景,秒级实时模型时效性的优势会更加明显。下图是大家都看到的今年双11实时成交额情况,前面1小时已经完成了大概总成交的1/3,小时模型无法很好的catch这段时间里面的变化。
    ss_201511111_hour_trans

    2.1 在线学习框架

    ss_onlinelearning_platform
    模块介绍:
    Sample Worker:处理日志生成训练样本,Fetch最新的模型计算特征梯度
    FeatureHQ:将相同特征的梯度送到同一个FeatureWorker
    Feature Worker:接收梯度,计算更新模型
    Hbase:模型存储(lr模型的w,ftrl的z,n,矩阵分解的user,item向量)

    特点:异步,并行,平台化
    异步,并行:整个训练过程就像不断迭代的map-reduce,需要注意的是Sample Worker中的各个worker和Feature Worker中的各个worker是完全异步的,并没有做任何同步。一开始我们也非常担心这种纯异步的sgd训练方式是否有问题,但实验发现这套系统能够很好做到模型收敛,并且得到和同步训练差不多的准确性。
    平台化:做为一个在线学习框架,我们不仅仅只是提供现成的算法,也可以让大家能够在这个框架下方便地开发实现自己定制的在线学习算法。目前是把三个主要的接口开放给开发者自己来实现:CalcSample(样本采样,样本特征,目标构建),CalcGradient(梯度计算),CalcWeight(模型更新)

    目前这套在线学习框架已经支持训练样本百亿级别/每天,特征十亿级别。包括pc搜索,手淘搜索,天猫搜索,聚划算,淘金币在内的多个业务场景已经有10+的在线模型跑在上面。

    2.2 pointwise model

    2.2.1 LR/FTRL

    Logistical Regression(逻辑回归)作为最常用算法之一,是我们实现的第一个在线学习算法。随后在lr基础上了做了简单的改动实现了Ftrl,模型更新(CalcWeight的实现)这一步不同。这里就不介绍lr和ftrl的原理了,有非常多的资料可以参考。下面说一下遇到的一些问题:
    a) 纯异步训练的收敛性和准确性
    前面提到过,异步训练的收敛性和准确性是我们非常担心的点,实际的实验效果表明模型能够正确收敛,并且准确性和离线同步训练比也差异不大。
    下面是某一场景下的ctr预估应用在不同训练方式下的auc对比:
    在线异步训练的auc比离线同步训练的auc是要差一点,但差异很小。有初值下效果更好一点。都远好于使用历史长期模型(历史数据训练的模型)的效果。
    ss_ftrl_auc
    b) 模型稳定性
    模型不稳定是在线学习在实际应用中遇到的一个大问题,比如在搜索排序场景下,如果短时间内模型变化太大,会造成排序结果剧烈变化,用户体验不连续。为了解决这个问题,预测打分的时候使用模型的平均值,可以有效地平滑掉这种不稳定。
    实际操作中,还可以考虑把最开始的n轮去掉后再做平均(无初值情况下,最开始n轮模型的效果可能还比较差)。
    当然了,模型的稳定性和时效性是一个trade off,为了兼顾这两点,更好的做法是使用移动平均(当前轮的前面t轮模型做平均)。
    c) 热点问题
    通过前面的框架图可以看到,feature worker其实就是一个reduce的过程。如果存在热点特征,比如截距特征beta0,这类特征的梯度会非常非常多,会造成这个特征所在的feature worker处理不过来,出现阻塞,从而造成这个worker节点上的所有特征的更新都延迟。为了解决这个问题,我们在sample worker上做了feature grad的合并(类似于mapreduce的map节点做local combine),大幅减少了往FeatureHQ发送的数据。

    2.2.2 Online AUC Optimization

    与online LR/FTRL 不同的是,在线学习中有一类是直接针对 AUC 进行优化的算法。AUC 直接优化是 NP-Hard,但有一些近似算法能够进行高效的求解。我们实现了 AUC 最大化算法- One-Pass AUC (Refence One-Pass AUC Optimization, Wei Gao, Rong Jin, Lu Wang, Shenghuo Zhu, Zhi-Hua Zhou. Artificial Intelligence Journal, 2014 )

    2.3 pairwise model

    why pair-wise?
    在搜索中,算法更关注的是商品的排序,而不是单个商品的算分。使用point-wise算法,是通过回归单个样本的分数从而得到排序效果;而使用pair-wise算法,是直接优化商品之间的序关系。因此从loss的角度来看,point-wise上会有不必要的约束,这些约束常常会对序关系产生负向影响;pair-wise算法目标明确,是没有这些约束的。另外,从工程框架上来开,日志的不均匀会对point-wise的算法产生极大的不良影响,而pair-wise则不受此干扰。
    因此,我们设计了一套针对排序优化的实时协同过滤框架,并在这个框架上设计和实现了2个pair-wise算法。2个算法均有实时和离线2部分,离线模型会作为实时模型的初始值使用,使用ODPS Graph实现;在线模型由PORA实现。下面会简单介绍模型的含义和实验结果

    2.3.1 实时矩阵分解(Realtime Matrix Factorization for Ranking with Side Information)

    假设我们有m个用户和n个商品,除用户向量screenshot和向量_2015_08_05_10_36_52外,我们还为每个商品j学习一个bias,screenshot。此时的我们将每个用户对每一个商品的偏好标示为:
    screenshot
    在搜索排序中,我们更关注的是商品之间的顺序,而不是模型对偏好程度的预测值和真实值之间的平方误差或绝对值误差。从搜索日志中我们抽取训练三元组screenshot,其中每一个三元组screenshot表示用户i更偏好商品j,相比于商品k。对于这样的一个三元组,我们定义损失函数如下
    screenshot
    其中,screenshot是用户在商品j和k上的真实偏好程度,例如对于一次搜索展现引导的行为,可以设置偏好程度为:成交>加购>收藏>点击>PV。注意这里我们引入了Hinge loss,目的是当我们的模型排序正确时不去做冗余的抑制。此外,我们还使用了已有的一份数据screenshot,描述的是商品之间关于被购买行为的相似度矩阵。如果2个商品在被购买的行为上相似,那么它们在隐空间的向量应该是尽可能靠近的。因此,类似于经典的拉普拉斯特征映射(Laplacian Eigenmap),我们使用了一个正则项体现这项约束
    screenshot
      最后,我们需要优化的目标函数可以形式化为
    screenshot

    2.3.2实时双线性模型(Realtime Bayesian Personalized Bilinear Model)

    定义U为全体用户,I为全部商品,用户反馈S表示implicit feedback,screenshot,每个商品,Item(screenshot),由2部分组成,分别是静态特征(Static descriptors)和动态特征(Temporal characteristics); 每个用户,User(screenshot),同样由2部分组成,分别是特征(U)与用户ID(B);行为,screenshot(Interactive Feedback),其中screenshot是0/1(实际上也可以是实数,这里只考虑0/1的implicit feedback),表示用户u对商品i的偏好。

    我们排序的目标是对用户设置全部商品上的排序方案,screenshot,其中screenshot表示偏序关系。
    另外,我们定义screenshot为用户u点击的全部商品,screenshot为点击过商品i的全部用户。
    在bilinear model中,每个用户对商品的偏好表示为:
    screenshot
    D和C分别表示用户和商品的特征维度,B表示每个用户ID在商品特征上的偏移。将用户的B看做自身feature的一个稀疏维度,那么考虑商品有静态和动态2类属性,有:
    screenshot
    该模型可以看做是将用户feature的每个维度向item的每个维度做投影,然后在商品空间上做点乘,W表示投影矩阵。
    有了上面表示后,根据贝叶斯公式,我们求一个最大后验估计(MAP)。假设所有参数表示为screenshot,则后验分布为:
    screenshot
    右边第一项screenshot,这里screenshot这里表示判断函数。考虑到数据全局上的反对称性,可以对它进行简化:
    screenshot
    在已知
    screenshotscreenshot的情况下,偏好i与j的差值表示为:
    screenshot
    那么点击i而没有点击j的概率为:
    screenshot
    我们算法的目标是最大化后验,于是:
    screenshot

    2.3.3 实验与结果

    实时个性化算法的目标是在淘宝搜索中提升用户的搜索体验,提高流量效率。从指标上表现为搜索的NDCG/MRR等指标,以及线上的CTR等指标。
    下面2张图是一天的模型曲线,左图是矩阵分解的NDCG变化情况,右图是双线性模型的MRR变化情况。可以明显的看到随着模型的运行,MRR和NDCG值在不断上升,直接达到收敛。在收敛时候的指标值较最开始的初期,会有20%以上的提升。
    ss_pairwise_metrics

    3. 宏观实时(实时策略寻优,实时流量平衡)

    3.1 系统架构

    ss_macrorealtime_platform

    3.2 实时策略寻优

    从广义上讲,策略可以是非常宽泛的概念。但在这里我们讲的策略主要是指排序中的特征融合策略。说起特征融合,ltr(learn to rank)是最传统的特征融合方法,也在我们搜索排序得到了广泛应用。但传统的ltr在特定场景下有一些局限:
    a) 特征分无法通过历史数据准确获取。比如双11当天的实时特征分,日常流量下和大促流量下,特征分的分布完全不一样。
    b) ltr的优化目标是我们定义的一个目标函数,并不是最终的线上结果,但任何目标函数的假设,都与线上真实的目标有一定的gap。所以离线效果(比如NDCG)提升,并不代表线上测试效果一定提升。
    基于上面的局限性,今年我们尝试了另外一个思路,直接基于线上最终bts结果做策略优化。而bandit learning和zero-order优化是正是解决这类问题的方法。

    3.2.1 算法流程

    在学术领域,与bandit learning和zero-order 优化问题相关的方法非常多。但我们实际线上排序系统特征多,参数空间大,同时我们希望整体收益的最大化,即对不好的策略投入做尝试的流量尽量少,并尽快收敛到比效好的策略;因此,我们接合了bandit learning和zero-order opt设计整体算法流程图如下:
    基本的思路就是:先用MAB从有限的离散策略集合里面选出最优策略,然后在最优策略基础上用ZeroOrderOpt做连续参数空间的进一步寻优。在寻优过程中会不断把当前的最优策略全量到接受桶。
    screenshot

    3.2.2 Multi-Armed Bandit

    根据已知的知识找到最优的策略,同时还能发现是否有新的策略收益更大,这是典型的增强学习里的double E(exploitation and exploration)问题。定义N个策略集,μ1,..,μNN个策略收益分布的均值,每轮t选择某一个策略It=i,都可以得到其收益g(i,Yt),因此,在T轮之后,定义损失函数ρ=TμTt=1g(i,Yt)μ是每轮最大收益的均值,即μ=maxn{μn}。如果每一轮都选择都是最优的,那么损失ρ就等于0。定义g(i,Yt)的无偏估计g˜(i,Yt)
    screenshot
    显然,E[g˜(i,Yt)|I1,...,It1]=g(i,Yt)
    具体算法如下:screenshot
    其中βηγ是参数。
    首先需要选择参与融合的特征,然后将这些特征按照权重高、中、低档组合成候选策略集(特征a低中高 * 特征b低中高*..),并剔除一些人工认为不靠谱的策略。最终,我们选择N=18个策略。
    开始寻优时,会从所有测试捅中拿出m个桶做bandit,剩余的桶做接受桶。每轮按照概率p选择m个策略做测试,每轮测试半个小时。然后根据这半个小时的实时反馈数据计算收益g(i,Yt),并更新每个策略的概率pi,t。如此反复执行上述过程。同时每轮将当前概率pi,t最大的策略发送到接受桶。
    当MAB收敛后(某一两个策略的概率p明显胜出),因为策略集是有限的,全局最优的策略可能并不在里面,因此,我们会再采用extra gradient算法在连续参数空间内继续寻优,找出更优的策略。
    Question
    为什么MAB收敛前就发送接收桶了?
    Answer
    判断MAB(从候选离散策略集合选最优)是否收敛的目的是用来判断是否可以开始run ExtraGradient了(作为ExtraGradient的初值),MAB本身并不是一定要收敛才发送。因为MAB收敛需要时间(双11当天早上大概7点才第一次收敛),如果收敛之前不发送,那么这段时间(7点之前)接受桶的效果是浪费了的,没有享受到测试桶更好的效果。
    那么没有收敛的情况下是否能发送呢?
    a) 我们判断收敛的条件比较严格,即使没收敛当前的最优策略也是不错的。
    b) 我们在发送之前还有一个和接受桶做PK的最后保障环节(不管是否收敛都会有这个环节),PK赢了才会发送。


    3.3 实时流量调控

    3.3.1 关键词红包中的流量控制

    今年的双11红包有了很多不同于往年的新鲜玩法,其中个在搜索发放的关键词红包就利用到了实时流量调控技术。关键词红包发放有两个方面的要求:一方面,需要履行与商家签订的合同,完成承诺给商家的到店 uv 数量;另一方面,要求完成的过程是平稳可控的。在 uv 资源充分的情况下,只要设置较大的发放概率,就能完成第一个目标。 然而发放概率过大容易导致很快就会将一天的目标完成了, 达不到平稳发放的目的。 在这里,我们采用 PID 控制器技术来控制发放的速度。
    a) PID 控制器介绍
    在控制理论和实践中,PID 是一类广泛使用的控制方法。PID 是“比例-积分-微分”的简写, PID 控制器根据控制原理,对偏差进行比例、积分、微分的调节,从而使被控变量的实际值与既定目标保持一致。
    screenshot
    上图是PID控制系统的图示,其中 e(t) 是误差信号,u(t) 是控制量,Kp, Ki, Kd 分别是 P、I、D 的系数。
    比例(P)控制:直接针对误差进行比例调节,误差越大,比例信号输出越强。举个例子,热水器温度调节系统,当前温度离设定温度差异较大时,就会开启较强的加热功率,等到离设定温度很近时,加热就会缓一些了。
    积分(I)控制:对累积误差进行控制,其功能就是消除累积误差。
    微分(D)控制:以误差的变化率作为控制因素,例如温度上升较快时,虽然没有达到设定温度,微分控制此时会适当降低加热功率,而单纯的比例控制器则可能导致超调现象。

    3.3.2 搜索流量的平衡

    搜索作为流量一大入口,除了做好流量的利用效率,还需要从宏观上做一些流量平衡。比如集市和天猫之间流量平衡,大/小/腰部卖家之间的流量平衡。我们目标并不仅仅是短期成交的最大化,而是考虑平台长期利益,在一些流量平衡约束条件下的最大化。实时操作中也利用了PID控制器的技术。

    4. 双11实战效果

    上述实时计算体系在今年双11发挥了至关重要的作用,是我们搜索成交增长的核动力。下面是各业务线和基准桶(平时全流量生效的最优效果)对比的提升数据,以及带来的增量成交。
    pc搜索/手淘搜索
    预热期引导成交提升 11%,当天成交提升 8%
    天猫搜索/猫客搜索
    当天成交提升 7%
    店铺内搜索
    当天成交提升 3.4%
    总共带来的成交金额提升20亿+

    5. 结束语

    要感谢的人太多,搜索大部分同学都或多或少参与了实时计算体系的建设,要感谢大家的共同努力。
    去年双11,实时计算第一次在大促展露头角,并初露锋芒。今天双11,实时计算在各条业务线全面开花,实时计算体系也更加丰富。我们相信这远远不是终点,期待未来实时给我们带来更多的精彩!


    其实链路层的东西比较抽象,在中小型企业中不一定用得上,作为了解即可。



    展开全文
  • 大数据驱动5G网络与服务优化

    千次阅读 2019-01-23 14:03:29
    针对5G网络的新特点,系统阐述了大数据在5G网络中的大规模天线与分布式天线、无线接入网资源管理、异构接入组网、云网、移动边缘计算、终端与云端的智能、SDN与NFV、网络切片、跨层联合优化、源选路优化等方面可能的...

     

    摘要5G时代的到来将进一步加速移动数据的发展。介绍了移动大数据的来源,分析了大数据分析在5G网络优化中的应用方向。针对5G网络的新特点,系统阐述了大数据在5G网络中的大规模天线与分布式天线、无线接入网资源管理、异构接入组网、云网、移动边缘计算、终端与云端的智能、SDN与NFV、网络切片、跨层联合优化、源选路优化等方面可能的应用。并结合5G大数据的特点,分析了其在智慧城市、智慧医疗、智慧交通、工业互联网方面的应用。

     

     

         在这里相信有许多想要学习大数据的同学,大家可以+下大数据学习裙:957205962,即可免费领取套系统的大数据学习教程 

     

    1 引言

     

    5G时代即将到来。和4G网络相比,5G网络在各个方面都有很大提升,不仅传输速率更高,而且在传输中还呈现出增强移动宽带、超可靠低时延、广覆盖大连接的特点。如果说1G~4G主要面向个人通信,那么5G则扩展到工业互联网和智慧城市应用。根据《Cisco VNI:global mobile data traffic forecast update,2016–2021》的数据显示,2016—2021年全球移动数据流量增长7倍,平均年增47%,增长速度非常快。3G时代全球每个用户每个月的连接流量只有3 GB,4G时代这个数值已经达到了6 GB,5G时代将达到30 GB(是4G网络平均连接流量的4.7倍)。2017年我国每个用户每个月产生的移动数据流量为1.775 GB,是2016年的2.3倍,与全球平均水平相当。而且2018年上半年的数据已经远远超过了2017年的全年数据,也就是说,5G时代的到来将进一步加速移动数据的发展。按照《中华人民共和国国民经济和社会发展第第十三个五年规划纲要》的要求,5G网络将在2020年商用。

     

    2 移动大数据的来源

     

    移动大数据包括用户产生的数据和运营商产生的数据,其中用户产生的数据包括自媒体数据和富媒体数据,运营商产生的数据包括日志数据和基础网络数据。在运营商的网络上有很多环节可以进行数据采集,在终端可以采集路测(DT)/最小化路测(MDT)、测试报告(MR)、传输分组大小、使用习惯、终端类型等数据;在基站端可以获得用户的位置信息、用户通话记录(CDR)、链路状态信息(CSI)、接收信号强度(RSSI)等数据;通过后台的运维系统可以采集测量、信令、话务统计等数据;通过互联网可以采集新闻、资讯、地图、视频、聊天、应用等数据。也就是说,在运营商的网络中不但可以获得业务类型、上下行流量、访问网站等业务数据,还能掌握整个信道的状况。

    如图1所示,5G网络应是以用户为中心、上下文感知与先应式的网络,且5G无线网可实现通信、缓存与计算能力的汇聚,因此在网络运营管理设计时,需要利用大数据技术进行优化,在网络体系架构设计时要适应大数据的传送,以实现5G网络的运营智能化和网络智能化。

     

    图1 大数据分析在5G网络优化中的应用

     

    5G网络是数据终端到数据中心的主要通道,如图2所示。从互联网、物联网终端或移动用户处采集的数据,通过具有边缘缓存和计算能力的基站和无线接入网进行数据预处理与存储,最后通过核心网络将数据传输给数据中心和云计算中心进行数据分析。5G网络除了传输数据终端的数据之外,智能终端的多功能业务还将触发终端与回传网络和核心网络内数百个服务器、路由器和交换机的各种交互。例如一个用户的HTTP请求可能只有1 KB,而内部数据流可能会增加930倍。因此,5G网络不仅要承载移动用户数据,还要承载来自不同后台、数据库、缓存服务器和网关以及回传链路的数据。

     

    图2 5G网络是数据终端到数据中心的主要通道

     

    3 5G系统中大数据分析能力的设置

     

    5G系统的数据分析应该在核心网大数据平台和基站端进行。在核心网大数据平台应进行数据清洗、解析、格式化、统计分析、可视化等数据分析,按照内容预测算法执行计算并推断策略内容,然后主动地将决策指令存储在具有缓存能力的基站中,从而将决策行为从云传递到边缘(即基站)。而基站端负责收集上下文信息(如用户观看时长和位置信息),对用户空间-时间行为进行分析与预测,对数据进行汇总、压缩与加密,同时从核心网大数据平台获得决策指令。具有缓存能力的基站可以使大众内容靠近用户,改进用户体验并减轻回传网的负载。经过统计,当网络中有16个具有13 GB存储容量和30%的内容分级的基站时,采用主动缓存方式可以获得100%的用户满意度和98%的回传卸载。缓存能力可以部署在无线接入网或核心网,或者两处均部署,缓存能力的分配也需要靠积累运行数据做出优化决策。

     

    4 大数据支撑5G网络优化的方向

     

    4.1 大数据支撑大规模天线与分布式天线

     

    5G将使用大规模天线(MIMO),天线数高达128个,甚至是256个。高阶MIMO为每条信道提供一条赋形的天线发射波束,实现空分复用,但各波束间存在干扰,降低了MIMO的效率,需要收集密集波束间的干扰数据,并基于系统的计算能力进行复杂的优化。此外,网络终端在基站中心接收的功率比较大,在基站边缘接收的信号比较差。此问题可以利用分布式天线解决,但是分布式天线互相之间也有干扰,如果能够收集到所有天线的信道数据和干扰数据,通过大数据分析技术对所有无线访问接入点(access point,AP)进行联合信号处理,就可以指导各天线和微基站实现对干扰的抵消,容量可较LTE系统提高约2个量级。此外,如果可以收集到MIMO数据和网络数据,并利用大数据技术进行分析决策,就可以提高定位精度。随着三维仿真、三维射线追踪技术的发展,通过室内天线和WLAN技术的结合,还能精确定位用户在室外或室内,甚至用户所在的具体楼层。

     

    4.2 大数据支撑5G无线接入网资源管理

     

    2G、3G时代的无线接入网是多层次的网络,在这种网络结构下,潮汐效应经常导致基站忙闲不均。因此4G系统将网络进行了扁平化设计,将基站分解为基带处理单元(BBU)和射频拉远模块(RRU),多个基站的BBU可集中为基带池,实现集约化资源利用。5G网络将BBU功能进一步分解为集中单元(CU)与分布单元(DU), CU可管理多个DU,实现干扰管理与业务聚合,DU实现多天线处理与前传压缩,灵活应对传输与业务需求变化,优化实时性能,降低硬件成本。这样的设计也可以更靠近用户,有利于集中化的管理。然而,一个CU管理多少个DU,需要基于大量用户空间-时间行为的大数据来优化设计,特别是如何从能效的角度实现忙闲时不同的资源调配。

     

    4.3 大数据分析支撑异构接入组网

     

    由于5G网络的频段很高、带宽很大,若采用高功率的宏基站,则布设与运营成本高,但采用大量微基站,则干扰严重,且难以进行站点选址优化。以上问题可以通过以下几种方式解决。

    ● 宏微蜂窝混合组网。宏蜂窝负责广覆盖,支持高优先级业务;微蜂窝实现热点覆盖,面向低优先级高速业务。

    ● 控制面与数据面分离组网。大量微基站需要集中化管理,以防止干扰,将控制面信令数据与数据面用户数据分离,控制面信令数据接入宏蜂窝。这样,终端在微基站之间切换就不影响宏基站信令了,而且通过小区分簇化集中控制,可以解决小区间的干扰协调和负载均衡的问题。

    ● 上下行解耦异构组网。终端的MIMO数远少于基站,上行覆盖低于下行;在蜂窝边缘,可采用“5G下行+4G上行”的异构方式运行。

    通过分析可以看出,传统移动网络的控制面、用户面、上下行数据链路都在同一个蜂窝小区内。而5G网络的控制面、用户面可以接入不同的基站,上下行可以接入不同的蜂窝,甚至分别在4G和5G系统,每个终端可能同时接入不止一个基站。因此,具体选择接入哪个基站和哪个系统,应该根据用户的分布数据和网络负载来决定,此时就要用到大数据的分析和决策方法。

     

    4.4 大数据支撑5G云网

     

    如图3所示,5G网络是一个云化的网络,包括接入云、转发云、控制云。接入云是指在微蜂窝超密集覆盖的场景下,一簇微基站组成虚拟小区,实现微基站之间的资源协同管理和干扰协调;转发云是指各业务流共享高速存储转发与防火墙及视频转码等各类业务使能单元;控制云包括网络资源管理、网络能力开放、控制逻辑等模块。此外,在5G的场景下还可以有移动云计算、移动边缘计算(mobile edge computing,MEC)、微云和飞云(femtocloud)等多种云,它们可以被部署在无线网的不同位置,其配置需要借助网络和用户大数据分析来寻优。

     

    图3 云化5G网络

     

    4.5 大数据优化5G移动边缘计算

     

    为适应视频、虚拟现实/增强现实与车联网等业务的时延要求,减轻核心网带宽的压力,需将这些业务的存储和内容分发下沉到MEC处理。5G网络不仅可在边缘感知和分析数据,而且可在亚秒或毫秒内触发响应措施,所有的数据无缝地从云平台转到大量的端点或从大量的端点转到云平台。那么哪些业务需要放到云计算中心处理,哪些业务需要下沉到MEC处理,这需要基于网络收集到的业务流数据进行分析。

     

    4.6 大数据支撑 5G终端与云端的智能

     

    现在智能终端的能力非常强,但是在终端上的人工智能处理能力还是有限的。比如手机智能可完成2D人脸识别,但识别效果容易受光线、角度和表情及化妆等的影响,而且识别的是照片还是真人也不好区分,现在的3D人脸识别就需要利用网络云端的智能来处理,从而提供安全的识别能力。云计算可强化无线网,有效支持诸如增强现实等计算强度的应用,将用户端很重的计算任务卸载到云端。然而,无论是终端还是云端的智能,都需要基于大数据的分析。如AI需要训练与推断,训练包括前向计算和后向更新(通过大数据调整模型参数),推断主要是前向计算,将训练得到的模型用于应用。通常云端负责训练和推断,终端只负责推断。因此仅靠终端的计算与软件能力的发展还不够,很多智能应用也需要云端的支持,如云端训练和云端推理、云端训练和终端推理。

     

    4.7 大数据支撑软件定义网络与网络功能虚拟化

     

    软件定义网络(SDN)全局优化路由的能力来自对全网流量流向、跨层网络资源大数据及业务流QoS需求大数据的掌控与分析,需要很强的计算能力支撑,以实现网络路由的快速收敛和稳定。网络功能虚拟化(NFV)功能的选择也基于网络大数据的分析。

     

    4.8 大数据支撑5G网络切片

     

    5G很重要的功能是网络切片。5G需要支持不同的业务需求,如超宽带业务、低时延业务、大连接业务。若带宽不一样,那么对网络的性能要求也不一样,切片是网络转发资源的分割,不同切片间的业务相互隔离,切片的实现涉及转发面与控制面功能,每个切片上可以运行不同的L2/L3网络协议。为不同业务需求的用户组织不同的切片,需要利用深度分组检测(DPI)数据建立预测模型,精准预测热点数据请求。网络资源在切片间分配的联合优化,也需要利用网络资源大数据进行学习和分析。

     

    4.9 基于大数据实现 5G跨层联合优化

     

    5G网络中,IP层的选路适用于细颗粒的业务流,但时延大;MAC层的交换适用于大颗粒的业务流,但时延也较大;灵活以太网中继的业务流颗粒较大,但优点是时延低。对于每一种业务流来说,选择在哪一层做交换或路由是一个跨层联合优化问题,可以借助网络大数据进行优化。

     

    4.10 借助网络大数据优化5G源选路

     

    切片分组网(SPN)基于切片以太网和分段选路(SR)技术,用于中传和回传。

    传统的IP网络按无连接方式工作,对具有相同源地址和相同目的地址的同属一次通信的各IP分组进行独立处理,不考虑它们前后的关联,同属一次通信的各IP分组在沿途各节点均独立选路,甚至会走不同的路由,这是在互联网之初的网络可靠性不高的情况下,以时延和效率为代价换取灵活性和生存性。现在的网络性能已有很大的改进,如果按照每次通信中首个分组的特征来配置数据平面的设备(即配置流表),那么该次通信的后续数据分组被抽象为同一流,同一次通信的后续各IP分组无需再选路。由于在源节点已设置了有序的指令集,标识了沿途经过的节点或链路,这些节点无需感知业务状态,只需维护拓扑信息,简单地按配置流表执行转发功能,这就相当于面向连接分组的通信,显著提升了网络效率。因此,分段选路又称源选路,它无需LDP/RSVP-TE等信令协议,适合接受SDN的控制。源选路指令集的设计需要借助网络大数据来优化。

     

    4.11 大数据支持5G核心网基于服务的体系

     

    在基于服务的网络体系(SBA)方面,网络功能在4G是网元的组合,在5G是通过API交互的业务功能的组合,业务被定义为自包含、可再用和独立管理。业务的解耦便于快速部署和维护网络;轻型的接口便于引入新特性;模块化为网络切片提供灵活性;使用HTTP的API代替Diameter作为公共控制协议,更容易调用网络服务。

    然而,针对每一次会晤所调用的服务是否最优、网络资源分配是否公平合理、同时进行的多个会晤所用的服务有无冲突、以API方式新增加的服务类型与功能是否与网络能力兼容这些问题,不能仅依靠运维人员的经验,还需要利用网络大数据来支撑。

     

    4.12 大数据对视频业务传输体验的保障

     

    视频是5G的主要应用场景,也是运营商的每用户平均收入(average revenue per user,ARPU)的重要支撑。但视频的传输质量受到以下因素的影响:

    ● 回传路径太长,时延超标;

    ● 因无线空口信道干扰或系统负载忙,使每一移动终端可获得的带宽受限,导致视频信号传输控制协议(TCP)端到端时延过长,吞吐率下降;

    ● 将OTT视频仅作为一般互联网业务对待,没有服务质量(QoS)保障;

    ● 对于视频会议业务,可能因上行分组数据汇聚协议(packet data convergence protocol,PDCP)丢失而停止视频接收。

    因此,需要考虑基于业务流的大数据,对无线接入网(RAN)和App进行相互感知,例如网络协助基于HTTP的动态自适应流(dynamic adaptive streaming over HTTP,DASH)、视频感知调度等,实现对基于Web的视频流的深度跨层优化和本地内容缓存。目前,3GPP已经开始研究改进上下文感知引擎,允许空口和核心网将流数据的指示传到5G的控制面,实现对单个用户或整个网络的流管理。

     

    5 5G大数据在其他领域中的应用

     

    前文介绍的是大数据在5G网络中的应用,然而结合了大数据的5G网络更大的应用领域应该在社会生活中,如智慧城市、智慧医疗、智慧交通、工业互联网等。5G大数据可以提供上下文感知、预测、规律发现、认知等功能,分别实现实时修正、下一步最佳措施、下一步自动应对、最好的决策的目的,见表1。

     

     

    6 结束语

     

    5G时代的到来正在加快无线大数据的增长。大数据在社会与产业各领域都将有广泛的应用,并产生重要影响。大数据对5G网络的发展(如网络体系架构的设计、运维的提效和服务体验的提升等)将起到强化和优化的作用。大数据在5G网络的应用有很广阔的空间,同时也面临不少挑战,需要解决数据挖掘计算复杂度、时效性、能效、安全性等问题,同时也给5G网络标准化和实现提出了很多创新课题。

    展开全文
  • Windows NT/2000服务器优化

    万次阅读 2006-12-13 16:04:00
    现在有很多人都认为微软的东西漏洞太多,微软的...不会作各种安全设置,所以才会让人有现在网上的NT/2000服务性安全性都很差的感觉,其实NT/2000的服务器如果真的做好了各项安全设置之后,其安全性绝对不会比nix系统差
         
    
    现在有很多人都认为微软的东西漏洞太多,微软的系统安全性极差,不过通过我在做各种系统的安全配置的过程中我总结出了一些经验,特拿来与各位共享,其实各种系统都有很多漏洞,只不过微软的东西用的人最多,普遍又是水平不是很高,不会作各种安全设置,所以才会让人有现在网上的NT/2000服务性安全性都很差的感觉,其实NT/2000的服务器如果真的做好了各项安全设置之后,其安全性绝对不会比nix系统差,如果你按照下面我说的做,我可以保证你95%以上的安全性,100%我可不敢保证,当然你必须要及时打上微软的各种大大小小的补丁,呵呵,是谁,谁拿香蕉皮扔我,站出来!!呵呵,废话少说,转入正题。
      1.初级篇:NT/2000系统本身的定制安装与相关设置
      用NT(2000)建立的WEB站点在所有的网站中占了很大一部分比例,主要因为其易用性与易管理性,使该公司不必再投入大量的金钱在服务器的管理上,这一点优于unix系统,不必请很专业的管理员,不必支付一份可以节省的高薪,呵呵,当然unix的管理员也不会失业,因为其开放源码和windows系统无与伦比的速度,使得现在几乎所有的大型服务器全部采用unix系统。但对于中小型企业来说windows已经足够,但NT的安全问题也一直比较突出,使得一些每个基于NT的网站都有一种如履薄冰的感觉,在此我给出一份安全解决方案,算是为中国的网络安全事业做出一份贡献吧 (说明:本方案主要是针对建立Web站点的NT、2000服务器安全,对于局域网内的服务器并不合适。)
      一、 定制自己的NT/2000 SERVER
      1. 版本的选择:
      WIN2000有各种语言的版本,对于我们来说,可以选择英文版或简体中文版,我强烈建议:在语言不成为障碍的情况下,请一定使用英文版。要知道,微软的产品是以Bug &Patch而著称的,中文版的Bug远远多于英文版,而补丁一般还会迟至少半个月(也就是说一般微软公布了漏洞后你的机子还会有半个月处于无保护状况)
      2. 组件的定制:
      win2000在默认情况下会安装一些常用的组件,但是正是这个默认安装是极度危险的你应该确切的知道你需要哪些服务,而且仅仅安装你确实需要的服务,根据安全原则,最少的服务+最小的权限=最大的安全。典型的WEB服务器需要的最小组件选择是:只安装IIS的Com Files,IIS Snap-In,WWW Server组件。如果你确实需要安装其他组件,请慎重,特别是:Indexing Service, FrontPage 2000 Server Extensions, Internet Service Manager (HTML)这几个危险服务。
      二、 正确安装NT/2000 SERVER
      不论是NT还是2000,硬盘分区均为NTFS分区;
      说明:
      (1) NTFS比FAT分区多了安全控制功能,可以对不同的文件夹设置不同的访问权限,安全性增强。
      (2) 建议最好一次性全部安装成NTFS分区,而不要先安装成FAT分区再转化为NTFS分区,这样做在安装了SP5和SP6的情况下会导致转化不成功,甚至系统崩溃。
      (3) 安装NTFS分区有一个潜在的危险,就是目前大多数反病毒软件没有提供对软盘启动后NTFS分区病毒的查杀,这样一旦系统中了恶性病毒而导致系统不能正常启动,后果就比较严重,因此及建议平时做好防病毒工作。
      (4)分区和逻辑盘的分配。有一些朋友为了省事,将硬盘仅仅分为一个逻辑盘,所有的软件都装在C驱上,这是很不好的,建议最少建立两个分区,一个系统分区,一个应用程序分区,这是因为,微软的IIS经常会有泄漏源码/溢出的漏洞,如果把系统和IIS放在同一个驱动器会导致系统文件的泄漏甚至入侵者远程获取ADMIN。推荐的安全配置是建立三个逻辑驱动器,第一个大于2G,用来装系统和重要的日志文件,第二个放IIS,第三个放FTP,这样无论IIS或FTP出了安全漏洞都不会直接影响到系统目录和系统文件。要知道,IIS和FTP是对外服务的,比较容易出问题。而把IIS和FTP分开主要是为了防止入侵者上传程序并从IIS中运行。
      (5)安装顺序的选择:win2000在安装中有几个顺序是一定要注意的: 首先,何时接入网络:Win2000在安装时有一个漏洞,在你输入Administrator密码后,系统就建立了ADMIN$的共享,但是并没有用你刚刚输入的密码来保护它,这种情况一直持续到你再次启动后,在此期间,任何人都可以通过ADMIN$进入你的机器;同时,只要安装一完成,各种服务就会自动运行,而这时的服务器是满身漏洞,非常容易进入的,因此,在完全安装并配置好win2000 SERVER之前,一定不要把主机接入网络。 其次,补丁的安装:补丁的安装应该在所有应用程序安装完之后,因为补丁程序往往要替换/修改某些系统文件,如果先安装补丁再安装应用程序有可能导致补丁不能起到应有的效果,例如:IIS的HotFix就要求每次更改IIS的配置都需要安装
      三、 安全配置NT/2000 SERVER
      即使正确的安装了WIN2000 SERVER,系统还是有很多的漏洞,还需要进一步进行细致地配置。
      1.端口:端口是计算机和外部网络相连的逻辑接口,也是计算机的第一道屏障,端口配置正确与否直接影响到主机的安全,一般来说,仅打开你需要使用的端口会比较安全,配置的方法是在网卡属性-TCP/IP-高级-选项-TCP/IP筛选中启用TCP/IP筛选,不过对于win2000的端口过滤来说,有一个不好的特性:只能规定开哪些端口,不能规定关闭哪些端口,这样对于需要开大量端口的用户就比较痛苦。
      2.IIS:IIS是微软的组件中漏洞最多的一个,平均两三个月就要出一个漏洞,而微软的IIS默认安装又实在不敢恭维,所以IIS的配置是我们的重点,现在大家跟着我一起来:首先,把C盘那个什么Inetpub目录彻底删掉,在D盘建一个Inetpub(要是你不放心用默认目录名也可以改一个名字,但是自己要记得)在IIS管理器中将主目录指向D:/Inetpub;其次,那个IIS安装时默认的什么scripts等虚拟目录一概删除,如果你需要什么权限的目录可以自己慢慢建,需要什么权限开什么。(特别注意写权限和执行程序的权限,没有绝对的必要千万不要给)第三,应用程序配置:在IIS管理器中删除必须之外的任何无用映射,必须指的是ASP,ASA和其他你确实需要用到的文件类型,例如你用到stml等(使用server side include),实际上90%的主机有了上面两个映射就够了,其余的映射几乎每个都有一个凄惨的故事:htw, htr, idq, ida……想知道这些故事?去查以前的漏洞列表吧。在IIS管理器中右击主机->属性->WWW服务编辑->主目录配置->应用程序映射,然后就开始一个个删吧(里面没有全选的,嘿嘿)。接着在刚刚那个窗口的应用程序调试书签内将脚本错误消息改为发送文本(除非你想ASP出错的时候用户知道你的程序/网络/数据库结构)错误文本写什么?随便你喜欢,自己看着办。点击确定退出时别忘了让虚拟站点继承你设定的属性。安装新的Service Pack后,IIS的应用程序映射应重新设置。(说明:安装新的Service Pack后,某些应用程序映射又会出现,导致出现安全漏洞。这是管理员较易忽视的一点。)
      为了对付日益增多的cgi漏洞扫描器,还有一个小技巧可以参考,在IIS中将HTTP404 Object Not Found出错页面通过URL重定向到一个定制HTM文件,可以让目前绝大多数CGI漏洞扫描器失灵。其实原因很简单,大多数CGI扫描器在编写时为了方便,都是通过查看返回页面的HTTP代码来判断漏洞是否存在的,例如,著名的IDQ漏洞一般都是通过取1.idq来检验,如果返回HTTP200,就认为是有这个漏洞,反之如果返回HTTP404就认为没有,如果你通过URL将HTTP404出错信息重定向到HTTP404.htm文件,那么所有的扫描无论存不存在漏洞都会返回HTTP200,90%的CGI扫描器会认为你什么漏洞都有,结果反而掩盖了你真正的漏洞,让入侵者茫然无处下手,不过从个人角度来说,我还是认为扎扎实实做好安全设置比这样的小技巧重要的多。
      最后,为了保险起见,你可以使用IIS的备份功能,将刚刚的设定全部备份下来,这样就可以随时恢复IIS的安全配置。还有,如果你怕IIS负荷过高导致服务器满负荷死机,也可以在性能中打开CPU限制,例如将IIS的最大CPU使用率限制在70%。
    3.帐号策略:(1)帐号尽可能少,且尽可能少用来登录;
      说明:网站帐号一般只用来做系统维护,多余的帐号一个也不要,因为多一个帐号就会多一份被攻破的危险。
      (2)除过Administrator外,有必要再增加一个属于管理员组的帐号;
      说明:两个管理员组的帐号,一方面防止管理员一旦忘记一个帐号的口令还有一个备用帐号;另方面,一旦黑客攻破一个帐号并更改口令,我们还有有机会重新在短期内取得控制权。
    (3)所有帐号权限需严格控制,轻易不要给帐号以特殊权限;
      (4)将Administrator重命名,改为一个不易猜的名字。其他一般帐号也应尊循这一原则。
      说明:这样可以为黑客攻击增加一层障碍。
      (5)将Guest帐号禁用,同时重命名为一个复杂的名字,增加口令,并将它从Guest组删掉;
      说明:有的黑客工具正是利用了guest 的弱点,可以将帐号从一般用户提升到管理员组。
      (6)给所有用户帐号一个复杂的口令(系统帐号出外),长度最少在8位以上,且必须同时包含字母、数字、特殊字符。同时不要使用大家熟悉的单词(如microsoft)、熟悉的键盘顺序(如qwert)、熟悉的数字(如2000)等。
      说明:口令是黑客攻击的重点,口令一旦被突破也就无任何系统安全可言了,而这往往是不少网管所忽视的地方,据我们的测试,仅字母加数字的5位口令在几分钟内就会被攻破,而所推荐的方案则要安全的多。
      (7)口令必须定期更改(建议至少两周该一次),且最好记在心里,除此以外不要在任何地方做记录;另外,如果在日志审核中发现某个帐号被连续尝试,则必须立刻更改此帐号(包括用户名和口令);
      (8)在帐号属性中设立锁定次数,比如改帐号失败登录次数超过5次即锁定改帐号。这样可以防止某些大规模的登录尝试,同时也使管理员对该帐号提高警惕。
      4.安全日志:Win2000的默认安装是不开任何安全审核的!
      那么请你到本地安全策略->审核策略中打开相应的审核,推荐的审核是:
      账户管理 成功 失败
      登录事件 成功 失败
      对象访问 失败
      策略更改 成功 失败
      特权使用 失败
      系统事件 成功 失败
      目录服务访问 失败
      账户登录事件 成功 失败
      审核项目少的缺点是万一你想看发现没有记录那就一点都没辙;审核项目太多不仅会占用系统资源而且会导致你根本没空去看,这样就失去了审核的意义。 与之相关的是:
      在账户策略->密码策略中设定:
      密码复杂性要求 启用
      密码长度最小值 6位
      强制密码历史 5次
      最长存留期 30天
      在账户策略->账户锁定策略中设定:
      账户锁定 3次错误登录
      锁定时间 20分钟
      复位锁定计数 20分钟
      同样,Terminal Service的安全日志默认也是不开的,我们可以在Terminal Service Configration(远程服务配置)-权限-高级中配置安全审核,一般来说只要记录登录、注销事件就可以了。
      5.目录和文件权限:为了控制好服务器上用户的权限,同时也为了预防以后可能的入侵和溢出,我们还必须非常小心地设置目录和文件的访问权限,NT的访问权限分为:读取、写入、读取及执行、修改、列目录、完全控制。在默认的情况下,大多数的文件夹对所有用户(Everyone这个组)是完全敞开的(Full Control),你需要根据应用的需要进行权限重设。
      在进行权限控制时,请记住以下几个原则:
      1>限是累计的:如果一个用户同时属于两个组,那么他就有了这两个组所允许的所有权限;
      2>拒绝的权限要比允许的权限高(拒绝策略会先执行)如果一个用户属于一个被拒绝访问某个资源的组,那么不管其他的权限设置给他开放了多少权限,他也一定不能访问这个资源。所以请非常小心地使用拒绝,任何一个不当的拒绝都有可能造成系统无法正常运行;
      3>文件权限比文件夹权限高;
      4>利用用户组来进行权限控制是一个成熟的系统管理员必须具有的优良习惯之一;
      5>仅给用户真正需要的权限,权限的最小化原则是安全的重要保障;
      6.只安装一种操作系统;说明:安装两种以上操作系统,会给黑客以可乘之机,利用攻击使系统重启到另外一个没有安全设置的操作系统(或者他熟悉的操作系统),进而进行破坏。
      7.安装成独立的域控制器(Stand Alone),选择工作组成员,不选择域;
      说明:主域控制器(PDC)是局域网中队多台联网机器管理的一种方式,用于网站服务器包含着安全隐患,使黑客有可能利用域方式的漏洞攻击站点服务器。
      8.将操作系统文件所在分区与WEB数据包括其他应用程序所在的分区分开,并在安装时最好不要使用系统默认的目录,如将/WINNT改为其他目录;
      说明:黑客有可能通过WEB站点的漏洞得到操作系统对操作系统某些程序的执行权限,从而造成更大的破坏。同时如果采用IIS的话你应该在其设置中删除掉所有的无用的映射,同时不要安装索引服务,远程站点管理与服务器扩展最好也不要要,然后删掉默认路径下的www,整个删,不要手软,然后再硬盘的另一个硬盘建立存放你网站的文件夹,同时一定记得打开w3c日志纪录,切记(不过本人建议采用apache 1.3.24)
      系统安装过程中一定本着最小服务原则,无用的服务一概不选择,达到系统的最小安装,多一个服务,多一份风险,呵呵,所以无用组件千万不要安装!
      9.关于补丁:在NT下,如果安装了补丁程序,以后如果要从NT光盘上安装新的Windows程序,都要重新安装一次补丁程序, 2000下不需要这样做。
      说明:
      (1) 最新的补丁程序,表示系统以前有重大漏洞,非补不可了,对于局域网内服务器可以不是最新的,但站点必须安装最新补丁,否则黑客可能会利用低版本补丁的漏洞对系统造成威胁。这是一部分管理员较易忽视的一点;
      (2) 安装NT的SP5、SP6有一个潜在威胁,就是一旦系统崩溃重装NT时,系统将不会认NTFS分区,原因是微软在这两个补丁中对NTFS做了改进。只能通过Windows 2000安装过程中认NTFS,这样会造成很多麻烦,建议同时做好数据备份工作。
      (3) 安装Service Pack前应先在测试机器上安装一次,以防因为例外原因导致机器死机,同时做好数据备份。
      尽量不安装与WEB站点服务无关的软件;
      说明:其他应用软件有可能存在黑客熟知的安全漏洞。
      10.解除NetBios与TCP/IP协议的绑定:说明:NetBois在局域网内是不可缺少的功能,在网站服务器上却成了黑客扫描工具的首选目标。方法:NT:控制面版——网络——绑定——NetBios接口——禁用 2000:控制面版——网络和拨号连接——本地网络——属性——TCP/IP——属性——高级——WINS——禁用TCP/IP上的NETBIOS
      11.删除所有的网络共享资源,在网络连接的设置中删除文件和打印共享,只留下TCP/IP协议。
      说明:NT与2000在默认情况下有不少网络共享资源,在局域网内对网络管理和网络通讯有用,在网站服务器上同样是一个特大的安全隐患。(卸载“Microsoft 网络的文件和打印机共享”。当查看“网络和拨号连接”中的任何连接属性时,将显示该选项。单击“卸载”按钮删除该组件;清除“Microsoft 网络的文件和打印机共享”复选框将不起作用。)
      方法:
      (1)NT:管理工具——服务器管理器——共享目录——停止共享;
      2000:控制面版——管理工具——计算及管理——共享文件夹———停止共享。
      但上述两种方法太麻烦,服务器每重启一次,管理员就必须停止一次。
      (2)修改注册表:
         运行Regedit,然后修改注册表在HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Services/LanmanServer/Parameters下增加一个键
      
      Name: AutoShareServer
      Type: REG_DWORD
      value: 0
      然后重新启动您的服务器,磁盘分区共享去掉,但IPC共享仍存在,需每次重启后手工删除。
      12.改NTFS的安全权限;说明:NTFS下所有文件默认情况下对所有人(EveryOne)为完全控制权限,这使黑客有可能使用一般用户身份对文件做增加、删除、执行等操作,建议对一般用户只给予读取权限,而只给管理员和System以完全控制权限,但这样做有可能使某些正常的脚本程序不能执行,或者某些需要写的操作不能完成,这时需要对这些文件所在的文件夹权限进行更改,建议在做更改前先在测试机器上作测试,然后慎重更改。
      13.加强数据备份;说明:这一点非常重要,站点的核心是数据,数据一旦遭到破坏后果不堪设想,而这往往是黑客们真正关心的东西;遗憾的是,不少网管在这一点上作的并不好,不是备份不完全,就是备份不及时。数据备份需要仔细计划,制定出一个策略并作了测试以后才实施,而且随着网站的更新,备份计划也需要不断地调整。
      14.只保留TCP/IP协议,删除NETBEUI、IPX/SPX协议;说明:网站需要的通讯协议只有TCP/IP,而NETBEUI是一个只能用于局域网的协议,IPX/SPX是面临淘汰的协议,放在网站上没有任何用处,反而会被某些黑客工具利用。
     
     
    展开全文
  • 最全的Windows7 服务优化、详解。

    千次阅读 2013-01-16 14:13:34
     这是我个人根据网上提供的服务优化说明来修改的(【】号里就是我自己设定的),我是以安装了卡巴斯基和金山网镖的前提下关闭一些系统自带的防火墙和安全的服务,家庭电脑使用不错。大家使用看看~基本上优化后系统...
  • seo简介及优化

    千次阅读 2012-08-03 17:49:05
    seo简介及优化   seoSEO(Search Engine Optimization),汉译为搜索引擎优化,是较为流行的网络营销方式,主要目的是增加特定关键字的曝光率以增加网站的能见度,进而增加销售的机会。分为站外SEO和站内SEO两种...
  • 首先讲分布式事务处理,这里还是以交易创建为例,交易创建过程会跟多个服务进行交互,并且有些服务依赖,比如扣减库存,锁券服务,必须保持一致性。 二阶段/多阶段协议这种方式很重,当时并没有采纳 。 ...
  • -- 优化专题: 整理一系列的专题:比如APK瘦身、插件化、程序架构、性能优化、自定义view、增量升级、移动开发各种技术解决方案等。 Android后期发展的五大趋势:一、性能优化;二、高级UI;三、JNI/NDK开发;...
  • 在客户端这一侧,则会做很多自动脚本的回归,保障整个客户端新做的代码跟原来相比没有什么问题。另外还引入了比较多的静态代码扫描,保证不会出现低级问题。 3.运维支撑 移动App的运维支撑跟线上不太一样。...
  • Oracle数据库性能优化杂谈

    千次阅读 2016-04-22 13:48:53
    这里影响执行效率的主要因素有:驱动表的选择(将限制性最强的表作为驱 动表,必要时可以使用优化器提示)、多表联接的顺序(两两联接的顺序)、联接 方法与索引的配合等。高效地处理多表联接是提高复合查询效率的...
  • ORACLE数据库优化和备份

    千次阅读 2012-05-17 00:05:54
    Oracle SQL 性能优化:1.选用适合的ORACLE优化器 ORACLE的优化器共有3种 A、RULE (基于规则) b、COST (基于成本) c、CHOOSE (选择性) 设置缺省的优化器,可以通过对init.ora文件中OPTIMIZER_MODE参数的各种声明,如...
  • weblogic优化

    千次阅读 2007-04-04 18:09:00
     JMS提供了有力的消息处理机制,但是为了最大限度的提高JMS系统的性能,应避免使用不需要使用的特征,同时也要注意必要的事项。比如:尽量使用接收程序能直接使用的最简单、最小的消息类型;消息选择器要尽可能...
  • SQL优化

    千次阅读 2015-01-09 13:45:06
    一、问题的提出   在应用系统开发初期,由于开发数据库数据比较少,对于...系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据,劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍,可见对于一个
  • 程序员这样优化简历,一投制胜

    万次阅读 多人点赞 2016-02-24 07:30:15
    行业领域的话,互联网、智慧城市、企业服务等都可以。 还有,我之前都在小公司摸爬滚打,现在希望到比较大一点的公司里体验一下不同的工作氛围。 在锁定职位的过程中,还要考虑自己当前的劣势,以便在简历和...
  • 如何在 SQL 数据库优化 索引,SQL索引优化-技巧 出处:http://www.cr173.com/html/8688_all.html 在数据库存优化设计中往往会提到索引,这编文章就来详细的说明一下在 SQL SERVER 下面的建立索引的技巧和需要注意...
  • 优化全集

    千次阅读 2007-09-19 07:58:00
    1 电脑优化全集 一、系统优化设置 1、删除Window
  • Openfire 性能优化

    千次阅读 2015-07-09 12:14:53
    并停止Openfire自己的Roster服务,在管理控制台设置 xmpp.client.roster.active = false 2,AuthProvider,这里是登陆模块,可以继承接口重写一个属于自己的Provider。 重写authenticate方法,将登陆验证请求...
  • SEO优化步骤是什么

    千次阅读 2018-08-01 17:35:58
    SEO优化其实是网站优化的一部分,大意就是搜索引擎优化,无论是网站内部优化,还是站外优化,都包含其中,从而提高搜索引擎上的排名,起到直接销售或者企业品牌推广的作用,保障企业通过线上服务获得足够的利润。...
  • SQL优化-索引、查询优化及分页算法方案 (一)深入浅出理解索引结构  实际上,您可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引:聚集索引(clustered index,也称聚类索引、簇集索引)和非...
  • 网站优化 SEO概念

    千次阅读 2011-08-01 14:04:23
    编辑词条 seo目录 ...最新公开的SEO优化公式 网站SEO中遇到的问题 SEO安全 搜索引擎优化(SEO)专业术语 SEO优势 SEO项目实施6大步 SEO实施过程中主要相关人员 影响SEO优化的主要因素
  • Android应用性能优化实践

    千次阅读 2016-07-14 18:07:07
    Android系统不断进化,开发者优化应用的手段也在变多。本文作者总结归纳了Android性能优化的原则,讲解如何使用现有的工具去分析解决性能问题,并结合自身实践给出了常用的内存优化技巧。 本文出自:UDI COHEN,...
  • 加速优化android应用

    千次阅读 2015-11-18 20:37:52
    几周之前,我在Droidcon NYC上有过一次关于Android性能优化的演讲。 我在这个演讲中花费了大量的时间,因为我想通过真实的例子展现性能问题,以及我是通过什么样的工具去发掘这些问题的。因为时间原因,在演讲中我...
  • 企业应用优化之道

    千次阅读 2004-10-18 16:03:00
    最近根据 江苏省软件园评测中心对我们系统测试后提交的测试报告,需要对我们的系统做些安全性修补和优化处理,下面是我根据该评测报告所做的一个概要性的建议分析。由于我们这个系统是一年多前设计的,因此在一些...
  • MDCC 2016 中国移动开发者大会前夕,iOS 开发峰会演讲嘉宾——搜狗输入法 iOS 版负责人李腾杰接受 CSDN 专访,分享了其与团队在第三方输入法开发与优化方面的经验,以及搜狗输入法 iOS 版开发团队在新技术与一线项目...
  • 美团团购订单系统优化

    千次阅读 2018-02-23 23:27:44
    美团团购订单系统优化记团购订单系统简介美团团购订单系统主要作用是支撑美团的团购业务,为上亿美团用户购买、消费提供服务保障。2015年初时,日订单量约400万~500万,同年七夕订单量达到800万。目标作为线上S级...
  • 大对象 主要对三种类型的大对象进行优化 全局缓存:针对全局缓存我们按需释放和降级了不需要的缓存,尽量使用弱引用代替引用关系,比如针对频繁泄漏的 EventBus 我们将内部的订阅者关系改为弱引用解决了大量的 ...
  • 常见性能优化策略的总结

    千次阅读 2017-02-07 10:38:33
    本文要感谢我职级评定过程中的一位评委,他建议把之前所做的各种性能优化的案例和方案加以提炼、总结,以文档的形式沉淀下来,并在内部进行分享。力求达到如下效果: 1. 形成可实践、可借鉴、可参考的各种性能优化...
  • 移动直播技术秒开优化经验

    千次阅读 2016-04-28 11:53:58
    在不考虑终端设备性能差异的情况下,针对网络传输层面的原因,我们看看如何保障一个持续的直播不卡顿。 这其实是一个直播过程中传输网络不可靠时的容错问题。例如,播放端临时断网了,但又快速恢复了...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 39,917
精华内容 15,966
关键字:

优化服务强保障