订阅云计算RSS CSDN首页> 云计算

张晖:以用户体验为中心的软件定义基础设施

发表于2014-12-13 14:45| 次阅读| 来源CSDN| 0 条评论| 作者刘亚琼

摘要:张晖表示用户的体验是互联网最重要的指标。随着以下三项互联网技术的发展,使得改善用户的互联网体验成为了现实:企业可以从用户端提取细颗粒信息;软件定义的迅速发展;大数据的实时技术发展。

【CSDN现场报道】2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。

Co-Founder and CEO of Conviva张晖表示用户的体验是互联网最重要的指标。网络的延迟一直是互联网面临的难题,没有一个很好的办法来解决。但是随着以下三项互联网技术的发展,使得改善用户的互联网体验成为了现实:企业可以从用户端提取细颗粒信息;软件定义的迅速发展;大数据的实时技术发展。


Co-Founder and CEO of Conviva 张晖

以下为演讲实录:

张晖表示用户的体验是互联网最重要的指标。网络的延迟一直是互联网面临的难题,没有一个很好的办法来解决。但是随着以下三项互联网技术的发展,使得改善用户的互联网体验成为了现实:企业可以从用户端提取细颗粒信息;软件定义的迅速发展;大数据的实时技术发展。

今天是一个大数据的会议,我自己是做系统做研究的,讲的就是大数据的应用。我今天讲我们怎么用大数据解决互联网行业里非常难的一个问题。问题是什么?卡断率!我们看视频都遇见过卡断的时候,这时会非常不爽。尤其是现在,我们的注意力变得越来越差,注意力已经开始变成最稀缺的资源,我们在使用各种服务包括网上服务,遇见卡断的时候一般都会有一个注意力的转移,本来你想专心做一件事情这件事情做不了,用户的体验度受到非常大的影响。

所以从这个角度来讲用户的体验是互联网服务最重要的一个指标,我为什么提高用户体验,用户体验和我们说的性能有什么不一样,我们说CPU有多快,网络有多少曝光率,延迟有多少,这些东西都是测试单个性能。你想一下包括你上Expenence,经过无数服务器、交换机,中间不管哪个出了问题对用户来讲都是不知道的,用户唯一知道的事情是一个非常好的用户体验,或者是不好的用户体验。我们做系统的人怎么把端对端的用户质量做好。

在网络里面当时有一个非常重要的问题,网络不是一个人的控制,比如百度拥有自己的服务器,但是网络是中国电信的网络,也许是主干网络是中国电信网络,接入网又是另外一个服务商的接入网,在多种端对端服务商的情况下,每个服务商做这个服务,同时他们互相不协调,怎么提高最好的用户体验。这是网络界老大难的问题,这个经过多年的研究,随着以下三项技术的发展终于有个解决办法。

第一个我们现在能够从用户端做非常细颗粒的用户体验的采集,而且是全方位的采集这是第一件事情,这是原来从来没有的能力。第二个用软件定义的控制结构,这个是网络界一个非常大的创新,这个我一会儿再稍微讲一下。第三个就是大数据的技术。当然包括一个是平台的技术,一个是算法的技术。

我先来讲第一点,我们知道现在从网上看视频,或者下载一个APP看视频,这个过程中我们浏览的视频,下载的视频都会被收集起来。服务商可以通过在软件植入代码来实现。这样就可以获得用户的一些基础信息。

第二个关键技术就是说软件定义,网络中间任何一个控件,包括每一个交互机,传输的设备都会出问题,怎么做这个,我们引进冗余,每个机群可以死掉但是整个服务不能死掉。同样的概念用在网络上,网络上有多个路径来交换,这是一个冗余,还有不同的码流率这是又一个变化,变化越多你可以选择这个最好的变化。如果你把其他的参数加进去,不光是说卡断率,中间可能有失败率,也许码流率不够高,你把这些加进去,不同参数质量好坏对于一个服务器来讲在不同时间是不一样的,所以没有一个固定路径是最好,而且没有一个固定的指标是一个路径比另外一个路径绝对好。

第三个关键技术,就是说实时的大数据技术和算法,这个算法就是概念上是一个很简单的概念,做起来稍微复杂一点。概念是什么概念?如果我们把每一个网上的视频都在采样,就像我们在北京每辆车上都装一个摄象头,知道他车速是什么情况?我车越多,但是我路上没有摄象头,车越多我的路况了解就越多,我要知道北京所有车的速度怎么样,我就基本上知道北京路况是怎么样。但是卡车和出租车走的速度是不一样,也许你骑摩托车和坐卡车的速度不一样。细分起来找一个概念是这样的,比如说这个会场里面大家看一个直播的视频,现在有一个新的人来看,用哪一条新的路径去选?算法我就不深入去讲了,但是我想说一两个,你观察数量越多,观察颗粒越细,采集数量点越大,你最后达到预测的效果越好。

怎么知道这个东西做得好还是不好,首先就是说什么叫做好的用户体验?好的用户体验有各种各样的参数比较。其中一个可以做的更复杂一些,我们做一些比较简单的比较,从两维比较,横轴是平均码流率,纵轴就是流畅率,100%流畅率最好,60%流畅率不好,你往右上角去最好,每一点这里表示一个网站我们通过实时的数据,从我们实际顾客数据中采集的数据,你看现在视频网站有的质量非常糟糕,有的质量稍微好一点。原来假设一个视频网站它平均码流率在1.8兆,有80%码流是流畅的,20%是不流畅的,用了这个算法他平均码流率涨到2.5兆,差不多90%以上的流变成流畅的,当然还没有解决100%的问题,这是一个提高。

这是我们跟央视国际做的一个项目,央视国际中央电视台的网站,海外所有国家都可以看央视台的内容,五大州180多个国家都可以看到,你打开视频就可以看到我们党的声音,而且要流畅要高清,这是以前的卡断率还有平均码流率、平均时长,用户看的时长,这是引入我们系统之前,引入系统之后,卡断率降低,平均码流率提高,平均时长的提高。

什么叫做用户体验?这件事情从研究角度从科学角度这是非常难的问题。这个本身可以做很好玩的研究,我们做深度研究,怎么在大规模取样当中研究人的用户体验。我们总得来讲一些性能指标的提高是对用户体验是成正比的。回到头我来提这样一个问题,我们一般做一个软件,比如说我做一个TCP的协议,1988年软件工程做的,做一些模式有一些参数放在里面,不管是10兆网上走传输文件,还是在移动网上看新闻同样TCP同样的参数,而且五年前做的和今天是做的一样的,怎么改变这个现实?我们拿了一台非常先进的下一代的互联网电视里面做视频的播放器。横轴说这是超高清,内容最高清情况下可以达到9兆,这是它平均的阻塞率。你看到在非常高码流的情况下它性能非常不好,因为它阻塞率非常高,而且同样的情况下看的时长和码流率,高清情况下反而看的时间短,为什么?因为你阻塞率太高了。为什么会出现这个现象?因为你要做软件这个人他在设计电脑的时候从来没有9兆的内容,他从来没有测过这个东西,他设计点也许就在两兆三兆情况下。但是你电视放出去情况就变了,怎么解决这个问题?我们知道云计算是一个好东西,云计算好东西在哪里?它是天天在变的,它随着实际情况变化做变化,而且可以个性化。刚才我提到用一个控制的网络通过实时的反馈来调整参数,就可以解决这类似的问题。因为在我播放器上调的参数,在这里调的参数就和另外一个播放器明天调的参数不一样,这是能够达到一个效果。

我知道各位都是来参加大数据的会议,我稍微提一下网络上非常重要的概念,软件定义的网络。这件事情被认为是革命化的东西,我回头讲所谓革命化在哪里。但是先说一下像所有市场预测说2018年350个亿的市场份额,主要是为了数据中心质量优化来做的。所谓数据中心一个网什么叫好什么叫坏?高带宽、低延迟,但是回过头用户质量是最重要的,我上阿里巴巴网上买一个东西,上淘宝网去买东西,我不知道网络出问题了,还是数据中心出问题了,我们怎么保障用户体验,你要想控制用户体验,我们第一个事情是可观测,你控制用户体验就必须关注用户体验,用户体验只能在终端和用户层软件才能观测,怎么把这个数据用于到控制每一个端对端上面,这需要体系结构的改变。我想画一张图说一下这个革命,我在课堂里讲网络,第一个词就是说协议,协议是一些分布式的算法。每一个交换机互相之间传信息,然后实现一个分布式的算法。这个分布式的算法算一端走到另一端用哪一端,我们整个互联网把所有计算机加在一起几万台,这样一个问题困扰了我们整个业界30年,到今天为止我们说互联网的质量很差,我们要跟同行一谈,说你们网络多大,我们说几万到几十万,他说这么小的网怎么有这么大的问题,因为是一个分布式的网络,算法是分布式的算法。分布式的算法是非常难引入智能,智能是一个大词。我们说技术一点叫做优化。

SDN概念是什么通过一个中央控制器来对全网进行优化,全网实时采集你现有网络情况和拓扑情况,然后中央计算所有的路径,马上非常复杂的优化算法就可以实现了这是SDN TO E-SDI,实现这个有很多难题,因为中央控制器离交换机有一定距离,中间路径可以断,怎么做到非常稳定,这些都是需要解决的问题。现在局限在第二层,局限在数据中心,我们认为下一个发展里程碑就是端对端的控制,而不是在网络内部二层和三层的控制。首先优化用户体验,优化用户体验最重要一部分就是采集用户体验的数据,把用户体验的数据用于做一个反馈的控制,控制每一个你如果从端对端角度来做,也可以控制内部的网络,这是一个大数据可能对网络结构一个最重要的贡献。

第二我们都强调BIG DATA,从控制角度来讲这个大数据必须走到实时,没有实时就没有控制,没有实时只能做分析。

第三是Application,不光要知道哪个应用,这是视频还是语音还是传输,最重要你怎么优化用户体验。

第四从技术趋势来讲大家做很多工作做分析,找到一些对人做决策有用的信息,我们要做到自动的控制, 除了分析还有控制,我管这个结构叫做Expenence-Centric Software Defined infrastructure。

我总结一下,第一件事情我们随着互联网时代最稀缺的资源是人的注意力,所以用户体验从服务来讲是最重要的事情。我们做了质量控制在互联网上做了20多年,我们有很多心得,他山之石可以攻玉,他山之石从哪来?第一要有数据,这个数据必须是应用层用户体验层,第二要有一个网络的架构用这个数据控制。实现角度来讲,在控制层的实现是通过实时大数据的系统加算法实现。下一步做的事情不光是以网络为中心而是以用户体验为中心。

更多精彩内容,请关注直播专题2014中国大数据技术大会(BDTC) ,新浪微博@CSDN云计算,订阅CSDN大数据微信号。

0
0