订阅业界RSS CSDN首页> 业界

【CTO讲堂】如何构建高性能网络服务平台及生态系统?

发表于2015-08-05 14:35| 次阅读| 来源CSDN| 0 条评论| 作者蒲婧

摘要:SDN/NFV已成为网络产业未来发展的共识,处于大规模商用的前夜!还有些技术问题制约着产业发展。本期CTO讲堂邀请武汉绿网副总经理雷葆华带来SDN和NFV产业发展挑战、如何构建高性能网络服务平台及生态系统的分享。

为了帮助IT从业者职业之路拥有更多收获,在诸多C粉的殷切期待下,由CTO俱乐部打造的CTO线上讲堂自登场以来获得大家好评。本期邀请武汉绿网副总经理雷葆华带来“打造开放的高性能网络平台,助力SDN/NFV产业发展 ”的创业主题分享。

想与业界大咖零距离沟通,欢迎加入CTO讲堂微信群(8月6日,新一期讲堂报名请拖至文末查看)


演讲嘉宾:武汉绿网副总经理 雷葆华

嘉宾简介:雷葆华,业界知名的云计算专家,中国电子学会云计算专委会委员,目前任职武汉绿色网络信息服务有限公司副总经理,负责公司大数据、SDN/NFV等新产品研发工作。作为第一作者编写的《云计算解码》、《CDN技术详解》、《SDN核心技术剖析和实战指南》等书,其中《CDN技术详解》、《SDN核心技术剖析和实战指南》分别当选“2012、2013年度51CTO读者评选的我最喜爱的IT原创图书”。创业之前曾任中国电信北京研究院云计算产品线总监,是中国电信云计算工作主要发起者和推动者之一,在CDN、P2P、IDC等方面都有深入研究,提交专利28项,已授权专利8项,发表多篇有影响力的论文和文章,多次获得部级科技进步奖励。

公司简介:武汉绿色网络信息服务有限责任公司(简称武汉绿网),创立于2003年,专注于基于X86的高性能网络包处理领域, 是一家立足提供电信级应用层网络设备解决方案的高新技术企业。公司总部坐落于素有“中国光谷”之称的武汉东湖高新技术开发区光谷软件园,在北京设有分公司,在上海、深圳、广州、成都、杭州等地设有分支机构。

武汉绿网在业界率先推出了高带宽万兆级别的网络流控系统(基于x86平台的高性能DPI处理平台),充分地满足了电信运营商对业务扩展的多元化应用需求。在国内电信运营商中成功建立了高带宽万兆级网络流控系统的应用,并拥有全球最大的基于x86服务器平台的应用层网络设备串行部署案例,得到Intel的认可,现已加入Intel Network Builder核心伙伴计划。公司先后获得多项资质认证、22项软件著作权及3项发明专利,开发的成果在电信运营商、企业、高校以及 ICP/ISP 中均得到广泛应用。

以下是7月31日CTO讲堂现场完整速记:

主持人:今天嘉宾是武汉绿网副总经理 雷葆华,请您先做个自我介绍吧。

雷葆华:大家好,我叫雷葆华,来自武汉绿色网络信息服务有限公司,目前是负责研发的副总经理,目前主要的研发工作在大数据、SDN和NFV方向。非常高兴有这个机会跟大家分享。

之前,我主要的工作经历是在中国电信北京研究院工作了11年,主要从事互联网业务和电信增值业务研究,参与中国电信业务网络和互联网产品的规划、设计和产品开发等工作,并负责CDN、P2P、IDC等网络总体设计工作。

2009年开始我组建了中国电信第一个云计算和移动互联网的研发团队,作为负责人长期承担中国电信集团云计算发展战略和网络规划工作,对中国电信云计算发展产生重大影响,是云宽带、智能管道等概念的提出者之一;同时,主持开发了中国电信云桌面产品,负责云主机、云存储、应用商店等产品的技术方案制订工作,并负责组织实施了中国电信云计算综合测试,对虚拟化软件、服务器、网络设备、安全设备和存储设备等进行入网采购测试。


上面这张图是我写过的几本书,我觉得我应该是一个电信和互联网跨界的人,这带给我很多优势。

主持人:那么什么情况下您开始了创业之路?请介绍一下武汉绿网目前的情况以及团队构成。

雷葆华:其实回头看在2009年我在内部组建互联网应用研究中心时,就可以算作一次内部创业,我觉得我希望创业的种子也是在那个时候开始埋下的。

从09-14这5年,我们的研究团队准确的预测了每一个重大的技术和产业趋势,并提出了很多后来证明是正确的建议,但是囿于一些体制的原因,我们最终只能做成一小部分。感觉一波波浪潮在擦肩而过,而年纪在一年年增加,内心的创业冲动也就越来越大。

后来是机缘巧合,与武汉绿网的创始人叶总结识,大家做过几次技术讨论,都认同SDN/NFV和大数据的未来趋势。我的技术视野和产业洞察力与他们坚实的研发团队基础能够形成互补,绿网公司正在谋求向北京和全国的拓展,我们的年龄和思维模式都比较契合,因此促成了我下定决心走上创业之路。


这张图是我们公司--武汉绿色网络公司的愿景图,从这张图开始我简单介绍一下公司情况。我们希望成为智能化网络设备和服务的领导者,主要的客户是电信运营商。

这张愿景图中有三层意思,首先要做智能的网络,我们要知道网络的状况和行为,因此要感知网络,目前最主要的技术手段就是DPI产品,对海量的网络行为进行采集;收集到大量数据后,第二步就是用大数据的手段进行分析;基于分析的数据,第三步就是灵活的控制网络,对应的技术就是NFV/SDN。这样形成了公司目前三大业务线:传统的DPI产品,大数据,SDN/NFV。我们公司是国内为数不多的具备网络感知、分析和控制的公司,在未来的电信网络市场有着很好的先发优势。


看一下我们公司的发展历程。公司成立的前10年做了长期艰苦的技术积累,2010年的万兆流控系统是一个里程碑,之后又经历了2年左右的时间迎来了风口期,这几年公司的发展也走上了快车道,业绩增长比较快,每年都在翻番。

我们公司目前已经有员工300人,其中60%-70%是研发人员,人员普遍比较年轻。公司现在是双总部架构,北京是运营总部,武汉是研发和生产总部,公司大多数研发人员在武汉,去年底我们在北京和深圳也设立了研发中心。全国各省都已建或筹建办事处,进行业务拓展和客户服务。

主持人:谈谈您所理解的SDN的本质是什么呢?

雷葆华:好的,我们先看一张图。


上图中,我们看到SDN的三个核心特点:集中控制、开放接口和可编程。这里,再补充一下SDN的定义,SDN就是软件定义网络,Software Define Network。

传统的网络设备,控制和转发是在一起的,但是整个网络和上层的应用是严重分离的。网络需要提前规划和部署,当上层应用发生变化时,网络的调整是很慢的,且很容易出错的。

SDN的出现,最核心的本质变化是网络可编程,也就是说,网络可以根据应用的需要,动态进行调整。SDN正是通过将控制层集中,向上开放接口,实现了上层的应用可以根据需要调用网络能力,动态设定网络的拓扑和配置,实现了真正的网络随需而动。

现在所有虚拟化和云计算的厂商都在拥抱一个大的趋势,SDDC,软件定义数据中心,SDN是其中的一个核心组成部分。

正像马克·安德森说的那样,软件正在蚕食一切。SDN的意义在于削弱底层的基础设施的作用——软件可以实时地对其进行重新配置和编程。

今后网络的能力会裂变为两部分,底层基础的网络设备只需要提供大容量的快速交换能力就可以了,不需要很多复杂的功能,即我们说的“傻快”能力,所以商品化的通用网络硬件就够了,上层的网络智能则由软件编程方式实现。

主持人:您是如何看待NFV技术的发展的呢?

雷葆华:NFV,网络功能虚拟化,英文名称是Network Function Virtualization。我觉得,他的本质是将虚拟化技术应用在运营商传统网络当中的一种技术部署方式。大家可以看看下面这张图。


NFV和SDN在技术上有很大差别,NFV是由运营商根据自身实际需求提出的一种全新的网络搭建方式。以前,电信设备都是垂直一体化,软硬件产品都来自同一家厂商,且不同厂商间的设备无法实现互通,都是一个个的“黑盒子”。NFV将原本封闭设备中的网络功能释放出来,并通过搭建开放的网络平台统一承载。在实践的过程中,NFV不仅会涉及网络层的SDN技术,同时也会应用如定制服务器、一体机等相关技术。

归结起来,低成本和灵活性是NFV的两大核心优势,也是运营商最根本的诉求点。

首先低成本,由于采用x86架构的开放平台,NFV摒弃了传统网元设备中专有芯片、专有板卡,以及专用机柜的设计思路,硬件资源得以复用,并通过服务器的数量堆叠和提高密度实现扩容,其性价比远远高于那些专有私有的电信“黑盒子”。

其次是灵活性,NFV将网络功能虚拟化,使得网络新业务的开发、调试和上线都更加灵活和快速,由此更好地支撑和满足上层应用,NFV所带来的网络功能的多样性和灵活性正是目前处在转型中的运营商所亟需的能力。

主持人:那么SDN/NFV产业的发展现状及挑战是什么呢?

雷葆华:目前,SDN和NFV都已成为整个网络产业未来发展的共识,也已走过了最初的探索期,现在处于大规模商用的前夜!已经有了一些典型的应用案例,例如云数据中心的内部组网现在普遍采用了SDN技术,Google利用Openflow技术实现了数据中心的互联和流量调度;NFV方面,比如城域接入网中的BRASE、DPI,核心网中的PDSN、IMS以及无线网络侧的基站虚拟化等等都已经尝试引入了。

但是,还有一些技术问题制约着SDN/NFV产业的发展,主要分以下三个方面:


首先在芯片方面,现在还没有一款完美的芯片可同时解决灵活性和性能的问题。

传统的ASIC芯片架构具有大容量、低延迟的特点,但是可编程性差,难以满足灵活性要求,对Openflow协议要求的流表容量、流表学习速度等指标,也很难达到要求;


而x86架构芯片,作为通用芯片有良好的可编程性,但是在转发容量上受限,特别是延迟问题是最大的制约。从我们的经验来看,如果x86芯片架构的网络设备在转发性能方面达到传统设备的90%,基本可以满足商用要求。我们公司在这方面有很深的核心技术积累,我们从底层设备定制、操作系统优化、业务层软件优化三个方面做了大量的实践研究,后面会给大家介绍一些相关的成果。


第二个挑战在标准化和互操作方面。这也是网络设备和IT软件最大的区别,没有标准,不实现互通,整个网络产业是无法产业化的,也会产生Lock in等问题。从我们这几年的实践和观察来看,在南向接口标准方面,SDN会形成多协议并存的格局,北向则更多借鉴IT技术,采用灵活的接口方式,目前主要是Restful接口,提供给上层应用。因此,这里对控制器的要求很高,它是衔接应用和网络的中枢系统。后面有时间我会介绍我们自主研发的SDN控制器—GN Flush,分享一下我们是如何解决这些问题的。

第三个挑战在可靠性方面:


网络作为基础设施,是牵一发而动全身的,其可靠性和稳定性是及其关键的。7.22青云北京区域的故障就是源于一台H3C的交换机故障。传统的网络可靠性是依靠硬件来解决的,主要的方法是单设备冗余或多设备堆叠,组网上采用多路径;在NFV系统中,使用的是标准的x86服务器,从单一硬件来看,其可靠性并不高,因此需要用软件的方式来保障整个系统的可靠性,比如HA虚拟化集群、DRS容错等IT手段正在逐步引入。

主持人:如何构建高性能网络服务平台及生态系统?请展开详细谈谈您的思考。

雷葆华:好的,首先,我们看看行业发展的一些规律和趋势。


从上图可以看出,整个网络通信产品正在沿着计算机和手机产业曾经走过的路发展,这个趋势就是网络的IT化和软件化。本质是从封闭、私有的技术架构向开放、标准的技术架构转变。

计算机发展的早期,80%都是IBM的,都是垂直封闭一体化的,80年代PC机的出现改变了整个产业,现在都是Intel的x86芯片+Linux/Windows操作系统+上层应用。

手机也是一样,在iPhone和Android出现前,每个手机厂家都有自己的硬件设计、OS和应用,而现在已经形成了开放分层的架构,硬件是基于ARM芯片设计制造的,有完全开放的OS—Android和半开放的IOS,基于标准的SDK衍生出无穷的应用。

现在网络设备也进入这一趋势。这就需要一种标准的通用化芯片+操作系统+上层应用。我们认为,未来网络设备领域占统治地位的仍会是Linux(或其衍生的)操作系统。因为Intel x86芯片其实是处理能力最强大的CPU,拥有最强的编程灵活性,同时经过优化完全可以达到传统网络芯片的处理能力。

我们公司认为,计算机和手机产业发生过的事情,正在网络设备上发生。从目前的芯片技术看,x86架构还是有很大的优势。


对比IT设备,我们可以做出网络设备的分层堆栈,如果采用x86芯片+Linux操作系统的堆栈,对应的分层模型就是中间那一列。

正如我前面提到的三个技术挑战,在x86和Linux操作系统上部署的未经性能优化的网络应用是无法满足运营要求的,因此如何在这一架构上进行优化提升成为一项巨大的挑战,但同时也带来了新的机遇。这也是我们公司在SDN/NFV领域的切入点。

要解决这一问题,在单一的技术层面做是不够的,必须从多个层面同时解决才可能。因此,在网络包处理方面,我们主要基于DPDK和我们自己的GN Cube平台进行数据转发能力的提升;在协议栈层面,我们开发了GN Lib和GN Stack产品,提升协议处理能力;同时,基于我们已有的网络产品,如DPI等,我们也已开发出了一些虚拟网元组件(VNF)。

从产业生态系统的定位来看,基于我们自主研发的高性能网络包处理平台、高性能协议栈提升基于x86的网络应用的处理能力,帮助更多的合作伙伴提升NFV网元的网络处理能力,更好的构建整个产业生态系统。

主持人:请您给大家介绍一下绿网目前的产品布局及发展情况。武汉绿网在SDN/NFV方面做过哪些产品探索?

雷葆华:我们的产品可以分为三大类别:

(1)上面提到过的,帮助网络应用在x86平台不是时提升性能的GN Cube、GN Lib、GN Stack等引擎级产品;

(2) 基于我们已有的网络产品,开发出的NFV网元:DPI、vCPE、vBRAS等设备。以上两部分可以看下图:


(3)  SDN产品:SDN控制器GN-Flush,软件定义网关SDG,整体的产品规划如下:


下面对我们公司的几个重点产品进行介绍:


GN cube是我们绿网自己研发的网络包处理平台,与Intel推出的DPDK的工作原理基本相同,不过我们要比他们早两年,另外,我们的GN Cube已经在运营商的现网经过大规模长时间商用,积累了很多优化经验,这是我们相对DPDK的优势。

我们也拥有Intel认可的全球最大的基于x86架构的网络应用部署案例,现在是Intel Network Builder的核心成员。

第二个重点产品是高性能协议栈。


GN Unet是我们上半年刚刚发布,基于GN Cube/DPDK开发的优化的高性能协议栈,主要解决传统Linux下TCP/IP协议栈性能低下的问题。GN Stack对CN Cube和DPDK两个平台都支持。有了该协议栈,网络应用开发工程师可以不用再担心底层性能,只要把上层的网络应用的功能写好,就可以投入商用。

右上角的图是与标准协议栈的性能对比,TCP新建连接能力从标准的2万提升到9.4万,包转发能力从100万 pps提升到800万 pps。

下面讲讲SDN方向的核心产品:SDN控制器。我们的SDN控制器产品叫GN Flush,从去年开始我们连续参加了ONF组织的Plug Fest测试,下面是测试情况对比,我们应该是国内最好的控制器。


就在上个月,基于我们的控制器,我们和上海宽带中心、中国电信联合发布了国内第一个面向数据中心的开源控制器项目DCFabric,欢迎产业界的朋友参与。



主持人:可否用具体的用户案例来详细介绍一下公司产品的应用场景?

雷葆华:好的,我举两个例子。


第一个是我们公司与绿盟公司合作的一个SDN安全产品。我这里做个简单的介绍,详细的内容可以参看

我们这个方案可支持多种认证方式:如LDAP、OpenID和手机号验证等,进而基于访问者的角色、属性与被访问资源的关系实现访问控制。基于GNFlush控制器,可以实现流级别的细粒度控制,且无论访问者物理位置在何处,底层网络设备都执行同样的控制规则。这种全局、细粒度、强制且一致的访问控制机制可认为是云安全联盟提出的软件定义边界(Software Defined Perimeter)在BYOD场景中的实现。

此外,当使用GNFlush可实现基于上下文环境的自适应访问控制,安全控制平台通过GNFlush获得全局流视图,利用用户、终端、资产和网络环境等上下文信息形成动态的、基于风险的访问决策,建立访问安全基线,当存在异常访问时,向GNFlush下发流指令,将可疑流量牵引到安全资源池组成的安全服务链,进行DPI、代码和行为检测,并进一步对确认的威胁进行处理。

第二个是我们和某运营商合作的基于业务链访问控制实现IPv6用户的上网行为管理


如上图所示,可以根据业务需要,在用户的数据访问路径上灵活添加网站过滤、上网控制等各种功能,换句话说,每个用户的数据流经方向,可以根据业务需要进行定制。例如:开启网站过滤功能,则用户的数据流必须经过网站过滤模块;如果不使用该功能,则该网元不会出现在数据访问路径上。

可以使用一套网络架构,对不同的用户实现差异化网络服务。

主持人:现在我们来聊聊人才培养的话题吧,请介绍一下武汉绿网的技术团队是什么样的氛围?工作模式是怎样的?

雷葆华:公司的技术团队氛围比较简单、轻松,大家做事都比较专注、有热情。

公司按照专业划分了不同的研发部门,在实际工作中以项目驱动的方式组织研发工作。项目来源有两种:

一是内部立项,主要包括新产品开发、内部版本更新的重大研发工作;

二是外部项目,主要是市场和销售部门拿下的订单,组织二次开发和交付实施。

公司目前主要遵照CMM3的模式进行开发,一些新项目会采用敏捷开发的模式进行。整个研发流程,我们根据自身的情况进行了一些裁剪和调整,但是基本的文档、代码Review、测试等环节我们都是很重视的,同时为了支撑好整个研发工作,我们内部在研发协同工具上也花了很大力气。

我们公司的研发流程体系,专门引入了业界的专家进行打造,笔名青润,也是CSDN的特约专家,《软件工程之全程建模实现》一书的作者,大家有兴趣可以上网了解一下,会对我们公司的研发体系有更多的了解。

主持人:那么公司是如何提高团队成员技术竞争力的?

雷葆华:主要是几个方面:一是新员工的培训,介绍公司的主要产品和基础研发平台,让员工尽快了解业务,尽快上手;二是采用以老带新的方式,新员工刚开始会跟着技术能力强、有经验的老员工学习,传承经验和方法;三是提供项目实践机会,在实际的项目中进行锻炼;四是新产品新技术的培训,主要由公司管理层和部门研发总监级别的人去讲,另外不同研发部门之间也会有相互之间的培训,开拓技术人员的眼界;五是我们公司购买了明道等协同办公SaaS服务,搭建了公司的知识中心,方便知识的共享。

主持人:招人过程中,比较看重新人的哪些特质呢?

雷葆华:几个方面:技术基础、学习能力、工作态度。

其中,首先看重的是工作态度。因为好的人才都是有强烈自我激励能力的,有目标和动力,会调动起自己的主动性;其次,是学习能力,包括分析问题、解决问题的能力,换句话说,这个人灵不灵,思路不灵活,是很难在技术上有很深的造诣的;技术基础是前提,同时也说明了一个人做事的态度,我相信有好的工作学习态度的人,基础也不会差。

主持人:您如何看待现在家家都招人难的问题,这方面咱们公司主要通过哪些渠道引进人才?

雷葆华:为什么会出现找人难?我觉得有两方面原因,一是我们整个IT产业迎来了发展期,说明这个行业是很有前途的,因此创造了大量的职位,大量的就业机会;二是真正缺的是称职的、优秀的技术人员,我们这个社会、这个行业还是比较浮躁,真正踏踏实实把技术做的很好的人还是少,所以稀缺。

我们公司也遇到这些困难,但是我们今年还是招来很多不错的员工,主要的渠道有几个:

  • 首先,是熟人推荐,我们招聘发动了公司每一个员工,推荐身边的朋友、同学、以前的同时,而且这种推荐是成功率最高的,我们内部设立了伯乐奖,奖励这些员工;
  • 其次,我们使用招聘网站和猎头,打招聘广告,大量收集简历,进行筛选,然后组织多轮的面试;
  • 第三,我们在湖北地区组织了校园招聘。

互动环节:技术团队成员身上哪些特点可能最无法被接受?

雷葆华:缺乏主动性是最致命的,不愿意面对技术难题,别人很难帮助。

互动环节:请问一下知识中心放在SaaS上,不会担心核心技术资料的泄露吗?

雷葆华:我们内部的知识是分级的,研发级的信息是不会放在SaaS上的。与业务和项目交付的知识信息我们会放在SaaS上,方便共享;其他的我们内部还有其他系统。

新的员工来了,应该让他们多了解公司的业务,才能更好的理解产品的设计和研发的细节。



想与业界大咖零距离沟通,欢迎加入CTO讲堂微信群,参与CTO讲堂!

【CTO讲堂第12期预告】

分享主题:NoSQL对未来大数据发展的意义何在?


演讲嘉宾:SequoiaDB巨杉数据库联合创始人 王涛

嘉宾简介:王涛,SequoiaDB巨杉数据库联合创始人,他曾就职于IBM多伦多实验室IBM TorontoLab(DB2 UDB Development Lab), 曾经是DB2领域的专家,作为IBM DB2全球最高技术专家小组的成员,参与IBM下一代大数据平台的架构规划,精通数据库内核及体系结构。在IBM多伦多实验室工作八年后,王涛选择回国创业。目前担任巨杉数据库CTO及总架构师,成功研发了国内唯一一款开源新一代分布式数据库——SequoiaDB(巨杉数据库)。作为公司创始人之一,王涛参与公司发展战略规划,负责整个数据库研发项目的管理,包括数据库系统的构建,管理公司的整体核心技术,组织制定和实施重大技术决策和技术方案等。目前,公司产品已经开源,客户遍布互联网、金融、电信等各大行业。

公司简介:巨杉数据库作为国内唯一一家完全不基于其他任何开源数据库产品开发的新型商业数据库,专注于新型NoSQL分布式数据库的研发,核心软件产品SequoiaDB(巨杉数据库)(未使用任何开源数据库引擎和代码),由前IBM DB2资深研发成员在北美完成原型设计和内核开发。主要向政府、电信、金融、电力和互联网等拥有海量业务数据的行业提供大数据基础数据库,主要客户中已有多家世界500强企业,其中包括国内知名银行、电信及互联网企业。

分享时间地点:8月6日(本周四)下午17:00 , CTO讲堂群

加入方式:扫描二维码加“C粉儿小助手”好友,申请入群。


还不是CTO俱乐部成员的各公司技术负责人,欢迎立即加入俱乐部:cto.csdn.net 。

更多俱乐部动态,欢迎扫码关注微信号:

0
0
  • CSDN官方微信
  • 扫描二维码,向CSDN吐槽
  • 微信号:CSDNnews
程序员移动端订阅下载

微博关注

相关热门文章