订阅云计算RSS CSDN首页> 云计算

中国移动通信研究院云计算研究所所长孙少陵:实现BI系统集中化+数据模型标准化

发表于2012-11-30 12:13| 次阅读| 来源CSDN| 0 条评论| 作者郭雪梅

摘要:中国移动通信研究院云计算研究所所长孙少陵表示,中国移动已经走到商业智能分析阶段,需要实现BI系统集中化,将两级结构专为集中化架构;实现数据模型标准化,并将各系统的数据统一存储和处理。在实践中,移动发现Hadoop在高效索引、数据存储和查询优化方面确实还有问题,性能较低等问题,他呼...

【CSDN现场报道】中国IT界技术盛会——Hadoop与大数据技术大会(Hadoop&BigData Technology Conference 2012,HBTC 2012)于2012年11月30日-12月1日在北京新云南皇冠假日酒店隆重召开。本次大会以“大数据共享与开放技术”为主题,聚焦于Hadoop与大数据,力邀数十位国内外Hadoop及大数据技术应用的产学界人士和实践企业,探讨大数据技术生态系统的现状和发展趋势,并围绕Hadoop与大数据热点技术和应用实践进行深入解析。

中国移动通信研究院云计算研究所所长孙少陵在题为“电信运营商基于大数据的商业智能应用的思考”演讲中提到,中国移动已经走到商业智能分析阶段,需要实现BI系统集中化,将两级结构专为集中化架构;实现数据模型标准化,并将各系统的数据统一存储和处理。中国移动在集中化BI面临海量数据的处理和存储复杂、混合负载压力大等挑战,所以引入了大数据技术。而在实践中,移动也发现Hadoop在高效索引、数据存储和查询优化方面确实还有问题,性能较低等问题,他呼吁中国移动与生态系统的更多伙伴共同丰富Hadoop。

中国移动通信研究院云计算研究所所长 孙少陵

以下为现场实录:

运营商对大数据商业智能的利用都有着自己的考虑。刚才程主任提到了未来的发展趋势或者说现在已经产生的趋势是很多的传统企业已经在考虑大数据的应用,运营商实际上也是一种传统的企业。所以可能分享的信息会具有一定的代表性。

全球的数据量在高速地增长。信息也逐渐变成了企业的战略资产,比如说:企业越来越多地需要应用后台的数据进行用户行为的分析和进行市场决策的支持,以及做一些网络优化等方面的分析。同时为了满足政策法规的要求和国家对信息管制的要求,实际上运营商也需要储存和收集大量的数据。所以对于所有企业尤其像运营商这样的企业,数据量的增长都是目前正在发生的事实。

大数据为运营商带来的巨大机遇与挑战

大数据对目前的信息产业带来了非常大的潜在机遇,对大数据来说我们面临什么样的机遇和挑战呢?首先,我们认为在网络这个时代,运营商处在一个数据交换中心的地位。随着互联网的发展繁荣,运营商的管道可以抓取世界大部分的数据,尤其是用户在使用数据和信息行为等方面。这些实际上都体现在运营商平台中采集到的大量的日志信息和流量信息,这些信息存在着大量的商业利用价值;而该如何样利用除了存在着技术上的问题,还存在着法律上的问题。

所以对运营商来说这么大的数据给我们带来了什么样的机遇?

第一,改善了用户的体验。传统上来说,运营商在做业务设计、用户体验优化的时候,可能更多地做一些市场调研等事情。实际上,随着大数据的产生我们发现用户的每次点击行为,都可以采集到用户对业务的偏好和一些行为特征。基于这些行为特征可以很好地改进产品的设计,可以在现场进行推荐和咨询,或者是采用外呼的方式。如果通过数据分析和挖掘,把外呼的范围缩小,某种意义讲这将给我们运营成本带来很大的节约。

第二,优化网络质量。实际上运营商的网络现在是越来越复杂了,作为中国移动的一个移动运营商来说,我们有无线接入网,现在有2G、3G、WiFi,未来还有LTE。当然还有其他的业务平台,实际上这种网络优化是一个非常复杂的事情。现在对于网络优化的实质性要求也非常高,一旦比如说基站出现了故障,必须在非常短的时间内进行定位和修复。这种大数据为我们的网络优化带来了很大的潜在的机遇。通过端到端的网络质量的分析,对一些故障的发现很快可以进行网络的优化和故障的定位,所以这对中国移动来说是非常大的机遇。

第三,助力市场决策。随着互联网公司对于某些传统电信业务的进入,市场竞争越来越激烈。通过业务资源和财务多方面的综合分析,让领导进行快速的市场决策,这在市场竞争中可以形成不对称的竞争优势。所以,这实际上对运营商来说也是非常大的机遇。

最后,刺激业务的创新。很多的专家提到数据实际上是有很大的价值,有很多的公司渴望能得到运营商手里握有的大量数据,但这些数据怎么样的在法律法规允许的条件下进行采访和共享,这涉及到很多的问题。这方面不管怎样说,对运营商都是一个潜在的机遇。未来,我们可能会基于这些信息来推出一些新的业务,形成运营商新的竞争力。当然,大数据,这么多数据给BI系统带来了很大的挑战,所有运营商的状况都差不多。说的是中国移动的情况但比较具有代表性。首先商业智能系统是分散建设的,因为运营商一般是两级结构、甚至是三级结构,有总部、有省、有地市,这些分散很难进行资源的共享。比如说专业系统上,我们有一些专业系统。同时这些系统可能分级建设。

但这样的话也有诸多问题。其一造成了资源的重复建设,应用的重复开发。同时有一些数据科学家和分析人员的专家资源也没法儿形成共享。其二,数据分散存储标准化程度比较低。因为目前不同系统的建设主体是不一样的,尽管集团有统一的数据模型的标准,但实际上最终实施的话多少有一些差异。所以数据模型不统一,造成了跨系统的综合分析非常地困难。第三,目前运营商大部分是以数据仓库为商业智能的核心,传统的数据仓库采用的是小基加盘阵高性能一体机的建设,所以建设的成本是非常高的。目前整体来说,运营商的商业智能是以处理传统的划单、日志这些结构化数据来设计的。对新型的比如说互联网还有一些上网日志等一些新型的数据,包括一些图像等非结构化数据,目前的BI是没有能力处理的。最后,主要是对内部提供服务的,实际上没有考虑对外进行商业利用的事情,这对运营商如何解决用户隐私保护的问题也带来了很大的挑战。

从运营商的商业智能大数据的初步架构来看有一些不成熟的想法。首先,未来我们的商业智能系统会逐渐地走向移动化,从现在的两级架构变成了全网一级。同时,实现数据模型的标准化,把各系统的数据进行统一的处理,把很多的详单数据进行统一处理。

这样的好处是首先通过集约化实现数据的标准化。第二,通过数据集中化来实现各系统的综合分析,同时也有利于快速地进行数据分析和决策支持。因为现在很多的数据应该说是在二级、省内或者是地市系统里。现在如果从公司整体来说做数据分析和决策支持,往往是需要省公司定期地提供一些汇总数据。所以这实际上对分析的实时响应还是存在一定的问题。

0
0