订阅业界RSS CSDN首页> 业界

BDTC 2015——华为大数据技术专场在京顺利落幕

发表于2015-12-18 15:21| 次阅读| 来源CSDN| 0 条评论| 作者付江

摘要:12月11日下午,2015中国大数据技术大会(BDTC 2015)——华为大数据技术专场在北京顺利落幕。

12月11日下午,2015中国大数据技术大会(BDTC 2015)——华为大数据技术专场在北京顺利落幕。华为作为国内领先的大数据应用实战代表,在大数据行业落地方面已有了诸多实践案例,今年,华为派出了多位精英技术专家,就大数据技术创新与商业价值、推荐与预测技术应用实践、金融大数据、华为大数据平台商业实践等话题分享见解和案例。


华为张大震担任主持人

华为大数据云解决方案首席架构师 余虎

——《FusionInsight:业务驱动的开放大数据平台》


余虎带来主题为《FusionInsight:业务驱动的开放大数据平台》的演讲。他的演讲内容主要包括四个方面:(1)产业趋势与挑战;(2)业务驱动的大数据平台架构设计;(3)开放、可信、敏捷的大数据平台;(4)成功实践。 

大数据已经成为“新常态”,从炒作阶段进入实质阶段,人们正在从“什么是大数据”转向“我怎么从大数据获取价值”,“我如何构建我的大数据战略”。大数据技术在企业级逐步得到实践,生态系统正在变得更加成熟。 现代企业需要从业务理解、数据科学、信息技术三个层面应对大数据面临的挑战。应对大数据挑战的关键在于:大数据分析应用、分析建模与算法、架构与平台技术。

而华为研发的FusionInsight是一款基于开源内核打造的统一大数据处理平台,提供混合负载处理能力,支持从批量、交互式查询、数据挖掘,到实时流计算和查询等各种大数据应用场景。其中创新的Carbon数据存储于分析技术,突破了大数据OLAP分析的性能瓶颈,性能提升5-30X。所有组件都通过FusionInsight Manager提供的插件框架按需安装。

在开源贡献方面,华为积极回馈社区,已进入全球第一阵容。在10月16日,华为最新对外开源了StreamCQL,一款建立在分布式流处理平台上的查询语言,架构支持构建在多种流处理引擎之上,目前主要适配Apache Storm,提供数据流的过滤、转换、拆分、合并等功能,以及基于窗口的统计、关联,用户采用类SQL方式开发业务,能够显著降低开发复杂度。

华为大数据建模研究主任工程师 汪芳山

——《增量/在线学习技术探讨及应用实践》


汪芳山主要分享了大规模机器学习在应用中的模型延迟与管理问题;增量/在线学习的出发点及目标;SAILS自适应大规模增量学习系统。

目前,大规模机器学习在应用中的模型延迟与管理挑战,主流模式是离线训练好模型,在线决策或者离线算法结果,在线使用结果。主要挑战在以下几个方面: 

  • 由于离线一般按天数或周期更长,模型与实际业务延迟大;
  • 在大数据量情况下,每次新增数据如果全部合并到历史数据进行训练,资源消耗大,费时费力;
  • 线上决策与训练隔离,无法利用用户反馈来及时调整模型;
  • 模型的生命周期及有效性问题,如何能够自适应的判断模型的有效性;

因此,问题在于是否能够基于新数据,结合用户反馈,快速低成本的增量更新模型,适应业务变化需求。

对于SAILS自适应大规模增量学习系统,汪芳山总结到:对于非在线类应用,通过相对轻量级的Wrapper方法构建增量学习系统,在不降低效果的同时,能够极大幅度的降低计算量;对于在线类应用,优化后的算法和系统,在分布式情况下,有良好的收敛性,能够大幅度的提升效果,发挥大数据的价值。 此外,汪芳山还比较了Batch模式和Online模式在原理描述、主要适应场景和优缺点方面的差异性。

华为大数据系统架构师 李昆

——《基于Spark的实时分析创新:Carbon、Astro》


李昆的演讲包括几个方面:Spark介绍、华为大数据业务、基于Spark的创新:Carbon-高性能OLAP查询;Astro-实时数据分析。 

Carbon: Hadoop Native的,针对OLAP分析优化的存储。它很好的解决了大数据OLAP分析痛点:(1)ORC/Parquet做OLAP分析存在短板;(2)无法很好对接BI工具。

作为一种新的文件格式和OLAP查询计算,Carbon主要特点在于:

  • 根据数据模型提前组织好数据,用预处理时间换取查询时间:列存、分布式多维索引、倒排索引、智能预汇聚等
  • 配合Spark SQL查询优化实现更多计算下压,秒级高性能ad-hoc查询,提升查询性能5~10倍
  • 方便对接BI工具,SparkSQL根据SQL语句条件动态选择最优查询路径。

Astro:融入Spark生态的SQL on HBase 。

支持对HBase使用SQL进行查询和数据更新删除,与Spark生态无缝对接,支持查询结果用于DataFrame,ML,Graphx等库做深度分析。

华为个性化推荐首席架构师 张旭

——《推荐与预测技术应用实践》


张旭首先介绍了华为大数据产品平台总体架构:4+2。2表示数据治理和知识库,两个核心支撑几大应用:推荐,预测,营销以及商业智能。张旭认为推荐平台是知识库是智慧中心的一部分。知识库包括用户画像、产品库、算法库、规则库等,都是在平台上可扩展的。推荐平台的核心是推荐引擎,由批处理和实时引擎沟通。


现场以用户分析方案举例。业务诉求是根据用户行为轨迹,识别用户家庭类型(家里是否有老人,是否有小孩等)进一步识别潜在用户群,提升渗透率。系统可以通过离线分析(视频大数据用户)+短信/外呼/线下营销(客户侧)的方式实现。

华为大数据架构师兼金融领域大数据首席技术顾问 盛允

——《华为大数据平台商业实践》

盛允着重讲解了华为大数据解决方案在运营商、公安、交通、教育、医疗、银行、保险、证券等领域的广泛应用。

移动互联网的全面兴起,金融和电信等传统行业转型需求尤为明显。利用大数据,可帮助这些传统行业快速完成业务转型,加快业务创新,并保证企业继续保持强劲的竞争力。

以银行为例,通过部署华为FusionInsight企业级大数据解决方案,历史数据管理、实时征信、实时事件营销、小微贷获客预测、理财产品精准推荐等创新金融业务陆续上线,在业务准确性、实时性,以及客户的满意度方面取得显著提升。

面向未来,华为仍将在大数据领域持续投入,并希望建立一个“万紫千红”的生态系统。华为致力于打造企业级大数据支撑平台,使其成为各行业创新的土壤,真正让数据“慧”说话,从而支撑各个行业的各种应用。

华为大数据分析技术专家 刘诗凯 

——《自动化建模的应用》

刘诗凯的演讲包括:数据挖掘的回顾和展望、自动化建模的应用场景、自动化建模的实践。

其中自动化建模的实践,刘诗凯分别介绍了有监督和无监督的自动化建模:

有监督自动化建模:主要介绍了如何进行数据处理、特征工程、算法和参数选择,通过并行化数据处理优化执行速度,通过AUC选择数据处理方法;通过GBDT、深度学习等方式筛选、组合特征;通过GridSearch等方式进行算法参数搜索等。

无监督自动化建模:主要介绍了快速异常检测算法、可聚类自动分析及聚类参数搜索,特征的相似度度量等方法。


活动现场


互动问答


现场抽奖颁奖

0
0
  • CSDN官方微信
  • 扫描二维码,向CSDN吐槽
  • 微信号:CSDNnews
程序员移动端订阅下载

微博关注

相关热门文章