订阅云计算RSS CSDN首页> 云计算

叶琪:Hadoop不是万能的 要明确场景扬长避短

发表于2014-05-05 09:23| 次阅读| 来源CSDN| 0 条评论| 作者刘亚琼

摘要:叶琪表示,Hadoop不是万能的,不能解决所有的大数据需求,自身还有安全、实时性、SQL能力等诸多缺陷,一定明确需求和使用场景,用其长弃其短。在培训中他会分享Haodop系统的规划设计、建设、运维在电信行业的实施。

2014年05月20日,CSDN携手ChinaHadoop小象社区将打造一场涵盖分布式在线存储系统HBase、数据仓库Hive、Hadoop在电信运营商的应用实践等内容的“Hadoop在企业中的应用实战”高端技术培训。

此次“Hadoop在企业中的应用实战”培训的起因很简单,时下数据已经成为当今企业的核心竞争力,拥有大数据并智慧地使用和运营数据成为企业不可缺少的成功要素。Hadoop生态系统提供了一种实用的、经济有效的、可扩展的架构,帮助企业存储、管理和处理海量数据。业界在Hadoop上的兴趣和投资形成了包括开源软件和商业化软件的整个生态系统,Hadoop迅速成为大数据处理方面的业界事实标准。越来越多的企业急需引入Hadoop技术人才!于是CSDN携手ChinaHadoop小象社区共同打造了此次“Hadoop在企业中的应用实战”

在本次培训开始前,我和本次培训的讲师叶琪做了一次简单的沟通,他表示将会在5月20日“Hadoop在企业中的应用实战” 就Haodop系统的规划设计、建设、运维等方面分享下这几年我在电信行业的Hadoop实施心得。报名点击!



叶琪           ChinaHadoop小象社区核心成员
嘉宾介绍:Hadoop的开发者与实践者,专注于Hadoop的底层模块(HDFS、YARN、MapReduce、HBase和Hive),擅长将传统业务系统迁移到基于Hadoop的解决方案,对Hadoop集群的构建和各种运维问题有着丰富的实践经验。


以下是采访原文:

-什么原因吸引你钻研Hadoop技术?

在Hadoop的世界里能遇到各种系统最底层最复杂的技术问题,这是最吸引我长期钻研的最大动力。我的职业生涯经历过几个不同类型的产品,但大多属于Application层面的,完全不涉及OS、文件系统、内存管理、网络通信等核心技术,当我有一天有幸开始从事Hadoop这个产品并逐渐去研究它的内核代码时,我发现这里有所有我最感兴趣的话题,于是自己开始不可救药的爱上它了。

-对于解决哪些问题Hadoop独具优势?

Hadoop不是万能的,不能解决所有的大数据需求,自身也还有安全、实时性、SQL能力等诸多缺陷,所以一定明确需求和使用场景,用其长弃其短。

在电信行业里,Hadoop最适合处理网络信令、上网话单、业务日志这三类数据,这三类数据的最大特点是量大(每天可以达到1T以上)、结构化(有明确的字段含义)、存储时间长(长达1年及以上),使用Hive+MapReduce、HBase等组件刚好能满足统计汇总、点查询等基础需求,能替代大部分IOE产品并与其互补,因此在这些场景下Hadoop独具优势。

-目前企业应用Hadoop最大的困难是什么?

我觉得最主要的还是SQL,传统企业应用都是SQL方式连接数据库,因此迁移到Hive QL和HBase之上会面临表结构变化和接口适配的问题,其次是人员技能问题,这些都是企业应用Hadoop的最大障碍。

-根据您的了解,目前Hadoop发展的情况如何?

Hadoop从互联网行业起步,已经获得了广泛的共识和巨大成功。这种成功已经成为示范效应而扩散到其他传统行业,当前正在剧变期的是电信行业,各类传统存储技术都面临升级到Hadoop的趋势;接下来是金融行业,现在的金融行业就像2年前的电信行业,处于萌芽期,一旦有了成功案例的“星星之火”,会马上掀起一股“燎原之势”。

-请谈谈你在这次Hadoop培训上即将分享的话题。

目前国内已经有很多不错的论坛和技术博客,对Hadoop的各方面内核技术有很多的分析;所以我不打算重复这些内容,而打算就Haodop系统的规划设计、建设、运维等方面分享下这几年我在电信行业的Hadoop实施心得。

-哪些人群应该来参加本次培训?会对他们有哪些帮助?

打算或即将在企业内实施Hadoop系统的IT部门主管、系统架构师是我本次培训课题的目标对象。这些人群对Hadoop有一些初步的认识,但没有能力自主规划建设一个生产级的Hadoop集群并将其运维好,也没有能力甄别应该选择哪个Hadoop发行版或哪些技术供应商来帮助他们建设好这个系统。

更多精彩尽在2014年5月20日“Hadoop在企业中的应用实战”培训,目前报名可享受三人成团优惠价!马上报名

往期采访文章:

董西成:Hadoop将在高速发展和完善中扩大优势!

冼茂源:HBase在垂直搜索业务以及数据存储中的应用!


以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。 需要购买的朋友,请抓住这最后的机会,点击报名!

0
0