订阅程序员杂志RSS CSDN首页> 程序员杂志

《程序员》2014年2月刊:大数据实时处理

发表于2014-01-24 11:07| 次阅读| 来源《程序员》| 0 条评论| 作者程序员杂志

摘要:本期以“大数据实时处理”为主题,力邀多家公司的资深技术专家,从传输、存储、计算等多方面阐释大数据实时处理过程,结合实践对Impala、Presto、Storm、Samza、Spark Streaming等核心技术进行了深入的剖析。

本期封面报道以“大数据实时处理”为主题,力邀来自阿里、百度、腾讯、英特尔、新浪、搜狐、京东、百分点等多家公司的资深技术专家,从传输、存储、计算等多方面阐释大数据实时处理过程,并结合实践对Impala、Presto、Storm、Samza、Spark Streaming等核心技术进行了深入的剖析,给出了具体的应用场景及优化方案。

(1)实时和交互:技术与现实的纠缠

(2)大数据时代之实时数据传输

(3)HBase在内容推荐引擎系统中的应用

(4)实时处理之流式计算平台的实践

(5)Storm在腾讯的应用

(6)京东基于Samza的流式计算实践

(7)Spark Streaming:大规模流式数据处理的新贵

(8)Presto实现解析

(9)基于Impala构建实时大数据查询系统实践

(10)百度实时计算系统

(11)百分点实时计算实践:架构和算法


资讯

(1)外刊速递

(2)网文精选

(3)新闻 

(4)新产品新工具

(5)程序天下事

管理

(1)给技术人上的管理课:控制和计划

(2)如何提升研发人员的非技术才能

研发企业的核心资产是人力资源,人力资源管理除了关注“组织结构、岗位职责、绩效评估、专业培训”这些常规内容之外,还要设法提升研发人员的非技术才能,使现有人力资源发挥更大的效用。本文作者结合自己多年的实践经验,讲述提升研发人员非技术才能的秘技。

产品

(1)互联网产品战略必杀技

互联网行业其实一直“硝烟弥漫、战火不断”,互联网企业只有在激烈的竞争环境中学会运用谋略,在战略发展过程中兼顾全局与发展,增强对生态系统内用户渠道的控制能力,方可以胜利者的姿态获取绝对的市场份额。

(2)聊聊阿里的内部创新机制—赛马

基业无法长青,公司总会被打败,但也可以是自己打败自己,这就需要鼓励创新、容忍犯错。为了让公司持久保持有活力和创新能力,淘宝内部的赛马机制成为创新源头。

(3)引导的设计

移动

(1)iBeacons技术初探

作为iOS 7最重要的新技术之一,iBeacons技术具备很多NFC所不具备的优势,比如它能远距离传输文件,支持室内导航及移动支付等,同时,由于能改善客户关系管理,其商业价值也给人带来无限遐想。

(2)从顶级游戏开发者倒下看产品型行业的危机感

在很多游戏公司为自己的“百年基业”做打算时,一些名噪一时的游戏公司却因后续产品的乏力及核心成员的离去而走向困局。在以产品为核心的游戏市场,“豪门”与“草根”为自己对市场的误判而买单的风险是一样的。

(3)App如何搭上可穿戴设备的便车——乐动力CEO刘超专访

《乐动力》是一款以硬件思维开发的App,除了一般应用常见的B2C业务,它还积极探索通过提供服务,涉足硬件领域的可行性。

(4)文创类展品数字化的新探索——《胤禛美人图》的制作历程与感悟

(5)同志社交软件的“蓝海”

(6)FreeType,游戏字体解析的利器

由于OpenGL并不提供对字体的支持,游戏引擎通常需要自行实现对字体的解析及绘制。本文将由计算机字体的历史讲起,解读iOS和Android等平台广泛使用的字体引擎Freetype的解析原理及过程,并以Cocos2d-x游戏引擎为例简要地介绍其使用。

云计算

(1)腾讯大规模Hadoop集群实践

TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面,介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。

(2)大众点评的数据架构之道

(3)SDN控制器:Beacon核心技术分析

当前SDN控制器种类繁多,其整体架构和核心功能也有诸多不同。而Beacon作为控制器中的先行者以及引导者,对SDN控制器的设计起到了重要的指导作用,本文将针对Beacon的设计和实现进行详细分析。

技术

(1)扪虱夜谈SOSP:分布式篇

Symposium on Operating Systems Principles(SOSP)是操作系统系统领域的顶级会议,每逢奇数年召开(这一领域另一重要会议OSDI为逢偶数年召开),2013年11月,在美国宾夕法尼亚州Farmington举办了第24届SOSP。本文将带领读者解析本次会议上最重要的论文和相关研究。

(2)Linux内核打喷嚏为哪般?

熟悉Linux的用户,一定知道Panic。它与BSOD(Blue Screen Of Death)性质类似,但表现形式和细节有很多不同。BSOD一旦产生,系统便进入一个稳定的“停滞”状态,只得重启。而Panic出现后,有时系统还可以动一动,或者过一会儿再出现一个,就像打喷嚏,接二连三“喷出满天星”。

(3)失传的C结构体打包技艺


百味

(1)反馈即一切——实时计算系统Storm创始人Nathan Marz访谈录

Nathan Marz是分布式容错实时计算系统——Storm的创始人,在2011年7月Twitter收购社交媒体数据分析公司BackType前,他是BackType的首席工程师。在Twitter,他负责建立流计算团队,为整个公司的多项关键业务提供基础架构支持。2013年3月,他选择离开Twitter,创立了属于自己的公司。

(2)书评

(3)GEEK

(4)漫画

咨询电话:01051661202-176/381

《程序员》2014年杂志订阅送好礼活动火热进行中

0
0

近期活动

更多

2015中国大数据技术大会

为了更好帮助企业深入了解国内外最新大数据技术,掌握更多行业大数据实践经验,进一步推进大数据技术创新、行业应用和人才培养,2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司及CSDN共同协办的2015中国大数据技术大会(Big Data Technology Conference 2015,BDTC 2015)将在北京新云南皇冠假日酒店隆重举办。

微博关注

程序员移动端订阅下载

相关热门文章