2017-08-15 18:33:09 qq_33813365 阅读数 4358
  • Spark快速大数据处理

    课程的主要内容包括: 1.ZooKeeper-分布式过程协同组件 2.Hadoop3-大数据基础组件 3.Tez-Yarn底层计算引擎 4.Hive3-大数据仓库 5.Spark2实时大数据处理 6.Oozie5-大数据流程引擎 课程特点: 1.最新API: Hadoop3/Spark2/Hive3/Oozie5 2.手工搭建集群环境:编译+搭建 3.配套资源:分阶段镜像+课件+安装资源,其中安装资源包括案例源码、脚本等 4.案例为主:分模块案例+天池数据分析竞赛 5.故障教学 6.完整实战项目:天池数据分析

    12733 人正在学习 去看看 余海峰

大礼包内含书目:

Apache Spark源码剖析.pdf
深入理解Spark:核心思想与源码分析.pdf
Spark快速大数据分析.pdf
Spark高级数据分析.pdf
数据算法--Hadoop-Spark大数据处理技巧
Spark大数据处理:技术、应用与性能优化(全).pdf
Spark技术内幕  深入解析Spark内核架构设计与实现原理.pdf

下载地址:
http://pan.baidu.com/s/1c1GB56K

2016-08-02 22:25:04 wyx100 阅读数 4708
  • Spark快速大数据处理

    课程的主要内容包括: 1.ZooKeeper-分布式过程协同组件 2.Hadoop3-大数据基础组件 3.Tez-Yarn底层计算引擎 4.Hive3-大数据仓库 5.Spark2实时大数据处理 6.Oozie5-大数据流程引擎 课程特点: 1.最新API: Hadoop3/Spark2/Hive3/Oozie5 2.手工搭建集群环境:编译+搭建 3.配套资源:分阶段镜像+课件+安装资源,其中安装资源包括案例源码、脚本等 4.案例为主:分模块案例+天池数据分析竞赛 5.故障教学 6.完整实战项目:天池数据分析

    12733 人正在学习 去看看 余海峰
大数据Spark企业级实战  PDF完整版
下载地址

基本信息

书名:大数据Spark企业级实战

定价:129元

作者:Spark亚太研究院 王家林 编著

出版社:电子工业

出版日期:2015-01-01

ISBN:9787121247446

字数:1136800

页码:812

版次:1

装帧:平装

开本:16开

商品重量:0.3kg

编辑推荐


推荐购买:Java虚拟机精讲Boost程序库完全开发指南——深入C “准”标准库(第3版)让用户体验融入企业基因Spring Batch 批处理框架Cocos2d-x 3.X游戏开发入门精解(含DVD光盘1张)游戏自动化测试实践 Life is short, you need Spark! Spark是当今大数据领域*活跃*热门的高效的大数据通用计算平台。基于RDD,Spark成功地构建起了一体化、多元化的大数据处理体系。 雅虎、Conviva、淘宝、网易、大众点评、优酷土豆、腾讯、华为等公司均在生产环境中部署了大规模的Spark。 本书完全从企业处理大数据业务场景的角度出发,完全基于实战代码来组织内容,从零起步,不需任何基础,完全无痛地掌握Spark大数据处理实战技术,源码解析: Spark集群的动手构建 Spark架构 Spark内核的深入解析 Spark子框架的细致剖析和实战 Tachyon文件系统揭秘 Spark多语言编程 SparkP Spark性能调优和**实践 一站式实现Spark企业级开发实战!

内容提要


Spark是当今大数据领域最活跃、最热门、效的大数据通用计算平台,是Apache软件基金会下所有开源项目中开源项目之一。

在“One Stack to rule them all”理念的指引下,Spark基于RDD成功地构建起了大数据处理的一体化解决方案,将MapReduce、Streaming、SQL、Machine Learning、Graph Processing等大数据计算模型统一到一个技术堆栈中,开发者使用一致的API操作Spark中的所有功能;更为重要的是Spark的Spark SQL、MLLib、GraphX、Spark Streaming等子框架之间可以在内存中完美的无缝集成并可以互相操作彼此的数据,这不仅打造了Spark在当今大数据计算领域其他任何计算框架都无可匹敌的优势,更使得Spark正在加速成为大数据处理中心的和的计算平台。

《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容,涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等,并且结合Spark源码细致的解析了Spark内核和子框架,最后在附录中提供了的Spark的开发语言Scala快速入门实战内容,学习完此书即可胜任绝大多数的企业级Spark开发需要。

《大数据Spark企业级实战》从零起步,完全从企业处理大数据业务场景的角度出发,基于实战代码来组织内容,对于一名大数据爱好者来说,《大数据Spark企业级实战》内容可以帮助您一站式地完成从零起步到进行Spark企业级开发所需要的全部核心内容和实战需要。

目录


第1章 Spark编程模型 1

1.1 Spark:一体化、多元化的高速

大数据通用计算平台和库 1

1.1.1 为什么需要使用Spark 5

1.1.2 Spark技术生态系统简介 9

1.2 Spark大数据处理框架 20

1.2.1 Spark速度为何如此之快 20

1.2.2 RDD:分布式函数式编程 24

1.3 Spark子框架解析 28

1.3.1 图计算框架Spark GraphX 28

1.3.2 实时流处理框架(Spark Streaming) 41

1.3.3 交互式SQL处理框架Spark SQL 46

1.3.4 机器学习框架(Spark MLlib) 49

第2章 构建Spark分布式集群 55

2.1 搭建Hadoop单机版本和伪分布式开发环境 55

2.1.1 开发Hadoop需要的基本软件 56

2.1.2 安装每个软件 58

2.1.3 配置Hadoop单机模式并运行Wordcount示例 76

2.1.3 配置Hadoop伪分布模式并运行Wordcount示例 84

2. 2 搭建 Hadoop分布式集群的 92

2.2.1 在VMWare 中准备第二、第三台运行Ubuntu系统的机器 92

2.2.2 按照配置伪分布式模式的方式配置新创建运行Ubuntu系统的机器 93

2.2.3 配置Hadoop分布式集群环境 94

2.2.4 测试Hadoop分布式集群环境 105

2.3 Spark集群的动手搭建 108

2.3.1 Spark集群需要的软件 108

2.3.2 安装每个软件 110

2.3.3 启动并查看集群的状况 116

2.4 构建Hadoop单机版本和伪分布式环境 120

2.4.1 通过Spark的shell测试Spark的工作 121

2.4.2 使用Spark的cache机制观察一下效率的提升 125

第3章 Spark开发环境及其测试 129

3.1 搭建和设置IDEA开发环境 129

3.1.1 构建Spark的IDE开发环境 129

3.1.2 配置Spark的IDE开发环境 132

3.2 测试IDEA环境 146

3.3 实战:在IDEA中开发代码,并运行在Spark集群中 148

第4章 Spark RDD与编程API实战 159

4.1 深度解析Spark RDD 159

4.2 Transformation Operations动手实战 165

4.3 Action Operations动手实战 175

4.4 Spark API综合实战 179

第5章 Spark运行模式深入解析 191

5.1 Spark运行模式概述 192

5.1.1 Spark的运行模式列表 196

5.1.2 Spark的基本工作流程 197

5.2 Standalone模式 201

5.2.1 部署及程序运行 202

5.2.2 内部实现原理 206

5.3 Yarn-Cluster模式 234

5.3.1 部署及程序运行 235

5.3.2 内部实现原理 237

5.4 Yarn-Client模式 243

5.4.1 部署及运行程序 243

5.4.2 内部实现原理 244

第6章 Spark内核解析 247

6.1 Spark内核初探 247

6.1.1 Spark内核核心术语解析 247

6.1.2 Spark集群概览 250

6.1.3 Spark核心组件 251

6.1.4 Spark任务调度系统初见 252

6.2 Spark内核核心源码解读 256

6.2.1 SparkContext核心源码解析初体验 256

6.2.2 TaskSceduler启动源码解析初体验 260

6.2.3 DAGScheduler源码解读初体验 261

6.2.4 Spark的Web监控页面 262

6.3 以RDD的count操作为例触发Job全生命周期源码研究 263

6.4 Akka驱动下的Driver、Master、Worker 276

6.4.1 Driver中的AppClient源码解析 276

6.4.2 AppClient注册Master 279

6.4.3 Worker中Executor启动过程源代码解析 282

第7章 GraphX大规模图计算与图挖掘实战 287

7.1 Spark GraphX概览 288

7.2 Spark GraphX设计实现的核心原理 291

7.3 Table operator和Graph Operator 295

7.4 Vertices、edges、triplets 296

7.5 以最原始的方式构建graph 299

7.6 动手编写个Graph代码实例并进行Vertices、edges、triplets操作 299

7.7 在Spark集群上使用文件中的数据加载成为graph并进行操作 310

Spark亚太研究院首席专家,中国移动互联网和云计算大数据集大成者。在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码,并已完成2014年5月31日发布的Spark1.0源码研究。

Hadoop源码级专家,曾负责某知名公司的类Hadoop框架开发工作,专注于Hadoop一站式解决方案的提供,同时也是云计算分布式大数据处理的最早实践者之一。

Android架构师、高级工程师、咨询顾问、培训专家。

通晓Spark、Hadoop、Android、HTML5,迷恋英语播音和健美。

2017-12-03 11:14:02 chaoren499 阅读数 466
  • Spark快速大数据处理

    课程的主要内容包括: 1.ZooKeeper-分布式过程协同组件 2.Hadoop3-大数据基础组件 3.Tez-Yarn底层计算引擎 4.Hive3-大数据仓库 5.Spark2实时大数据处理 6.Oozie5-大数据流程引擎 课程特点: 1.最新API: Hadoop3/Spark2/Hive3/Oozie5 2.手工搭建集群环境:编译+搭建 3.配套资源:分阶段镜像+课件+安装资源,其中安装资源包括案例源码、脚本等 4.案例为主:分模块案例+天池数据分析竞赛 5.故障教学 6.完整实战项目:天池数据分析

    12733 人正在学习 去看看 余海峰

内容简介

《Spark大数据处理:技术、应用与性能优化》根据最新技术版本,系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化,以及BDAS生态系统的相关技术。

作为一个基于内存计算的大数据并行计算框架,Spark不仅很好地解决了数据的实时处理问题,而且保证了高容错性和高可伸缩性。具体来讲,它有如下优势:

打造全栈多计算范式的高效数据流水线

轻量级快速处理

易于使用,支持多语言

与HDFS等存储层兼容

社区活跃度高

……

Spark已经在全球范围内广泛使用,无论是Intel、Yahoo!、Twitter、阿里巴巴、百度、腾讯等国际互联网巨头,还是一些尚处于成长期的小公司,都在使用Spark。本书作者结合自己在微软和IBM实践Spark的经历和经验,编写了这本书。站着初学者的角度,不仅系统、全面地讲解了Spark的各项功能及其使用方法,而且较深入地探讨了Spark的工作机制、运行原理以及BDAS生态系统中的其他技术,同时还有一些可供操作的案例,能让没有经验的读者迅速掌握Spark。更为重要的是,本书还对Spark的性能优化进行了探讨。

    作者简介

高彦杰

毕业于中国人民大学,就职于IBM,精通Hadoop相关技术,较早接触并使用Spark,对Spark应用开发、Spark系统的运维和测试比较熟悉,深度阅读了Spark的源代码,了解Spark的运行机制,擅长Spark的查询优化。

    目录

前 言
第1章 Spark简介
1
1.1 Spark是什么
1
1.2 Spark生态系统BDAS
4
1.3 Spark架构
6
1.4 Spark分布式架构与单机多核架构的异同
9
1.5 Spark的企业级应用
10
1.5.1 Spark在Amazon中的应用
11
1.5.2 Spark在Yahoo!的应用
15
1.5.3 Spark在西班牙电信的应用
17
1.5.4 Spark在淘宝的应用
18
1.6 本章小结
20
第2章 Spark集群的安装与部署
21
2.1 Spark的安装与部署
21
2.1.1 在Linux集群上安装与配置Spark
21
2.1.2 在Windows上安装与配置Spark
30
2.2 Spark集群初试
33
2.3 本章小结
35
第3章 Spark计算模型
36
3.1 Spark程序模型
36
3.2 弹性分布式数据集
37
3.2.1 RDD简介
38
3.2.2 RDD与分布式共享内存的异同
38
3.2.3 Spark的数据存储
39
3.3 Spark算子分类及功能
41
3.3.1 Value型Transformation算子
42
3.3.2 Key-Value型Transformation算子
49
3.3.3 Actions算子
53
3.4 本章小结
59
第4章 Spark工作机制详解
60
4.1 Spark应用执行机制
60
4.1.1 Spark执行机制总览
60
4.1.2 Spark应用的概念
62
4.1.3 应用提交与执行方式
63
4.2 Spark调度与任务分配模块
65
4.2.1 Spark应用程序之间的调度
66
4.2.2 Spark应用程序内Job的调度
67
4.2.3 Stage和TaskSetManager调度方式
72
4.2.4 Task调度
74
4.3 Spark
I/O机制 77
4.3.1 序列化
77
4.3.2 压缩
78
4.3.3 Spark块管理
80
4.4 Spark通信模块
93
4.4.1 通信框架AKKA
94
4.4.2 Client、Master和Worker间的通信
95
4.5 容错机制
104
4.5.1 Lineage机制
104
4.5.2 Checkpoint机制
108
4.6 Shuffle机制
110
4.7 本章小结
119
第5章 Spark开发环境配置及流程
120
5.1 Spark应用开发环境配置
120
5.1.1 使用Intellij开发Spark程序
120
5.1.2 使用Eclipse开发Spark程序
125
5.1.3 使用SBT构建Spark程序
129
5.1.4 使用Spark
Shell开发运行Spark程序 130
5.2 远程调试Spark程序
130
5.3 Spark编译
132
5.4 配置Spark源码阅读环境
135
5.5 本章小结
135
第6章 Spark编程实战
136
6.1 WordCount
136
6.2 Top
K 138
6.3 中位数
140
6.4 倒排索引
141
6.5 CountOnce
143
6.6 倾斜连接
144
6.7 股票趋势预测
146
6.8 本章小结
153
第7章 Benchmark使用详解
154
7.1 Benchmark简介
154
7.1.1 Intel
Hibench与Berkeley
BigDataBench 155
7.1.2 Hadoop
GridMix 157
7.1.3 Bigbench、BigDataBenchmark与TPC-DS
158
7.1.4 其他Benchmark
161
7.2 Benchmark的组成
162
7.2.1 数据集
162
7.2.2 工作负载
163
7.2.3 度量指标
167
7.3 Benchmark的使用
168
7.3.1 使用Hibench
168
7.3.2 使用TPC-DS
170
7.3.3 使用BigDataBench
172
7.4 本章小结
176
第8章 BDAS简介
177
8.1 SQL
on Spark 177
8.1.1 使用Spark
SQL的原因 178
8.1.2 Spark
SQL架构分析 179
8.1.3 Shark简介
182
8.1.4 Hive
on Spark 184
8.1.5 未来展望
185
8.2 Spark
Streaming 185
8.2.1 Spark
Streaming简介 186
8.2.2 Spark
Streaming架构 188
8.2.3 Spark
Streaming原理剖析 189
8.2.4 Spark
Streaming调优 198
8.2.5 Spark
Streaming 实例 198
8.3 GraphX
205
8.3.1 GraphX简介
205
8.3.2 GraphX的使用
206
8.3.3 GraphX架构
209
8.3.4 运行实例
211
8.4 MLlib
215
8.4.1 MLlib简介
217
8.4.2 MLlib的数据存储
219
8.4.3 数据转换为向量(向量空间模型VSM)
222
8.4.4 MLlib中的聚类和分类
223
8.4.5 算法应用实例
228
8.4.6 利用MLlib进行电影推荐
230
8.5 本章小结
237
第9章 Spark性能调优
238
9.1 配置参数
238
9.2 调优技巧
239
9.2.1 调度与分区优化
240
9.2.2 内存存储优化
243
9.2.3 网络传输优化
249
9.2.4 序列化与压缩
251
9.2.5 其他优化方法
253
9.3 本章小结
255

 

 

《Spark大数据处理:技术、应用与性能优化》【PDF】下载链接:  https://u253469.pipipan.com/fs/253469-230062536

2017-08-19 21:18:13 qq_33813365 阅读数 3976
  • Spark快速大数据处理

    课程的主要内容包括: 1.ZooKeeper-分布式过程协同组件 2.Hadoop3-大数据基础组件 3.Tez-Yarn底层计算引擎 4.Hive3-大数据仓库 5.Spark2实时大数据处理 6.Oozie5-大数据流程引擎 课程特点: 1.最新API: Hadoop3/Spark2/Hive3/Oozie5 2.手工搭建集群环境:编译+搭建 3.配套资源:分阶段镜像+课件+安装资源,其中安装资源包括案例源码、脚本等 4.案例为主:分模块案例+天池数据分析竞赛 5.故障教学 6.完整实战项目:天池数据分析

    12733 人正在学习 去看看 余海峰

——8.16开始整理
Spark快速大数据分析

推荐序:
一套大数据解决方案通常包含多个组件,从存储、计算和网络硬件层,到数据处理引擎,再到利用改良的统计和计算算法、数据可视化来获得商业洞见的分析层,这其中数据处理引擎起到了十分重要的作用,毫不夸张的说数据处理引擎至于大数据就相当于CPU之于计算机

spark起源:
2009年加州大学伯克利分校AMPlab 创立spark大数据处理和计算框架。不同于传统数据处理框架,spark基于内存的基本类型,为一些应用程序带来了100倍的性能提升。spark允许允许应用将数据加载到集群内存中反复查询,非擦汗那个适合于大数据处理和机器学习

spark发展:
spark已超越spark核心,发展到了spark streaming、sql、MLlib、GraphX、sparkR等模块,企业、交通、医疗、零售,推进商业洞见,加速决策;
作为MapReduce的继承者,spark主要有三大优点:1.spark非常好用,由于高级API剥离了对集群本身的关注,只关注任务实现的逻辑。2.spark很快,支持交互使用和复杂算法。3.spark是通用引擎,可以用它来完成各种各样的运算,包括SQL查询、文本处理、机器学习

第一章:spark数据分析导论
1.1 spark是什么
快速通用集群计算平台

spark扩展了mapreduce计算模型,高效的支持更多的计算模式,包括交互式查询和流处理(在处理大规模数据集时,速度非常重要,速度快就意味着我们可以进行交互式的数据操作),能够在内存中进行计算(不过就算必须在磁盘中进行复杂计算,spark依然比mapreduce更加高效)

spark适用于各种各样原来需要多种不同分布式平台的场景,包括批处理、迭代算法、交互式查询、流处理。通过在这一个统一的框架下支持这些不同类型的计算,spark是我们可以简单而低耗地把各种处理流程整合到一起。而这样的组合在实际开发中很有意义,进而减轻原来需要对各种平台分别管理的负担

spark可以运行在hadoop集群上,访问hadoop上任意数据源

1.2一个大一统的软件栈

spark的核心是一个对有许多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。该引擎支持多种不同应用场景专门设计的高级组件,例如 spark streaming、saprk sql、MLlib、GraphX ,这些组件关系密切并且可以相互调用,这样就可像平常软件项目中使用程序库那样,组合使用这些组件

各组间密切集成于spark平台的优点:
都可以从下层改进中受益(当spark核心引擎引入一个优化,sql和机器学习程序库都能自动获得性能提升)
运行整个软件栈的代价变小了(不需要同时运行支持多种不同应用场景所需的多个软件系统,只需在spark上调用各种库)这些代价包括系统的部署、维护、测试、支持、升级
能够无缝整合不同处理模型的应用

spark软件栈:独立调度器/YARN/Mesos——>spark core ——> spark sql/spark streaming/MLlib/GraphX

1.2.1 Spark Core
Spark Core 上实现了Spark的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core还包含了对弹性分布式数据集的API定义。RDD表示分布在多个节点可并并行操作的元素集合,是spark主要的编程对象。spark core提供了创建和操作这些集合的多个API

1.2.2 Spark SQL
Spark SQL 是spark用来操作结构化数据的程序包,可以使用HiveQL来查询数据。Spark SQL支持多种数据源,比如 Hive表、Parquest以及Json。saprk SQL还支持开发者将SQL和传统的RDD编程数据操作方式结合(python、java、scala皆有相应程序包)

1.2.3 Spark streaming
Spark提供的对流式数据进行流式计算的组件。比如网页服务器日志或者网络服务中用户提交的状态更新组成的消息队列,都是数据流 可操作磁盘、内存、实时数据流

1.2.4 MLlib
Spark还提供一个机器学习的程序库,MLlib,提供了许多种机器学习的算法,包括分类、回归、聚类、协同过滤以及模型评估和数据导入等功能

1.2.5 GraphX
操作图的程序库,例如 社交网络的朋友关系图,可以进行并行的图计算以及常用的图算法

1.2.6 集群管理器
底层而言,spark设计为高效的在一个计算节点到数千个计算节点伸缩计算,spark支持多种集群管理器(Hadoop YARN、Apache Mesos),以及spark自带的独立调度器

第二章:spark下载与入门
spark 可以通过Python、java或者Scala使用
spark 本身是scala编写的,运行在java虚拟机(为什么要使用java虚拟机?java语言一个非常重要特点就是与平台无关性。而使用java虚拟机是实现这这一特点的关键。一般的高级语言如果在不同的平台运行,至少需要编译成不同的目标代码。而引入java虚拟机后java语言在不同平台与性是不需要重新编译。java语言使用java虚拟机屏蔽了具体平台的不同,使得java语言编译程序只需生成在java虚拟机上运行的字节码文件,就可以在不同平台不需修改的运行),所以需要集群都安装java环境,要是使用python接口,还需要一个python解释器

ps:.tgz(.tar.gz)

spark有python shell 和 scala版的shell

第三章:RDD编程
简介:
Spark对数据的核心抽象——弹性分布式数据集(Resilient Distributed Dataset)。RDD实际上是分布式的元素集合。在Spark中,对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值,而在一切的背后,Spark会自动将RDD中的数据分发到集群中,并将操作并行执行

3.1 RDD基础
Spark中的RDD就是一个不可变的分布式对象集合。每个RDD被分成多个分区,这些分区运行在集群中不同节点
从外部数据创建出输入RDD
使用诸如filter()这样的转化操作对RDD进行转化,以定义新的RDD
对需要被重用的中间结果RDD执行persist()操作
使用行动操作(count()、first())来触发一次并行操作,spark会对计算优化后执行

3.2创建RDD
创建RDD两种方式:读取外部数据、驱动器中对一个集合进行转化

3.3 RDD操作
RDD支持两种操作:转化操作、行动操作。RDD的转化操作返回的是一个新的RDD,比如map()、filter(),而行动操作向驱动器系统返回结果或者把结果写到外部系统的操作,会触发实际的计算,比如 count()、first()。

3.3.1 转化操作

通过转化操作,从已有的RDD派生出新的RDD,spark会用 谱系图 来记录这些不同RDD的依赖关系。spark需要用这些信息计算每个RDD,可以依靠系谱图在持久化RDD丢失数据时恢复所丢失数据

inputRDD——》errorsRDD/warningRDD——》badlinesRDD

3.3.2 行动操作
转化操作是惰性操作,只有行动操作需要生成实际的输出,会强制执行用的RDD执行转化操作
take()取RDD少量元素,collect()函数可以用来获取整个RDD中的元素,不需注意的是,必须确定整个RDD元素能在单台内存中装的下,因此collect()不能用在大规模数据集
需要注意的是:每当我们调用一个新的行动操作时,整个RDD都会重新开始计算,所以要将中间结果持久化

3.3.3 惰性求值
RDD的转化操作是惰性的,RDD依赖关系由spark系谱图管理记录,当执行操作必须用到指定RDD时才强制执行生成该RDD的转化操作
spark用惰性求值,这样就可以将一些操作和起来来减少计算数据的步骤

Spark大数据处理

阅读数 199

Spark大数据处理:

博文 来自: u013411339
没有更多推荐了,返回首页