精华内容
下载资源
问答
  • spark 快速大数据分析

    2017-11-16 12:18:35
    spark 快速大数据分析spark 快速大数据分析spark 快速大数据分析spark 快速大数据分析
  • Spark 快速大数据分析

    2018-08-12 16:08:15
    Spark 快速大数据分析Spark 快速大数据分析Spark 快速大数据分析Spark 快速大数据分析Spark 快速大数据分析Spark 快速大数据分析
  • spark快速大数据分析

    2017-12-06 16:21:57
    spark快速大数据分析 spark快速大数据分析 spark快速大数据分析
  • Spark快速大数据分析

    千次阅读 2019-03-01 11:28:39
    文章目录Spark快速大数据分析一、Spark数据分析导论二、Spark下载与入门三、RDD编程四、键值对操作五、数据读取与保存六、Spark编程进阶七、在集群上运行Spark八、Spark调优与调试九、Spark SQL十、Spark Streaming...

    作者:翁松秀


    Spark快速大数据分析

    一、Spark数据分析导论

    二、Spark下载与入门

    三、RDD编程

    RDD(Resilient Distributed Dataset),弹性分布数据集,是Spark的核心概念。在Spark中,对数据的处理和计算无非就是对RDD的创建和操作,操作包括RDD转换和RDD动作。Spark是惰性计算,只有第一次遇到行动操作的时候才会对RDD进行计算,RDD的创建和转换Spark只会保存逻辑操作,而行动操作会将最终求得的结果返回驱动器程序,或者写入外部存储系统中。
    在Spark中RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区,这些分区运行在集群中的不同节点上。
    在Spark中有两种方法可以创建RDD,

    1. 读取外部数据集。
    2. 分发程序中的对象集合。
      Spark在你每次对RDD进行行动操作的时候重新计算,如果想在多个行动操作中重用同一个RDD,可以把RDD缓存起来。缓存策略可以采用仅内存,仅硬盘和内存和硬盘结合的策略。
      为什么叫弹性分布数据集?
      因为任何时候都能进行重算。
      需要注意的是,每当我们每次调用一个新的行动操作,整个RDD都会从头开始计算,要避免这种低效的行为,我们可以将中间结果持久化。

    四、键值对操作

    五、数据读取与保存

    六、Spark编程进阶

    七、在集群上运行Spark

    八、Spark调优与调试

    九、Spark SQL

    十、Spark Streaming

    十一、基于MLlib的机器学习

    展开全文
  • Spark快速大数据分析

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 37,366
精华内容 14,946
关键字:

spark快速大数据分析