精华内容
下载资源
问答
  • Spark运行架构

    2015-12-24 16:21:34
  • Spark 运行架构

    2018-03-06 19:33:54
    Spark 运行架构1. Spark运行基本流程 构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源; 资源管理器分配Executor资源...

    Spark 运行架构

    1. Spark运行基本流程

    这里写图片描述

    1. 构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;
    2. 资源管理器分配Executor资源并启动Executor,Executor运行情况将随着心跳发送到资源管理器上;
    3. SparkContext构建成DAG图,将DAG图分解成Stage,并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task,Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
    4. Task在Executor上运行,运行完毕释放所有资源

    2. Spark运行架构特点

    • 每个Application获取专属的executor进程,该进程在Application期间一直驻留,并以多线程方式运行tasks。
    • Spark任务与资源管理器无关,只要能够获取executor进程,并能保持相互通信就可以。
    • 提交SparkContext的Client应该靠近Worker节点(运行Executor的节点),最好是在同一个Rack里,因为Spark程序运行过程中SparkContext和Executor之间有大量的信息交换;如果想在远程集群中运行,最好使用RPC将SparkContext提交给集群,不要远离Worker运行SparkContext。
    • Task采用了数据本地性和推测执行的优化机制。

    喜欢就点赞评论+关注吧

    这里写图片描述

    感谢阅读,希望能帮助到大家,谢谢大家的支持!

    展开全文
  • spark运行架构

    2018-10-09 20:25:39
    spark运行基本流程 Spark运行基本流程参见下面示意图: 构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源; 资源...

    spark运行基本流程

    Spark运行基本流程参见下面示意图:
    在这里插入图片描述

    1. 构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;
    2. 资源管理器分配Executor资源并启动Executor,Executor运行情况将随着心跳发送到资源管理器上;
    3. SparkContext构建成DAG图,将DAG图分解成Stage,并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task,Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
    4. Task在Executor上运行,运行完毕释放所有资源。

    spark运行架构特点

    ◆ 每个Application获取专属的executor进程,该进程在Application期间一直驻留,并以多线程方式运行tasks。

    ◆ Spark任务与资源管理器无关,只要能够获取executor进程,并能保持相互通信就可以了。

    ◆ 提交SparkContext的Client应该靠近Worker节点(运行Executor的节点),最好是在同一个Rack里,因为Spark程序运行过程中SparkContext和Executor之间有大量的信息交换;如果想在远程集群中运行,最好使用RPC将SparkContext提交给集群,不要远离Worker运行SparkContext。

    ◆ Task采用了数据本地性和推测执行的优化机制。

    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,616
精华内容 646
关键字:

spark运行架构