精华内容
参与话题
问答
  • Yarn

    万次阅读 2017-11-20 14:48:16
    应用场景当部署好hadoop集群后,搭建了YARN集群,开启了hadoop的HDFS和YARN服务,访问主节点IP和8088端口的YARN监控界面,发现这个All Applications界面中的开始执行时间和结束执行时间不对,应该往后加8个小时才对...

    应用场景

    当部署好hadoop集群后,搭建了YARN集群,开启了hadoop的HDFS和YARN服务,访问主节点IP和8088端口的YARN监控界面,发现这个All Applications界面中的开始执行时间和结束执行时间不对,应该往后加8个小时才对,导致在页面中对任务监控的时候容易出错,所以现在要进行修改!

    这里写图片描述

    操作步骤

    错误显示如上图,如果正确的话,应该加上8小时,才是我应该想要的时间。


    将hadoop-yarn-common-2.6.0.jar这个包下载到本地

    该包在您安装的hadoop目录中的【/opt/hadoop2.6.0/share/hadoop/yarn】目录中!

    然后进入到包中,找到webapps/static/yarn.dt.plugins.js,修改yarn.dt.plugins.js

    按照下面修改步骤,修改完后,替换之前的jar包即可!

     修改步骤1. 在yarn.dt.plugins.js文件中添加如下代码
    
    Date.prototype.Format = function (fmt) { //author: meizz   
        var o = {  
            "M+": this.getMonth() + 1, //月份   
            "d+": this.getDate(), //日   
            "h+": this.getHours(), //小时   
            "m+": this.getMinutes(), //分   
            "s+": this.getSeconds(), //秒   
            "q+": Math.floor((this.getMonth() + 3) / 3), //季度   
            "S": this.getMilliseconds() //毫秒   
        };  
        if (/(y+)/.test(fmt)) fmt = fmt.replace(RegExp.$1, (this.getFullYear() + "").substr(4 - RegExp.$1.length));  
        for (var k in o)  
        if (new RegExp("(" + k + ")").test(fmt)) fmt = fmt.replace(RegExp.$1, (RegExp.$1.length == 1) ? (o[k]) : (("00" + o[k]).substr(("" + o[k]).length)));  
        return fmt;  
    };  
    
    修改步骤2. 找到函数renderHadoopDate,修改为如下内容:
    
    function renderHadoopDate(data, type, full) {  
      if (type === 'display' || type === 'filter') {  
        if(data === '0'|| data === '-1') {  
          return "N/A";  
        }  
        return new Date(parseInt(data)).Format("yyyy-MM-dd hh:mm:ss");  
      }  
      // 'sort', 'type' and undefined all just use the number  
      // If date is 0, then for purposes of sorting it should be consider max_int  
      return data === '0' ? '9007199254740992' : data;    
    }  
    

    修改后效果

    这里写图片描述

    展开全文
  • 支持YARN上运行spark是在版本0.6.0上添加的,后续版本中完善。 准备 在YARN上运行spark需要一个分布式的二进制spark文件,这个文件被编译能够支持YARN(download时会让选择版本,有支持hadoop yarn的版本)。...


    支持YARN上运行spark是在版本0.6.0上添加的,后续版本中完善。


    准备

    在YARN上运行spark需要一个分布式的二进制spark文件,这个文件被编译能够支持YARN(download时会让选择版本,有支持hadoop yarn的版本)。二进制文件可以从spark工程网站上下载。自己编译spark,参考Building Spark(http://spark.apache.org/docs/latest/building-spark.html)。


    配置

    YARN上的sprak的大多数配置和其他部署模式下的配置相同。更多信息参考configuration page 。以下配置是YARN上spark特定的(没翻译,用到时再细看)。

    Spark Properties

    Property Name Default Meaning
    spark.yarn.am.memory 512m Amount of memory to use for the YARN Application Master in client mode, in the same format as JVM memory strings (e.g. 512m2g). In cluster mode, use spark.driver.memory instead.
    spark.driver.cores 1 Number of cores used by the driver in YARN cluster mode. Since the driver is run in the same JVM as the YARN Application Master in cluster mode, this also controls the cores used by the YARN AM. In client mode, use spark.yarn.am.cores to control the number of cores used by the YARN AM instead.
    spark.yarn.am.cores 1 Number of cores to use for the YARN Application Master in client mode. In cluster mode, use spark.driver.cores instead.
    spark.yarn.am.waitTime 100s In yarn-cluster mode, time for the application master to wait for the SparkContext to be initialized. In yarn-client mode, time for the application master to wait for the driver to connect to it.
    spark.yarn.submit.file.replication The default HDFS replication (usually 3) HDFS replication level for the files uploaded into HDFS for the application. These include things like the Spark jar, the app jar, and any distributed cache files/archives.
    spark.yarn.preserve.staging.files false Set to true to preserve the staged files (Spark jar, app jar, distributed cache files) at the end of the job rather than delete them.
    spark.yarn.scheduler.heartbeat.interval-ms 5000 The interval in ms in which the Spark application master heartbeats into the YARN ResourceManager.
    spark.yarn.max.executor.failures numExecutors * 2, with minimum of 3 The maximum number of executor failures before failing the application.
    spark.yarn.historyServer.address (none) The address of the Spark history server (i.e. host.com:18080). The address should not contain a scheme (http://). Defaults to not being set since the history server is an optional service. This address is given to the YARN ResourceManager when the Spark application finishes to link the application from the ResourceManager UI to the Spark history server UI. For this property, YARN properties can be used as variables, and these are substituted by Spark at runtime. For eg, if the Spark history server runs on the same node as the YARN ResourceManager, it can be set to `${hadoopconf-yarn.resourcemanager.hostname}:18080`.
    spark.yarn.dist.archives (none) Comma separated list of archives to be extracted into the working directory of each executor.
    spark.yarn.dist.files (none) Comma-separated list of files to be placed in the working directory of each executor.
    spark.executor.instances 2 The number of executors. Note that this property is incompatible withspark.dynamicAllocation.enabled.
    spark.yarn.executor.memoryOverhead executorMemory * 0.10, with minimum of 384 The amount of off heap memory (in megabytes) to be allocated per executor. This is memory that accounts for things like VM overheads, interned strings, other native overheads, etc. This tends to grow with the executor size (typically 6-10%).
    spark.yarn.driver.memoryOverhead driverMemory * 0.07, with minimum of 384 The amount of off heap memory (in megabytes) to be allocated per driver in cluster mode. This is memory that accounts for things like VM overheads, interned strings, other native overheads, etc. This tends to grow with the container size (typically 6-10%).
    spark.yarn.am.memoryOverhead AM memory * 0.07, with minimum of 384 Same as spark.yarn.driver.memoryOverhead, but for the Application Master in client mode.
    spark.yarn.am.port (random) Port for the YARN Application Master to listen on. In YARN client mode, this is used to communicate between the Spark driver running on a gateway and the Application Master running on YARN. In YARN cluster mode, this is used for the dynamic executor feature, where it handles the kill from the scheduler backend.
    spark.yarn.queue default The name of the YARN queue to which the application is submitted.
    spark.yarn.jar (none) The location of the Spark jar file, in case overriding the default location is desired. By default, Spark on YARN will use a Spark jar installed locally, but the Spark jar can also be in a world-readable location on HDFS. This allows YARN to cache it on nodes so that it doesn't need to be distributed each time an application runs. To point to a jar on HDFS, for example, set this configuration to "hdfs:///some/path".
    spark.yarn.access.namenodes (none) A list of secure HDFS namenodes your Spark application is going to access. For example, `spark.yarn.access.namenodes=hdfs://nn1.com:8032,hdfs://nn2.com:8032`. The Spark application must have acess to the namenodes listed and Kerberos must be properly configured to be able to access them (either in the same realm or in a trusted realm). Spark acquires security tokens for each of the namenodes so that the Spark application can access those remote HDFS clusters.
    spark.yarn.appMasterEnv.[EnvironmentVariableName] (none) Add the environment variable specified by EnvironmentVariableName to the Application Master process launched on YARN. The user can specify multiple of these and to set multiple environment variables. In yarn-cluster mode this controls the environment of the SPARK driver and in yarn-client mode it only controls the environment of the executor launcher.
    spark.yarn.containerLauncherMaxThreads 25 The maximum number of threads to use in the application master for launching executor containers.
    spark.yarn.am.extraJavaOptions (none) A string of extra JVM options to pass to the YARN Application Master in client mode. In cluster mode, use spark.driver.extraJavaOptions instead.
    spark.yarn.am.extraLibraryPath (none) Set a special library path to use when launching the application master in client mode.
    spark.yarn.maxAppAttempts yarn.resourcemanager.am.max-attempts in YARN The maximum number of attempts that will be made to submit the application. It should be no larger than the global number of max attempts in the YARN configuration.
    spark.yarn.submit.waitAppCompletion true In YARN cluster mode, controls whether the client waits to exit until the application completes. If set to true, the client process will stay alive reporting the application's status. Otherwise, the client process will exit after submission.

    YARN上发布spark程序

    确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含hadoop集群配置文件的文件夹。这些配置用来写数据到dfs,连接到YARN的resourceManager。文件中的的配置文件会分布到YARN集群上,让应用使用的所有containers使用相同的配置。如果配置指向不受YARN控制管理的java系统属性或环境变量,这些配置也应该在应用的配置(当在client模式运行时的driver,executors和AM)里设置(这句话不是很理解··)。
    YARN上发布spark应用程序又两种方式。在yarn-cluster模式中,集群上YARN控制管理的master进程里运行spark driver,并且client可以初始化应用之后结束掉自己的生命(生命周期)。在yarn-client模式中,driver运行在client进程中,并且应用master只用来从YARN申请资源。
    standalone和mesos模式下,master的地址在“master”参数中指定,而YARN模式,resourceManager的地址是从hadoop配置中得到的,因此,master参数只是简单的“yarn-client”或“yarn-cluster”
    yarn-cluster模式运行spark程序:
    ./bin/spark-submit --class path.to.your.Class --master yarn-cluster [options] <app jar> [app options]
    例如:
    $ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
        --master yarn-cluster \
        --num-executors 3 \
        --driver-memory 4g \
        --executor-memory 2g \
        --executor-cores 1 \
        --queue thequeue \
        lib/spark-examples*.jar \
        10
    上面命令开始了一个spark client程序,client程序启动应用默认的master。接着sparkPi会作为应用master的一个子线程运行。client会定期检查应用master来更新状态并在终端显示。一旦你的应用运行结束client就会退出。怎样看driver和executor的log参考下面“Debugging your application”章节。
    yarn-client模式运行一个spark应用,像上面那样做,只是把“yarn-cluster”替换成“yarn-client”。运行spark-shell:
    $ ./bin/spark-shell --master yarn-client

    添加其他JARs包

    在yarn-cluster模式中,driver与这个client不同的机器上,所以SparkContext.addJar不会工作,因为对于client来说是本地文件的jar才能工作。为了使SparkContext.addJar在client上可见,在命令中用--jar参数包括它们:
    $ ./bin/spark-submit --class my.main.Class \
        --master yarn-cluster \
        --jars my-other-jar.jar,my-other-other-jar.jar
        my-main-jar.jar
        app_arg1 app_arg2

    调试你的程序

    在YARN的术语中,executors和应用master(appMarster)在”containers“内运行。YARN在应用完成之后有两种模式来处理container的logs。如果日志收集功能开启(yarn.log-aggregation-enable配置),container日志会被拷贝到HDFS并在本地机上删除。用”yarn logs“命令可在集群上任何地方查看logs:
    yarn logs -applicationId <app ID>
    将会打印出给定应用的所有containers的log文件的内容。你也可以用HDFS shell或者API直接在HDFS中查看container日志文件。可以查看你的YARN配置(yarn.nodemanager.remote-app-log-dir和yarn.nodemanager.remote-app-log-dir-suffix)来找到存放日志的文件夹。
    当log收集功能没有开启,log会本地存留到每个机器的YARN_APP_LOGS_DIR下,根据hadoop版本和安装,通常会配置到/tmp/logs或$HADOOP_HOME/logs/userlogs下。查看日志需要到包含它们的主机下查看这些文件夹。子文件夹根据应用ID和container ID来管理日志文件。
    为了review每个container的运行环境,增大yarn.nodemanager.delete.debug-delay-sec为一个大的值(例如36000),并且然后在节点的yarn.nodemanager.local-dirs上,访问应用缓存,contains就是运行在yarn.nodemanager.local-dirs上。这个文件夹包含运行脚本,jars包,和运行每个container的所有环境变量。此过程在调试路径问题时特别有用(注意上述能力是在集群设置和所有node managers重启上需要管理员权限的,因此,不适用于托管集群)。
    应用master或executors使用定制的log4j配置,有两个操作:
    *通过添加到--files列表中,使用spark-submit上传定制的log4j.properties。
    *添加-Dlog4j.configuration=<location of configuration file> 到spark.driver.extraJavaOptions(driver)或spark.executor.extraJavaOptions(executor)。注意如果使用文件,文件:协议应显示提供,并在所有节点文件需要本地存在。
    注意第一个操作,executors和应用master会共享相同的log4j配置,所以相同节点上运行时可能会引发问题(例如,尝试写相同的日志文件)。
    在YARN中如果你需要指向合适的位置放置日志文件,来让YARN能够正确的显示和收集日志,请在log4j.properties中使用spark.yarn.app.container.log.dir。例如,log4j.appender.file_appender.File=${spark.yarn.app.container.log.dir}/spark.log。对于流式应用,配置RollingFileAppender并设置日志文件存放位置到YARN的日志文件夹下,会避免大的日志文件导致的磁盘空间溢出,并且可使用YARN的日志工具访问。

    重要的注意点

    *core请求是否are honored in调度策略,取决于使用哪个scheduler和怎样配置它。
    *在yarn-cluster模式,spark executors和spark driver使用的本地文件夹是YARN配置的本地文件夹(hadoop yarn 配置 yarn.nodemanager.local-dirs)。如果用户指定(spark.local.dir),它会被忽略掉。在yarn-client模式,spark executors会使用YARN配置的本地文件夹,而spark driver使用spark.locak.dir定义的。这是因为yarn-client模式中spark driver不在YARN集群上运行,只有spark executors运行在集群上。
    *--files和--archives操作支持像hadoop那样指定文件名包含#的文件。例如,你可以指定:--files localtest.txt#appSees.txt,这会上传名称为localtest.txt的本地文件到HDFS,····(不太懂)
    *--jars操作允许你在yarn-cluster模式下用SparkContext.addJar作用于本地文件。如果你正在使用HDFS, HTTP, HTTPS, or FTP文件,这个操作是不需要的。

    展开全文
  • Hadoop零基础教程,该课程主要为大家详细讲解YARN和MapReduce的构造,以及YARN和MapReduce的入门使用。通过本节课程带您一步步熟悉和掌握Hadoop基础。
  • yarn的安装和使用

    万次阅读 多人点赞 2018-08-02 10:45:41
    yarn的简介: Yarn是facebook发布的一款取代npm的包管理工具。 yarn的特点: 速度超快。 Yarn 缓存了每个下载过的包,所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率,因此安装速度更快。...

    yarn的简介:

    Yarn是facebook发布的一款取代npm的包管理工具。


    yarn的特点:

    • 速度超快。
      • Yarn 缓存了每个下载过的包,所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率,因此安装速度更快。
    • 超级安全。
      • 在执行代码之前,Yarn 会通过算法校验每个安装包的完整性。
    • 超级可靠。
      • 使用详细、简洁的锁文件格式和明确的安装算法,Yarn 能够保证在不同系统上无差异的工作。

    yarn的安装:

    1. 下载node.js,使用npm安装
      npm install -g yarn
      查看版本:yarn --version
    2. 安装node.js,下载yarn的安装程序:
      提供一个.msi文件,在运行时将引导您在Windows上安装Yarn
    3. Yarn 淘宝源安装,分别复制粘贴以下代码行到黑窗口运行即可
      yarn config set registry https://registry.npm.taobao.org -g
      yarn config set sass_binary_site http://cdn.npm.taobao.org/dist/node-sass -g

    yarn的常用命令:

    • 安装yarn

      • npm install -g yarn
    • 安装成功后,查看版本号:

      • yarn --version
    • 创建文件夹 yarn

      • md yarn
    • 进入yarn文件夹

      • cd yarn
    • 初始化项目

      • yarn init // 同npm init,执行输入信息后,会生成package.json文件
    • yarn的配置项:

      • yarn config list // 显示所有配置项
      • yarn config get <key> //显示某配置项
      • yarn config delete <key> //删除某配置项
      • yarn config set <key> <value> [-g|--global] //设置配置项
    • 安装包:

      • yarn install //安装package.json里所有包,并将包及它的所有依赖项保存进yarn.lock
      • yarn install --flat //安装一个包的单一版本
      • yarn install --force //强制重新下载所有包
      • yarn install --production //只安装dependencies里的包
      • yarn install --no-lockfile //不读取或生成yarn.lock
      • yarn install --pure-lockfile //不生成yarn.lock
    • 添加包(会更新package.json和yarn.lock):

      • yarn add [package] // 在当前的项目中添加一个依赖包,会自动更新到package.json和yarn.lock文件中
      • yarn add [package]@[version] // 安装指定版本,这里指的是主要版本,如果需要精确到小版本,使用-E参数
      • yarn add [package]@[tag] // 安装某个tag(比如beta,next或者latest)

      //不指定依赖类型默认安装到dependencies里,你也可以指定依赖类型:

      • yarn add --dev/-D // 加到 devDependencies
      • yarn add --peer/-P // 加到 peerDependencies
      • yarn add --optional/-O // 加到 optionalDependencies

      //默认安装包的主要版本里的最新版本,下面两个命令可以指定版本:

      • yarn add --exact/-E // 安装包的精确版本。例如yarn add foo@1.2.3会接受1.9.1版,但是yarn add foo@1.2.3 --exact只会接受1.2.3版
      • yarn add --tilde/-T // 安装包的次要版本里的最新版。例如yarn add foo@1.2.3 --tilde会接受1.2.9,但不接受1.3.0
    • 发布包

      • yarn publish
    • 移除一个包

      • yarn remove <packageName>:移除一个包,会自动更新package.json和yarn.lock
    • 更新一个依赖

      • yarn upgrade 用于更新包到基于规范范围的最新版本
    • 运行脚本

      • yarn run 用来执行在 package.json 中 scripts 属性下定义的脚本
    • 显示某个包的信息

      • yarn info <packageName> 可以用来查看某个模块的最新版本信息
    • 缓存

      • yarn cache
        • yarn cache list # 列出已缓存的每个包 yarn cache dir # 返回 全局缓存位置 yarn cache clean # 清除缓存

    npm 与 yarn命令比较:

    这里写图片描述


    npm 与 yarn相关问题比较:

    npm模块的依赖:
    • npm存在一些历史遗留问题,请看下图:
      这里写图片描述

    比如说你的项目模块依赖是图中描述的,@1.2.1代表这个模块的版本。在你安装A的时候需要安装依赖C和D,很多依赖不会指定版本号,默认会安装最新的版本,这样就会出现问题:比如今天安装模块的时候C和D是某一个版本,而当以后C、D更新的时候,再次安装模块就会安装C和D的最新版本,如果新的版本无法兼容你的项目,你的程序可能就会出BUG,甚至无法运行。这就是npm的弊端,而yarn为了解决这个问题推出了yarn.lock的机制,这是作者项目中的yarn.lock文件。

    yarn.lock文件格式:

    这里写图片描述

    大家会看到,这个文件已经把依赖模块的版本号全部锁定,当你执行yarn install的时候,yarn会读取这个文件获得依赖的版本号,然后依照这个版本号去安装对应的依赖模块,这样依赖就会被锁定,以后再也不用担心版本号的问题了。其他人或者其他环境下使用的时候,把这个yarn.lock拷贝到相应的环境项目下再安装即可。
    注意:这个文件不要手动修改它,当你使用一些操作如yarn add时,yarn会自动更新yarn.lock。

    使用yrm工具管理一些npm源

    安装

    • yarn global add yrm

    查看可用源

    • yrm ls

    选择源

    • yrm use yarn

    快速删除node_modules

    手动删除真的很慢:

    • 安装: npm install rimraf -g
    • 使用:rimraf node_modules

    rimraf是node的一个包,可以快速删除node_modules,再也不用等半天了

    展开全文
  • yarn

    2019-10-12 13:40:14
    yarn add :在当前目录安装 yarn install :根据package.json安装包 yarn global add :安装到全局 yarn remove : 卸载 yarn cache clean :清除缓存。 yarn config set global-folder ‘目标路径’:修改yarn全局安装包...

    yarn add :在当前目录安装
    yarn install :根据package.json安装包
    yarn global add :安装到全局
    yarn remove : 卸载
    yarn cache clean :清除缓存。
    yarn config set global-folder ‘目标路径’:修改yarn全局安装包下载位置
    yarn global bin 查看是否修改成功
    yarn config set cache-folder ‘目标路径’:修改yarn全局安装包缓存位置
    yarn global dir查看是否修改成功

    展开全文
  • YARN

    千次阅读 2020-02-18 17:55:24
    YARN 是 分布式资源管理系统 架构图 a.png #组件组成: Client, ResourceManager, ApplicationMaster, NodeManager, Container #各组件描述: Client: 负责提交应用程序 ResourceManager: 全局的资源管理器...
  • Yarn详解

    千次阅读 2015-11-26 00:33:15
    1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ? 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是...
  • 一、yarn-cluster 与standalone模式不同,yarn-cluster是基于yarn集群,yarn集群上有ResourceManager(RM)和NodeManager(NM)。 1、发送请求到RM,请求启动AM 2、RM会分配container,在某个NM上启动AM 3、AM...
  • 在 2018年 11月的某一天,我发现 spark-submit 设置的资源参数未生效( –executor-cores 10),仔细排查后定位是Yarn 的分配策略使用有误,由于我们集群是使用 Ambari 安装的,未修改Yarn默认的分配策略(org....
  • [Yarn基础]-- yarn application -kill jobid

    万次阅读 2016-07-18 13:06:14
    1、找到yarn命令,如果命令没有可执行权限,那么需要添加#sudo chmod +x bin 2、找到job的id:通过点击cloudrea manager中的主机-----》host27.master----&gt;点击  红框  ----》点击进入机器的8088端口...
  • Yarn基本命令行

    千次阅读 2017-09-01 10:42:31
    Yarn 是一个新的包管理器,用于替代现有的 npm 客户端或者其他兼容 npm 仓库的包管理工具。Yarn 保留了现有工作流的特性,优点是更快、更安全、更可靠。 1、初始化一个新的项目 yarn init = 》 npm init 2、添加一...
  • Spark on Yarn

    千次阅读 2014-12-07 14:46:07
    Spark on Yarn 1. Spark on Yarn模式优点 与其他计算框架共享集群资源(eg.Spark框架与MapReduce框架同时运行,如果不用Yarn进行资源分配,MapReduce分到的内存资源会很少,效率低下);资源按需分配,进而提高集群...
  • yarn内存参数

    千次阅读 2015-03-01 10:54:44
    yarn内存参数
  • Storm On YARN

    千次阅读 2018-03-22 20:10:19
    Storm On YARN带来的好处相比于将Storm部署到一个独立的集群中,Storm On YARN带来的好处很多,主要有以下几个:弹性计算资源: 将Storm运行到YARN上后,Storm可与其他应用程序(比如MapReduce批处理应用程序)共享...
  • YARN on Docker

    千次阅读 2017-11-15 19:55:48
    搭建Hadoop Yarn on Docker 一、概览 Docker基于Linux Container技术整合了一堆易用的接口用于构建非常轻量级的虚拟机。Docker Container Executor(DCE)使得Yarn NodeManager服务可以将其container进程...
  • YARN任务pending

    千次阅读 2017-05-08 14:28:47
    检查YARN的资源,增大内存,默认内存不够,至少也要给到5GB
  • Yarn最佳实践

    千次阅读 2016-09-20 14:32:12
    本篇博客,我将讨论Yarn资源管理方面的最佳实践,如果有写的不对的地方,请朋友们多多指教。本篇文章也参考了网上的一些资料。 Hadoop2中引入Yarn组件,将MRv2(Yarn)分为两个主要组件,一个是资源管理,一个是作业...
  • YARN node labels

    2017-11-16 16:20:45
    最近在做实验,实验需要进行分区域计算,网上查了资料后发现Yarn Node Labels + Capacity-Scheduler可以实现我的需求 但是当任务提交到capacity-scheduler调度器的default队列时,任务卡在ACCEPTED阶段。 网上...

空空如也

1 2 3 4 5 ... 20
收藏数 40,978
精华内容 16,391
关键字:

Yarn