精华内容
下载资源
问答
  • 通过yarn上的applicationId杀死hadoop中的任务,或通过hadoop job命令停止任务、yarn container 的日志路径.pdf
  • hadoop命令行 与job相关的: 命令行工具 • 1.查看 Job 信息: hadoop job -list 2.杀掉 Jobhadoop job –kill job_id 3.指定路径下查看历史日志汇总: hadoop job -history output-dir 4.作业的更多细节: hado....

    示例:
    $ yarn application -kill application_Id

    hadoop命令行 与job相关的:
    命令行工具 •
    1.查看 Job 信息:
    hadoop job -list
    2.杀掉 Job:
    hadoop job –kill job_id
    3.指定路径下查看历史日志汇总:
    hadoop job -history output-dir
    4.作业的更多细节:
    hadoop job -history all output-dir
    5.打印map和reduce完成百分比和所有计数器:
    hadoop job –status job_id
    6.杀死任务。被杀死的任务不会不利于失败尝试:
    hadoop jab -kill-task
    7.使任务失败。被失败的任务会对失败尝试不利:
    hadoop job -fail-task
    8、yarn container 的日志路径
    /etc/hadoop/conf/yarn-site.xml 配置文件中

    • yarn.nodemanager.log-dirs 指定本机的日志路径 (/hadoopfs/fs1/yarn/nodemanager/log/application_1546250639760_0052/container_e03_1546250639760_0052_01_000001/)
    • yarn.log-aggregation-enable 是否启用日志聚集功能。默认 false。
      yarn.log-aggregation-enable 启用之后,日志路径:hdfs://app-logs/user_name/logs-ifile/application_1546250639760_0045
      查看日志 yarn logs -applicationId application_1546250639760_0055

    9、查看集群的状态
    hadoop dfsadmin -safemode get # 查看安全模式状态

    hadoop dfsadmin -safemode enter # 进入安全模式状态

    hadoop dfsadmin -safemode leave # 离开安全模式

    10 启动线上hadoop集群的方式(以下是第一次运行的时候)
    ./hdfs zkfc -formatZK格式化zookeeper
    ./hadoop-daemons.sh start journalnode 启动 journalnode (3台机器上执行)
    ./hadoop namenode -format
    ./hadoop-daemon.sh start namenode
    ./hdfs namenode -bootstrapStandby 同步第一台NameNode元数据 (进入第二台机器)
    ./start-all.sh
    ./yarn-daemon.sh start resourcemanager

    查询resourcemanager状态:actve、standby

    ./yarn rmadmin -getServiceState namenode2

    ./yarn-daemon.sh start nodemanager

    sbin/hadoop-daemon.sh start datanode

    展开全文
  • hadoop job相关命令

    2016-08-26 11:12:29
    hadoop job –kill job_id 3.指定路径下查看历史日志汇总 hadoop job -history output-dir 4.作业的更多细节 hadoop job -history all output-dir 5.打印map和reduce完成百分比和所有计数器 ha
    
    1.查看 Job 信息
    hadoop job -list
    2.杀掉 Job
    hadoop  job –kill  job_id
    3.指定路径下查看历史日志汇总
    hadoop job -history output-dir
    4.作业的更多细节
    hadoop job -history all output-dir
    5.打印map和reduce完成百分比和所有计数器
    hadoop job –status job_id
    6.杀死任务。被杀死的任务不会不利于失败尝试
    hadoop jab -kill-task <task-id>
    7.使任务失败。被失败的任务会对失败尝试不利
    hadoop job -fail-task <task-id>
    展开全文
  • hadoop job yarn 命令

    2017-06-13 10:46:09
    hadoop命令行 与job相关的: 命令行工具 •  1.查看 Job 信息: hadoop job -list  2.杀掉 Job:  hadoop job –kill job_id 3.指定路径下查看历史日志汇总: hadoop job -history output-dir  4.作业...
    hadoop命令行 与job相关的:
    命令行工具 • 
    1.查看 Job 信息:
    hadoop job -list 
    2.杀掉 Job: 
    hadoop  job –kill  job_id
    3.指定路径下查看历史日志汇总:
    hadoop job -history output-dir 
    4.作业的更多细节: 
    hadoop job -history all output-dir 
    5.打印map和reduce完成百分比和所有计数器:
    hadoop job –status job_id 
    6.杀死任务。被杀死的任务不会不利于失败尝试:
    hadoop jab -kill-task <task-id> 
    7.使任务失败。被失败的任务会对失败尝试不利:

    Hadoop job  -fail-task <task-id>

    YARN命令行:

    YARN命令是调用bin/yarn脚本文件,如果运行yarn脚本没有带任何参数,则会打印yarn所有命令的描述。

    使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
    YARN有一个参数解析框架,采用解析泛型参数以及运行类。


    命令参数 描述
    --config confdir 指定一个默认的配置文件目录,默认值是: ${HADOOP_PREFIX}/conf.
    --loglevel loglevel 重载Log级别。有效的日志级别包含:FATAL, ERROR, WARN, INFO, DEBUG, and TRACE。默认是INFO。
    GENERIC_OPTIONS YARN支持表A的通用命令项。
    COMMAND COMMAND_OPTIONS YARN分为用户命令和管理员命令。


    表A:

    通用项 Description
    -archives <comma separated list of archives> 用逗号分隔计算中未归档的文件。 仅仅针对JOB。
    -conf <configuration file> 制定应用程序的配置文件。
    -D <property>=<value> 使用给定的属性值。
    -files <comma separated list of files> 用逗号分隔的文件,拷贝到Map reduce机器,仅仅针对JOB
    -jt <local> or <resourcemanager:port> 指定一个ResourceManager. 仅仅针对JOB。
    -libjars <comma seperated list of jars> 将用逗号分隔的jar路径包含到classpath中去,仅仅针对JOB。



    用户命令:
    对于hadoop集群用户很有用的命令:

    application
    使用: yarn application [options]

    命令选项 描述
    -appStates <States> 使用-list命令,基于应用程序的状态来过滤应用程序。如果应用程序的状态有多个,用逗号分隔。 有效的应用程序状态包含
    如下: ALL, NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED
    -appTypes <Types> 使用-list命令,基于应用程序类型来过滤应用程序。如果应用程序的类型有多个,用逗号分隔。
    -list 从RM返回的应用程序列表,使用-appTypes参数,支持基于应用程序类型的过滤,使用-appStates参数,支持对应用程序状态的过滤。
    -kill <ApplicationId> kill掉指定的应用程序。
    -status <ApplicationId> 打印应用程序的状态。

    示例1:

    [html]  view plain  copy
    1. [hduser@hadoop0 bin]$ ./yarn application -list -appStates ACCEPTED  
    2. 15/08/10 11:48:43 INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.0.1.41:8032  
    3. Total number of applications (application-types: [] and states: [ACCEPTED]):1  
    4. Application-Id                  Application-Name Application-Type User   Queue   State    Final-State Progress Tracking-URL  
    5. application_1438998625140_1703  MAC_STATUS   MAPREDUCE    hduser default ACCEPTED UNDEFINED   0%       N/A  

    示例2:
    [html]  view plain  copy
    1. [hduser@hadoop0 bin]$ ./yarn application -list  
    2. 15/08/10 11:43:01 INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.0.1.41:8032  
    3. Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):1  
    4. Application-Id                 Application-Name Application-Type  User   Queue   State    Final-State   Progress Tracking-URL  
    5. application_1438998625140_1701 MAC_STATUS   MAPREDUCE     hduser default ACCEPTED UNDEFINED 0%   N/A  

    示例3:
    [html]  view plain  copy
    1. [hduser@hadoop0 bin]$ ./yarn application -kill application_1438998625140_1705  
    2. 15/08/10 11:57:41 INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.0.1.41:8032  
    3. Killing application application_1438998625140_1705  
    4. 15/08/10 11:57:42 INFO impl.YarnClientImpl: Killed application application_1438998625140_1705  


    applicationattempt
    使用: yarn applicationattempt [options]

    命令选项 描述
    -help 帮助
    -list <ApplicationId> 获取到应用程序尝试的列表,其返回值ApplicationAttempt-Id 等于 <Application Attempt Id>
    -status <Application Attempt Id> 打印应用程序尝试的状态。
    打印应用程序尝试的报告。
    示例1:
    [html]  view plain  copy
    1. [hadoop@hadoopcluster78 bin]$ yarn applicationattempt -list application_1437364567082_0106  
    2. 15/08/10 20:58:28 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032  
    3. Total number of application attempts :1  
    4. ApplicationAttempt-Id                  State    AM-Container-Id                        Tracking-URL  
    5. appattempt_1437364567082_0106_000001   RUNNING  container_1437364567082_0106_01_000001 http://hadoopcluster79:8088/proxy/application_1437364567082_0106/  

    示例2:

    [html]  view plain  copy
    1. [hadoop@hadoopcluster78 bin]$ yarn applicationattempt -list application_1437364567082_0106  
    2. 15/08/10 20:58:28 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032  
    3. Total number of application attempts :1  
    4. ApplicationAttempt-Id                  State    AM-Container-Id                        Tracking-URL  
    5. appattempt_1437364567082_0106_000001   RUNNING  container_1437364567082_0106_01_000001 http://hadoopcluster79:8088/proxy/application_1437364567082_0106/  


    classpath 使用: yarn classpath
    打印需要得到Hadoop的jar和所需要的lib包路径
    [html]  view plain  copy
    1. [hadoop@hadoopcluster78 bin]$ yarn classpath  
    2. /home/hadoop/apache/hadoop-2.4.1/etc/hadoop:/home/hadoop/apache/hadoop-2.4.1/etc/hadoop:/home/hadoop/apache/hadoop-2.4.1/etc/hadoop:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/common/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/common/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/hdfs:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/hdfs/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/hdfs/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/mapreduce/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/mapreduce/*:/home/hadoop/apache/hadoop-2.4.1/contrib/capacity-scheduler/*.jar:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/lib/*  

    container
    使用: yarn container [options]

    命令选项
    描述
    -help
    帮助
    -list <Application Attempt Id>
    应用程序尝试的Containers列表
    -status <ContainerId>
    打印Container的状态
    打印container(s)的报告
    示例1:

    [html]  view plain  copy
    1. [hadoop@hadoopcluster78 bin]$ yarn container -list appattempt_1437364567082_0106_01  
    2. 15/08/10 20:45:45 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032  
    3. Total number of containers :25  
    4.                   Container-Id            Start Time             Finish Time                   State                    Host                                LOG-URL  
    5. container_1437364567082_0106_01_000028         1439210458659                       0                 RUNNING    hadoopcluster83:37140   //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000028/hadoop  
    6. container_1437364567082_0106_01_000016         1439210314436                       0                 RUNNING    hadoopcluster84:43818   //hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000016/hadoop  
    7. container_1437364567082_0106_01_000019         1439210338598                       0                 RUNNING    hadoopcluster83:37140   //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000019/hadoop  
    8. container_1437364567082_0106_01_000004         1439210314130                       0                 RUNNING    hadoopcluster82:48622   //hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000004/hadoop  
    9. container_1437364567082_0106_01_000008         1439210314130                       0                 RUNNING    hadoopcluster82:48622   //hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000008/hadoop  
    10. container_1437364567082_0106_01_000031         1439210718604                       0                 RUNNING    hadoopcluster83:37140   //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000031/hadoop  
    11. container_1437364567082_0106_01_000020         1439210339601                       0                 RUNNING    hadoopcluster83:37140   //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000020/hadoop  
    12. container_1437364567082_0106_01_000005         1439210314130                       0                 RUNNING    hadoopcluster82:48622   //hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000005/hadoop  
    13. container_1437364567082_0106_01_000013         1439210314435                       0                 RUNNING    hadoopcluster84:43818   //hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000013/hadoop  
    14. container_1437364567082_0106_01_000022         1439210368679                       0                 RUNNING    hadoopcluster84:43818   //hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000022/hadoop  
    15. container_1437364567082_0106_01_000021         1439210353626                       0                 RUNNING    hadoopcluster83:37140   //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000021/hadoop  
    16. container_1437364567082_0106_01_000014         1439210314435                       0                 RUNNING    hadoopcluster84:43818   //hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000014/hadoop  
    17. container_1437364567082_0106_01_000029         1439210473726                       0                 RUNNING    hadoopcluster80:42366   //hadoopcluster80:8042/node/containerlogs/container_1437364567082_0106_01_000029/hadoop  
    18. container_1437364567082_0106_01_000006         1439210314130                       0                 RUNNING    hadoopcluster82:48622   //hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000006/hadoop  
    19. container_1437364567082_0106_01_000003         1439210314129                       0                 RUNNING    hadoopcluster82:48622   //hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000003/hadoop  
    20. container_1437364567082_0106_01_000015         1439210314436                       0                 RUNNING    hadoopcluster84:43818   //hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000015/hadoop  
    21. container_1437364567082_0106_01_000009         1439210314130                       0                 RUNNING    hadoopcluster82:48622   //hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000009/hadoop  
    22. container_1437364567082_0106_01_000030         1439210708467                       0                 RUNNING    hadoopcluster83:37140   //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000030/hadoop  
    23. container_1437364567082_0106_01_000012         1439210314435                       0                 RUNNING    hadoopcluster84:43818   //hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000012/hadoop  
    24. container_1437364567082_0106_01_000027         1439210444354                       0                 RUNNING    hadoopcluster84:43818   //hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000027/hadoop  
    25. container_1437364567082_0106_01_000026         1439210428514                       0                 RUNNING    hadoopcluster83:37140   //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000026/hadoop  
    26. container_1437364567082_0106_01_000017         1439210314436                       0                 RUNNING    hadoopcluster84:43818   //hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000017/hadoop  
    27. container_1437364567082_0106_01_000001         1439210306902                       0                 RUNNING    hadoopcluster80:42366   //hadoopcluster80:8042/node/containerlogs/container_1437364567082_0106_01_000001/hadoop  
    28. container_1437364567082_0106_01_000002         1439210314129                       0                 RUNNING    hadoopcluster82:48622   //hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000002/hadoop  
    29. container_1437364567082_0106_01_000025         1439210414171                       0                 RUNNING    hadoopcluster83:37140   //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000025/hadoop  

    示例2:

    [html]  view plain  copy
    1. [hadoop@hadoopcluster78 bin]$ yarn container -status container_1437364567082_0105_01_000020  
    2. 15/08/10 20:28:00 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032  
    3. Container Report :  
    4.     Container-Id : container_1437364567082_0105_01_000020  
    5.     Start-Time : 1439208779842  
    6.     Finish-Time : 0  
    7.     State : RUNNING  
    8.     LOG-URL : //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0105_01_000020/hadoop  
    9.     Host : hadoopcluster83:37140  
    10.     Diagnostics : null  

    jar 使用: yarn jar <jar> [mainClass] args...
    运行jar文件,用户可以将写好的YARN代码打包成jar文件,用这个命令去运行它。


    logs
    使用: yarn logs -applicationId <application ID> [options]
    注:应用程序没有完成,该命令是不能打印日志的。


    命令选项
    描述
    -applicationId <application ID>
    指定应用程序ID,应用程序的ID可以在yarn.resourcemanager.webapp.address配置的路径查看(即:ID)
    -appOwner <AppOwner>
    应用的所有者(如果没有指定就是当前用户)应用程序的ID可以在yarn.resourcemanager.webapp.address配置的路径查看(即:User)
    -containerId <ContainerId>
    Container Id
    -help
    帮助
    -nodeAddress <NodeAddress>
    节点地址的格式:nodename:port (端口是配置文件中:yarn.nodemanager.webapp.address参数指定)
    转存container的日志。
    示例:
    [html]  view plain  copy
    1. [hadoop@hadoopcluster78 bin]$ yarn logs -applicationId application_1437364567082_0104  -appOwner hadoop  
    2. 15/08/10 17:59:19 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032  
    3. Container: container_1437364567082_0104_01_000003 on hadoopcluster82_48622  
    4. ============================================================================  
    5. LogType: stderr  
    6. LogLength: 0  
    7. Log Contents:  
    8. LogType: stdout  
    9. LogLength: 0  
    10. Log Contents:  
    11. LogType: syslog  
    12. LogLength: 3673  
    13. Log Contents:  
    14. 2015-08-10 17:24:01,565 WARN [main] org.apache.hadoop.conf.Configuration: job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.  
    15. 2015-08-10 17:24:01,580 WARN [main] org.apache.hadoop.conf.Configuration: job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.  
    16. 。。。。。。此处省略N万个字符  
    17. // 下面的命令,根据APP的所有者查看LOG日志,因为application_1437364567082_0104任务我是用hadoop用户启动的,所以打印的是如下信息:  
    18. [hadoop@hadoopcluster78 bin]$ yarn logs -applicationId application_1437364567082_0104  -appOwner root  
    19. 15/08/10 17:59:25 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032  
    20. Logs not available at /tmp/logs/root/logs/application_1437364567082_0104  
    21. Log aggregation has not completed or is not enabled.  

    node
    使用: yarn node [options]

    命令选项
    描述
    -all
    所有的节点,不管是什么状态的。
    -list
    列出所有RUNNING状态的节点。支持-states选项过滤指定的状态,节点的状态包
    含:NEW,RUNNING,UNHEALTHY,DECOMMISSIONED,LOST,REBOOTED。支持--all显示所有的节点。
    -states <States>
    和-list配合使用,用逗号分隔节点状态,只显示这些状态的节点信息。
    -status <NodeId>
    打印指定节点的状态。
    示例1:
    [html]  view plain  copy
    1. [hadoop@hadoopcluster78 bin]$ ./yarn node -list -all  
    2. 15/08/10 17:34:17 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032  
    3. Total Nodes:4  
    4.          Node-Id         Node-State Node-Http-Address   Number-of-Running-Containers  
    5. hadoopcluster82:48622           RUNNING hadoopcluster82:8042                               0  
    6. hadoopcluster84:43818           RUNNING hadoopcluster84:8042                               0  
    7. hadoopcluster83:37140           RUNNING hadoopcluster83:8042                               0  
    8. hadoopcluster80:42366           RUNNING hadoopcluster80:8042                               0  

    示例2:
    [html]  view plain  copy
    1. [hadoop@hadoopcluster78 bin]$ ./yarn node -list -states RUNNING  
    2. 15/08/10 17:39:55 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032  
    3. Total Nodes:4  
    4.          Node-Id         Node-State Node-Http-Address   Number-of-Running-Containers  
    5. hadoopcluster82:48622           RUNNING hadoopcluster82:8042                               0  
    6. hadoopcluster84:43818           RUNNING hadoopcluster84:8042                               0  
    7. hadoopcluster83:37140           RUNNING hadoopcluster83:8042                               0  
    8. hadoopcluster80:42366           RUNNING hadoopcluster80:8042                               0  

    示例3:

    [html]  view plain  copy
    1. [hadoop@hadoopcluster78 bin]$ ./yarn node -status hadoopcluster82:48622  
    2. 15/08/10 17:52:52 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032  
    3. Node Report :  
    4.     Node-Id : hadoopcluster82:48622  
    5.     Rack : /default-rack  
    6.     Node-State : RUNNING  
    7.     Node-Http-Address : hadoopcluster82:8042  
    8.     Last-Health-Update : 星期一 10/八月/15 05:52:09:601CST  
    9.     Health-Report :  
    10.     Containers : 0  
    11.     Memory-Used : 0MB  
    12.     Memory-Capacity : 10240MB  
    13.     CPU-Used : 0 vcores  
    14.     CPU-Capacity : 8 vcores  

    打印节点的报告。


    queue
    使用: yarn queue [options]

    命令选项
    描述
    -help
    帮助
    -status <QueueName>
    打印队列的状态
    打印队列信息。


    version
    使用: yarn version
    打印hadoop的版本。


    管理员命令:
    下列这些命令对hadoop集群的管理员是非常有用的。

    daemonlog 使用:
       yarn daemonlog -getlevel <host:httpport> <classname>    yarn daemonlog -setlevel <host:httpport> <classname> <level>


    参数选项
    描述
    -getlevel <host:httpport> <classname>
    打印运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name>
    -setlevel <host:httpport> <classname> <level>
    设置运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name>
    针对指定的守护进程,获取/设置日志级别.
    示例1:
    [html]  view plain  copy
    1. [root@hadoopcluster78 ~]# hadoop daemonlog -getlevel hadoopcluster82:50075 org.apache.hadoop.hdfs.server.datanode.DataNode  
    2. Connecting to http://hadoopcluster82:50075/logLevel?log=org.apache.hadoop.hdfs.server.datanode.DataNode  
    3. Submitted Log Name: org.apache.hadoop.hdfs.server.datanode.DataNode  
    4. Log Class: org.apache.commons.logging.impl.Log4JLogger  
    5. Effective level: INFO  
    6. [root@hadoopcluster78 ~]# yarn daemonlog -getlevel hadoopcluster79:8088 org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl  
    7. Connecting to http://hadoopcluster79:8088/logLevel?log=org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl  
    8. Submitted Log Name: org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl  
    9. Log Class: org.apache.commons.logging.impl.Log4JLogger  
    10. Effective level: INFO  
    11. [root@hadoopcluster78 ~]# yarn daemonlog -getlevel hadoopcluster78:19888 org.apache.hadoop.mapreduce.v2.hs.JobHistory  
    12. Connecting to http://hadoopcluster78:19888/logLevel?log=org.apache.hadoop.mapreduce.v2.hs.JobHistory  
    13. Submitted Log Name: org.apache.hadoop.mapreduce.v2.hs.JobHistory  
    14. Log Class: org.apache.commons.logging.impl.Log4JLogger  
    15. Effective level: INFO  
    nodemanager
    使用: yarn nodemanager
    启动NodeManager


    proxyserver
    使用: yarn proxyserver
    启动web proxy server


    resourcemanager
    使用: yarn resourcemanager [-format-state-store]

    参数选项
    描述
    -format-state-store
    RMStateStore的格式. 如果过去的应用程序不再需要,则清理RMStateStore, RMStateStore仅仅在ResourceManager没有运行的时候,才运行RMStateStore
    启动ResourceManager


    rmadmin
    使用:
      yarn rmadmin [-refreshQueues]               [-refreshNodes]               [-refreshUserToGroupsMapping]                [-refreshSuperUserGroupsConfiguration]               [-refreshAdminAcls]                [-refreshServiceAcl]               [-getGroups [username]]               [-transitionToActive [--forceactive] [--forcemanual] <serviceId>]               [-transitionToStandby [--forcemanual] <serviceId>]               [-failover [--forcefence] [--forceactive] <serviceId1> <serviceId2>]               [-getServiceState <serviceId>]               [-checkHealth <serviceId>]               [-help [cmd]]


    参数选项
    描述
    -refreshQueues
    重载队列的ACL,状态和调度器特定的属性,ResourceManager将重载mapred-queues配置文件
    -refreshNodes
    动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。
    dfs.hosts:列出了允许连入NameNode的datanode清单(IP或者机器名)
    dfs.hosts.exclude:列出了禁止连入NameNode的datanode清单(IP或者机器名)
    重新读取hosts和exclude文件,更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。
    -refreshUserToGroupsMappings
    刷新用户到组的映射。
    -refreshSuperUserGroupsConfiguration
    刷新用户组的配置
    -refreshAdminAcls
    刷新ResourceManager的ACL管理
    -refreshServiceAcl
    ResourceManager重载服务级别的授权文件。
    -getGroups [username]
    获取指定用户所属的组。
    -transitionToActive [–forceactive] [–forcemanual] <serviceId>
    尝试将目标服务转为 Active 状态。如果使用了–forceactive选项,不需要核对非Active节点。如果采用了自动故障转移,这个命令不能使用。虽然你可以重写–forcemanual选项,你需要谨慎。
    -transitionToStandby [–forcemanual] <serviceId>
    将服务转为 Standby 状态. 如果采用了自动故障转移,这个命令不能使用。虽然你可以重写–forcemanual选项,你需要谨慎。
    -failover [–forceactive] <serviceId1> <serviceId2>
    启动从serviceId1 到 serviceId2的故障转移。如果使用了-forceactive选项,即使服务没有准备,也会尝试故障转移到目标服务。如果采用了自动故障转移,这个命令不能使用。
    -getServiceState <serviceId>
    返回服务的状态。(注:ResourceManager不是HA的时候,时不能运行该命令的)
    -checkHealth <serviceId>
    请求服务器执行健康检查,如果检查失败,RMAdmin将用一个非零标示退出。(注:ResourceManager不是HA的时候,时不能运行该命令的)
    -help [cmd]
    显示指定命令的帮助,如果没有指定,则显示命令的帮助。


    scmadmin 使用: yarn scmadmin [options]

    参数选项
    描述
    -help
    Help
    -runCleanerTask
    Runs the cleaner task
    Runs Shared Cache Manager admin client


    sharedcachemanager
    使用: yarn sharedcachemanager
    启动Shared Cache Manager


    timelineserver
    之前yarn运行框架只有Job history server,这是hadoop2.4版本之后加的通用Job History Server,命令为Application Timeline Server,详情请看:The YARN Timeline Server

    使用: yarn timelineserver
    启动TimeLineServer
    展开全文
  • hadoop命令 -- job相关

    2017-08-18 15:00:47
    hadoop命令行 与job相关的: 命令行工具 •  1.查看 Job 信息: hadoop job -list  2.杀掉 Job:  hadoop job –kill job_id 3.指定路径下查看历史日志汇总: hadoop job -history output-dir  4.作业的更多...
    hadoop命令行 与job相关的:
    命令行工具 • 
    1.查看 Job 信息:
    hadoop job -list 
    2.杀掉 Job: 
    hadoop  job –kill  job_id
    3.指定路径下查看历史日志汇总:
    hadoop job -history output-dir 
    4.作业的更多细节: 
    hadoop job -history all output-dir 
    5.打印map和reduce完成百分比和所有计数器:
    hadoop job –status job_id 
    6.杀死任务。被杀死的任务不会不利于失败尝试:
    hadoop jab -kill-task <task-id> 
    7.使任务失败。被失败的任务会对失败尝试不利:
    hadoop job  -fail-task <task-id>
    http://blog.csdn.net/lxpbs8851/article/details/12969105
    展开全文
  • Hadoop 文件命令 kill job

    万次阅读 2013-03-05 15:25:35
     * $ hadoop dfs -ls /user/cl  *  * 创建文件目录  * $ hadoop dfs -mkdir /user/cl/temp  *  * 删除文件  * $ hadoop dfs -rm /user/cl/temp/a.txt  *  * 删除目录与目录下所有文件  * $ ...
  • hadoop 刷新命令

    2019-07-13 16:11:16
    1)杀死一个 job? 2)删除 hdfs 上的/tmp/aaa 目录 ...hadoop job -list 记录job-id、hadoop job -kill job-id hadoop fs -rmr /tmp/aaa 添加新节点: hadoop -daemon.sh start datanode hadoo...
  • Hadoop常用命令

    千次阅读 2019-04-12 22:50:05
    Hadoop Shell命令 更详细说明,朋友可以参阅文档。 【1】cat hadoop fs -cat URI [URI …] 将路径指定文件的内容输出到stdout。返回值:成功返回0,失败返回-1。 示例: hadoop fs -cat hdfs://host1:port1/file1 ...
  • hadoop常用命令

    2018-05-08 09:49:27
    在学习使用hadoop、运行MapReduce程序时常常会用到一些hadoop命令,于是就把用过的命令记录下来,以便以后查看复习(持续更新中……)1.查看hadoop版本:hadoop version2.查看HDFS系统上的文件:hdfs dfs -ls [文件...
  • Hadoop系列之Hadoop 常用命令(3)

    千次阅读 2021-01-20 09:41:36
    Hadoop 常用命令 所有的 Hadoop 命令均由 bin/hadoop 脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法: hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop 有一个...
  • Hadoop学习笔记——Hadoop常用命令

    千次阅读 2016-03-23 14:06:03
    Hadoop下有一些常用的命令,通过这些命令可以很方便操作Hadoop上的文件。1、查看指定目录下的内容语法:hadoop fs -ls 文件目录2、打开某个已存在的文件语法:hadoop fs -cat 文件地址 [ | more] []表示的是可选...
  • HadoopHadoop基本命令

    千次阅读 2016-05-07 10:56:22
    http://blog.csdn.net/pipisorry/article/details/51223877 常用命令 启用hadoop start-dfs.sh start-hbase.sh 停止hadoop stop-hbase.sh stop-dfs.sh Note: start-dfs.sh启动出错 出错:Exception in thre
  • 我看了一下hadoop job命令的提示,没有这样的命令。其实实现kill指定用户的job也非常简单,本身hadoop job命令已经带有很多实用的job管理功能了。 列出Jobtracer上所有的作业hadoop job -list 使用hadoop job -...
  • Hadoop 文件命令

    千次阅读 2018-06-25 10:38:46
    Hadoop 文件命令* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与...
  • Hadoop启动命令

    千次阅读 2018-12-04 11:25:54
    下载hadoop并解压 配置hdfs 修改配置文件etc/hadoop/hadoop-env.sh JAVA_HOME=/home/middleware/jdk 修改配置文件etc/hadoop/core-site.xml <configuration> <property> <name>fs....
  • hadoop2.8.2命令手册

    千次阅读 2017-11-02 18:05:25
    概述所有的hadoop命令都是靠bin/hadoop脚本来执行。不带任何参数执行bin/hadoop脚本会打印出所有命令的描述。 用法如下:hadoop [--config confdir] [--loglevel loglevel] [命令] [常规选项] [命令选线] 选项 ...
  • Hadoop 用户命令详解

    千次阅读 2019-02-25 11:46:04
    Hadoop 集群用户的常用命令 hadoop [–config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] archive 创建一个hadoop档案文件。 hadoop archive -archiveName NAME * 命令选项 描述 -...
  • hadoop job -list 查看 Job 信息

    千次阅读 2019-01-03 14:56:07
      hadoop命令行 与job相关的: 命令行工具 •  1.查看 Job 信息: hadoop job -list  ...hadoop job –kill job_id 3.指定路径下查看历史日志汇总: hadoop job -history output-dir  4.作...
  • Hadoop 常用命令

    千次阅读 2014-11-03 14:42:25
    所有的hadoop命令 由bin / hadoop脚本调用。不带任何参数运行 hadoop脚本会打印所有命令的描述。 用法: hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop有一个选项解析...
  • Hadoop Streaming命令

    千次阅读 2013-11-22 10:48:38
    1 Streaming命令 使用下面的命令运行Streaming MapReduce程序: ...$HADOOP_HOME/bin/hadoop streaming args 其中args是streaming参数,下面是参数列表: -input 输入数据路径 -output
  • Hadoop基本命令

    千次阅读 2020-04-02 17:17:51
    操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。 Hadoop启动: start-all.sh 等价于 start-dfs.sh + start-yarn.sh 一般不推荐使用 start-all.sh hadoop fs -ls hdfs_path //查看HDFS目录下...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 40,198
精华内容 16,079
关键字:

hadoop的job命令