精华内容
下载资源
问答
  • hadoop提交任务后出不懂,停留在accepted
    2020-08-11 09:25:08

    任务截图:报错:

    ACCEPTED: waiting for AM container to be allocated, launched and register with RM.

    hadoop的启动脚本:

    ./start-all.sh ./hadoop-daemon.sh start datanode

    在50070上看不出毛病

    node数据为零。需要启动nodemanager。

    启动脚本:

    ./home/hadoop/hive/hadoop-2.7.7/sbin/yarn-daemon.sh start nodemanager

    启动后正常。

     

    更多相关内容
  • 在yarn-site.xml添加如下配置: <!-- yarn容器允许分配的最小内存 --> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048<...propert

    在yarn-site.xml添加如下配置:

    <!-- yarn容器允许分配的最小内存 -->
        <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>2048</value>
        </property>
    <!-- yarn容器允许管理的物理内存大小 -->
        <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>20480</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>

    在mapred-site.xml下将

    <!-- 指定MapReduce程序运行在Yarn上 
       <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
       </property>
       -->

    改成

    <property>
    <name>mapreduce.job.tracker</name>
    <value>hdfs://master:8001</value>
    <final>true</final>
    </property>

    展开全文
  • 现象描述:当我们搭建好集群之后,初次执行hadoop作业成功的,但是过了一段时间之后会一直着不能继续执行,想要重启集群,但是考虑到可能会造成数据丢失,这种情况下该怎么办呢。 现象如下: 20/08/04 11:02:53 ...

    现象描述:当我们搭建好集群之后,初次执行hadoop作业时成功的,但是过了一段时间之后会一直卡着不能继续执行,想要重启集群,但是考虑到可能会造成数据丢失,这种情况下该怎么办呢。

    现象如下:
    20/08/04 11:02:53 INFO input.FileInputFormat: Total input paths to process : 1
    20/08/04 11:02:53 INFO mapreduce.JobSubmitter: number of splits:1
    20/08/04 11:02:53 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1596505147038_0005
    20/08/04 11:02:54 INFO impl.YarnClientImpl: Submitted application application_1596505147038_0005
    20/08/04 11:02:54 INFO mapreduce.Job: The url to track the job: http://yunslave1:8088/proxy/application_1596505147038_0005/
    20/08/04 11:02:54 INFO mapreduce.Job: Running job: job_1596505147038_0005
    

    问题分析:

    首先:我们的服务器或者笔记本的磁盘和内存都是足够用的; 查看磁盘的存储是否够,由查看的磁盘使用状况知磁盘是够的

     [root@yunmaster1 ~]# df -h
     
    

    在这里插入图片描述

    其次:由于之前运行没有出错,执行job作业成功了,所以排除配置是没有问题的; 因此可以确定是集群本身的磁盘和内存资源分配问题,由于获取的相应资源不够用,所以执行的job的时候出现了资源分配不够,导致了job不能继续执行。

    解决方法:

    第一步:编辑yarn的内存大小

    以下设置的yarn可以管理分配的最大内存是 20480 MB,yarn计算分配的最小内存是2048 MB,虚拟内存和真实物理内存的比率ratio为 2.1

    vi  yarn-site.xml
    

    #添加如下:

       <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>20480</value>
       </property>
       <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>2048</value>
       </property>
       <property>
            <name>yarn.nodemanager.vmem-pmem-ratio</name>
            <value>2.1</value>
       </property>
       <property>
            <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
            <value>95.0</value>
       </property>
    

    在这里插入图片描述

    第二步:修改Capacity Scheduler(容量调度器)

    在hadoop配置目录下修改:capacity-scheduler.xml

    yarn.scheduler.capacity.maximum-am-resource-percent=0.1
    这个值调为0.6 或者根据适当情况调大调小。
    这个属性的意思是你的application master 申请的container资源最大不能超过集群总资源的百分之多少,默认是百分之10.

    #vi capacity-scheduler.xml
    

    在这里插入图片描述

    第三步:完成以上的添加配置之后需要重启yarn。

    展开全文
  • 问题:如题所诉 解决方案: 1.

    问题:如题所诉

    问题:

    解决方案:

    方法1.在mapred-site.xml文件将

    <property>
          <name>mapreduce.framework.name</name>
           <value>yarn</value>
    </property>

    改成

    <property>
          <name>mapreduce.job.tracker</name>
          <value>hdfs://ip:8001</value>
         <final>true</final>
    </property>

    其中ip为Master具体地址,注意不要写Master!

     

    方法2.给yarn-site.xml配置资源调节配置。

    <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>3072</value>
    </property>
    <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
    </property>
    <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>256</value>
    </property>
    

    添加以上代码段。

    展开全文
  • 需要部署多个模块到各个服务器上,所以脚本中需要用到大量的scp命令和ssh命令,scp将软件压缩包复制到目标服务器上,然后ssh命令执行解压命令,以及执行压缩包内的shell脚本,达到远程一键部署软件安装包的目的。...
  • 此脚本正常情况下均运行正常,但在个别运行很久的环境中,我们偶尔发现脚本会有执行卡住的问题。通过在脚本中关键位置中增加日志,我们定位到脚本卡在了以下语句: p = subprocess.Popen(sqlci_cmd, stdin=...
  • 其重要程度不言而喻,作为一个想从 java 后端转向大数据开发的程序员来说,打好 Hadoop 基础,就相当于夯实建造房屋的地基,本文以上图结构为基本,旨在帮助大家快速了解 Hadoop 运行机制。 HDFS 篇 ...
  • 任务开始运行之后卡住不动,也不报错,信息如下: hive (default)> select count(*) cnt from emp; Query ID = root_20200220175612_bb456a03-2298-4d20-82b9-c0a96ae859a0 Total jobs = 1 Launching ...
  • hadoop102 安装Hadoop集群3.1集群安装准备3.2 安装hadoop3.3 hadoop运行模式3.4 完全分布式运行模式(开发重点)3.4.1 编写集群分发脚本 xsync3.4.2 ssh免密配置3.4.3 集群配置3.4.4 启动集群 在学习的时候,碰到...
  • cdh集群mapreduce任务卡住不动

    千次阅读 2019-09-22 21:20:52
    yarn 的架构 ip 角色 192.168.56.151 nodemanager 192.168.56.152 resourcemanager,nodemanager ...2019-09-22 21:14:34,310 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImp...
  • 1、任务执行环境Hadoop为map任务或reduce任务提供运行环境相关信息。例如,map任务可以知道它处理的文件的名称(参见输入分片与记录一节),map任务或reduce任务可以得知任务的尝试次数。下表中的属性可以从作业的...
  • 第二个坑 bin/sqlline.py 竟然卡住不懂了… 原因:是hbase的meta信息不一致 解决方法: 进入zookeeper客户端: `./zkCli.sh` [zk: localhost:2181(CONNECTED) 0] ls / [hbase, kafka, kylin, zookeeper] 删除HBase...
  • phoenix连接hbase一直卡住,报错:Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SpanReceiver 问题描述 今天有个任务,是安装phoenix连接hbase对里面的表进行操作。 HBase不负众望地一直报错...
  • Hadoop、Zookeeper均启动成功;HBase启动成功后,查看进程都在;启动 hbase shell ,抛出如上异常 再次查看HBase相关进程,消失;说明Hbase启动失败,查看后台日志,发现如下关键信息: 查看hbase日志发现 报错 百度...
  • 大数据-Hadoop-云服务器的搭建

    千次阅读 2022-03-22 11:55:29
    一. 云服务器的购买及其设置 ...3. scp命令, sync命令以及集群分发脚本xsync 4. 添加环境变量 5. 安装完成后的校验 三. Hadoop配置文件 1. core-site.xml 2. hdfs-site.xml 3. yarn-site.xml 4. m
  • hadoop

    2020-03-08 21:07:24
    尚硅谷大数据技术之Hadoop(入门) (作者:尚硅谷大数据研发部) 版本:V2.0 第1章 大数据概论 1.1 大数据概念 大数据概念如图2-1所示。 图2-1 大数据概念 1.2 大数据特点(4V) 大数据特点如图2-2,2-3,2-4,2-5所...
  • hadoop集群搭建

    2019-07-23 14:46:21
    为了更进一步加强系统的安全性,有必要建立一个管理员的组,只允许这个组的用户来执行 “su -” 命令登录为 root 用户,而让其他组的用户即使执行 “su -” 、输入了正确的 root 密码,也无法登录为 root 用户。...
  • 背景 最近由于某些原因需要把一些原本 ...至于对比的方法计划有两种,一种是对比 oss 和 cosn 对应文件下的文件所占磁盘空间大小,即使用 hadoop fs -du -s -h 路径 命令,然后对比相应表 location 的数据大小是否一...
  • Hadoop相关笔记

    2020-10-30 16:34:17
    Hadoop入门 一、大数据概述 1.大数据特点(4V) Volume(大量) Velocity(高速) Variety(多样) Value(低价值密度) 2.大数据部门组织结构 二、Hadoop框架&大数据生态 1.Hadoop是什么 分布式系统基础...
  • hadoop集群运维(updating)

    2021-10-13 10:07:57
    1920) 595990 at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2214) 595991 Caused by: java.net.UnknownHostException: BGhadoop08 ** 分析** 卡住的的任务都是在对应没有配置hostname的服务器上吗?...
  • Hadoop集群的安全模式

    2021-07-11 22:08:19
    集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。 bin/hdfs dfsadmin -safemode get //(功能描述:查看安全模式状态) bin/hdfs dfsadmin -safemode enter //(功能描述:进入...
  • Hadoop HDFS

    2019-02-05 14:23:24
    第1章 MapReduce概述 1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 ...2)第一个阶段的MapTask并发实例,完全并行运行,互不相干。 3)第二个阶段的Redu...
  • 在 Ubuntu20.04 上快速搭建一个hadoop集群

    千次阅读 多人点赞 2021-01-07 16:59:15
    方式一 先在hadoop01上修改配置文件 gedit ~/.bashrc 在文件的首行加入 source ~/.profile 上面这条命令可以使~/.profile文件立即生效 但如果此时我们使用ssh hadoop01 jps来执行远程命令,会发现ssh卡住,并且一会...
  • hadoop各版本特性

    2019-11-21 10:06:35
    添加了在AM尝试卡住的情况下使特定AM尝试失败的功能。 YARN审核日志中的CallerContext支持。 ATS版本控制支持:一种新的配置,用于指示时间轴服务版本。 映射还原 允许节点标签在提交MR作业被指定 添加新...
  • 大数据技术之Hadoop阶段考试题及答案hadoop入门HDFS hadoop 入门 1.简要描述如何安装配置apache的一个开源Hadoop,只描述即可,无需列出具体步骤,列出具体步骤更好。 1)准备三台客户机(配置IP,配置主机名…) 2)...
  • [root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/atguigu/input 2.将测试文件内容上传到文件系统上 3.出现如下截图卡死现象: 4.解决方案 启动yarn资源调度器 再次执行第2步的命令,出现如下...
  • 一、启动集群1.节点启动失败1.1端口占用1.1报错信息:address already in use - bind Address:50070解决步骤:查询端口占用:lsof -i:50070查询到占用端口的进程:pid杀死进程:kill -9 {pid}1.2找不到路径1.2报错...
  • Hadoop面试题

    2021-11-18 11:32:24
    Hadoop面试题1.HDFS体系架构2.一个datanode宕机,怎么一个流程恢复3.hadoop 的 namenode 宕机,怎么解决4.namenode对元数据的管理5.hadoop中combiner和partition的作用6.用mapreduce怎么处理数据倾斜问题7.shuffle ...
  • MapReduce执行任务卡在mapreduce.Job: Running Job这一步该如何解决_sinat_33769106的博客-CSDN博客 参考:在执行wordcount,job卡住不继续执行。-MapReduce-About云开发 参考:运行hadoop的MapReduce示例,在...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,438
精华内容 575
关键字:

hadoop执行脚本时卡住

友情链接: bhe.rar