精华内容
下载资源
问答
  • irt5,irt3添加hadoop预留空间的设置

    irt5,irt3添加hadoop预留空间的设置

    展开全文
  • Hadoop预留磁盘空间问题

    千次阅读 2018-12-10 16:30:03
    在hdfs-site.xml中设置dfs.datanode.du.reserved的值,磁盘就会有预留空间: <property> <name>dfs.datanode.du.reserved</name> <value>2147483648&...

    在hdfs-site.xml中设置dfs.datanode.du.reserved的值,磁盘就会有预留空间:

    <property>
        <name>dfs.datanode.du.reserved</name>
        <value>2147483648</value> #2GB
        <说明>Reserved space in bytes per volume. Always leave this much space free for non dfs use.<说明>
    </property>

    既然有预留空间,且预留空间设置为2GB,那为何Hadoop上却显示Remaining只剩余100MB左右呢,而非2GB呢?

    那我们从单机上看看吧,为了方便展现,把df的命令结果列出来,从单机上看,以某一个特定磁盘为例,有以下几笔数据:

    • Size为768413784,约为733G
    • Used为766359616,约为731G
    • Avail为102180,约为100M

    那么,733G-731G=2G,而不应该是100M啊,那系统为什么会显示100M呢?看起来,从733-731=2这个角度来讲,确实是预留了2G没有使用,那是怎么回事?

    我们继续往下追查,通过fdisk命令看到,该磁盘大小为799.5G,而系统显示只有733G,那60G跑哪里去了呢?现在,有两个磁盘空间的疑问了

    1. 磁盘Size显示733G,为何Used + Avail < Size
    2. 磁盘是800G,为何系统显示Size仅有733G

    先回答第一个问题,为何Used + Avail < Size?

    通过命令 tune2fs -l /dev/sdi可以看到分区有保留空间(Reserved block count: 487997),Block size是4096,因此预留空间大小就是Reserved block count * Block size= 487997 * 4096 = 1998835712KB / 1024 = 1951988MB,那么实际的预留空间大小就是1951988MB,然后df命令的(Size)768413784 – (Used)766439308 = (Avali)22488 + (Reserved)1951988。真相大白了,系统预留了2G左右的保留空间,而Hadoop未考虑该部分,当Hadoop设置了2GB预留分区后,就会出现这个悲剧,Hadoop无法使用该部分空间,因此,Hadoop需要调整预留空间的大小,且Hadoop预留空间的大小=系统预留空间+Hadoop期望的预留空间。在实际使用中,考虑到磁盘都是4T以上的,因此预留空间一般设置为100GB为宜,,这样磁盘预留空间占比大于1%,我们设置磁盘报警也就比较方便了。

    再回答第二个问题,磁盘是800G,为何系统显示Size仅有733G?

    硬盘格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode区(inode table),存放inode所包含的信息。inode也会消耗硬盘空间,所以这个800G- 733G=67G,就是Inode占用的空间。那如何把这个理论放到实践里呢,我们也来算一下吧。799535005696 bytes / 1024  / 1024 / 1024 = 744.625GB(按照1000/1000/1000会是799.5GB,这点比较坑,导致我算了好久没有对回去),系统显示Size为768413784(733G),那么Inode理论占用了大概11.625G的空间,具体来算下吧,Inode count: 48799744 * Inode size: 256 = 12492734464 / 1024 /1024 /1024= 11.63G,和之前的11.625G基本就对应起来了。

    [root@A06-R12-I12-126 hadoop]# tune2fs -l /dev/sdi

    • Inode count: 48799744
    • Reserved block count: 487997
    • Inode size: 256
    • Block size: 4096
    展开全文
  • 在使用hdfs存储的时候可能会遇到一个问题:明明设置hadoop dfs.datanode.du.reserved预留空间的,但是磁盘还是被写满了。当你挂载磁盘作为datanode的存储空间,如果磁盘大小为500G当你使用df -h 可能会发现上面显示...

    在使用hdfs存储的时候可能会遇到一个问题:明明设置hadoop dfs.datanode.du.reserved预留空间的,但是磁盘还是被写满了。

    当你挂载磁盘作为datanode的存储空间,如果磁盘大小为500G当你使用df -h 可能会发现上面显示(举个例子):总磁盘大小500G,使用了430G,剩余50G,这里就会有个问题:500G-(430G+50G)=20G,
    还差了20G空间。

    就是因为这20G空间的问题导致你磁盘写满,如果你配置hadoop dfs.datanode.du.reserved为小于20G的话,那么磁盘就会被写满,预留空间就没有起到实际的作用,一个解决的办法就是设置hadoop dfs.datanode.du.reserved的值 = 用总磁盘大小 - 使用的 - 剩余的得到的差值 + 你想设置的预留空间大小。

    比如:
    在上面的基础上你设置预留空间为10G,那么dfs.datanode.du.reserved就可以设置为:
    500G-(430G+50G) + 10G = 30G。

    展开全文
  • lue&...预留空间可能遇到的问题:预留了10G,但是该节点磁盘空间去没有真正剩余,而是一直会放数据,原因可能是如下方面:   通过 df -h 查看容量显示如下:Filesystem Size Used Avail Use%

    对于datanode配置预留空间的方法 为:在hdfs-site.xml添加如下配置

     <property>

        <name>dfs.datanode.du.reserved</name>

        <value>10737418240</value>

     

     </property>

     

    dfs.datanode.du.reserved的单位为字节,上面的预留空间为10G,预留30G:32212254720 

     

    预留20G:21474836480

     

    预留空间可能遇到的问题:预留了10G,但是该节点磁盘空间去没有真正剩余,而是一直会放数据,原因可能是如下方面:

     

    通过 df -h 查看容量显示如下:
    Filesystem            Size  Used Avail Use% Mounted on
    /dev/sda4             243G  200G   31G  87% /data

    注:说明总容量为243G,使用了200G,可用31G 这里有个问题,使用量+可用量!=总容量,少掉了12G,这就是问题所在。
    dfs.datanode.du.reserved设置为10G的话

    通过hadoop dfsadmin -report 查看显示如下

    Configured Capacity: 228260941824 (232.58 GB)
    DFS Used: 208414818078 (194.10 GB)
    Non DFS Used: 0 (0 B)
    DFS Remaining: 19846123746 (38.48 GB)

    Configured Capacity显示的dfs.data.dir指定的目录空间总容量大小-dfs.datanode.du.reserved的容量,
    如果像之前设置 dfs.datanode.du.reserved为10G的话,Configured Capacity为:232.58 GB,DFS Remaining则为38.48G,
    但实际/dev/sda4 可用空间才只有31G,所以有数据的话会一直会存入该节点,直到放满。




    解决方法:将dfs.datanode.du.reserved设置更大。目前设置为30G
    这样,hadoop dfsadmin -report 查看
    Configured Capacity: 228260941824 (212.58 GB)
    DFS Used: 208414818078 (194.10 GB)
    Non DFS Used: 0 (0 B)
    DFS Remaining: 19846123746 (18.48 GB)

    dfs可用空间18.48<31G,所以当dfs全部用完,磁盘/dev/sda4还是有13G空间空闲,达到要的效果!

    展开全文
  • 对于datanode配置预留空间的方法 为:在hdfs-site.xml添加如下配置  &lt;property&gt;  &lt;name&gt;dfs.datanode.du.reserved&lt;/name&gt;  &lt;value&gt;10737418240&...
  • hadoop配置优化

    2018-09-21 15:34:45
    防止hdfs文件占用全部磁盘空间,在hdfs-site.xml中配置dfs.datanode.du.reserved:预留磁盘空间,详情请参考hadoop预留空间配置方法 &lt;property&gt; &lt;name&gt;dfs.datanode.du.reserved&...
  • 经与集群用户沟通发现:集群上存储了非常多没用的历史数据,能够删除,这样就能够通过一个crontab脚本每天生成集群空间使用报告,当使用量超过70%、80%是分别报警,并通知那些用户占用空间较大,预留当机冗余空间,...
  • 下面主要介绍对hadoop集群存储空间的一些治理方法。 治理方法: 1.降低备份数 为保证数据的高可用,hdfs集群使用三副本策略,一份数据会占用三份大小的存储空间。降低副本数可以直接降低存储,但是这种方式...
  • Hadoop

    2019-07-12 19:36:00
    Hadoop快速入门 2018/09/04 目录 1. Hadoop概述 4 1.1. Hadoop是什么 4 1.2. 分布式必要性 4 1.2.1. 分布式存储的必要性 4 1.2.2. 分布式计算必要性 5 1.3. Hadoop包括哪些组件 6 1.3.1. 说明 6 1.3.2. ...
  • 在使用hdfs存储的时候可能会遇到一个问题:明明设置hadoop dfs.datanode.du.reserved预留空间的,但是磁盘还是被写满了。 当你挂载磁盘作为datanode的存储空间,如果磁盘大小为500G当你使用df -h 可能会发现上面...
  • dfs.datanode.du.reserved 预留空间不生效的问题
  • Hadoop与Spark等大数据框架介绍

    万次阅读 多人点赞 2018-08-09 17:06:40
    NameNode:Master节点,在hadoop1.X中只有一个,管理HDFS的名称空间和数据块映射信息,配置副本策略,处理客户端请求。 DataNode:Slave节点,存储实际的数据,汇报存储信息给NameNode。 Secondary NameNode:辅助...
  • 更何况还有相当数量的冷数据躺在哪里,根本不需要为它们预留计算资源。 看起来很有道理,也值得一试。后面稍稍没那么忙了,我们会集中测试对比下性能。大家有经验的可以留言一起探讨下。 主要内容就是这样,其他...
  • 更何况还有相当数量的冷数据躺在哪里,根本不需要为它们预留计算资源。   随着数据量的增长,元数据也会急剧膨胀,很快 NameNode 就会成为集群的瓶颈。解决方法是 HDFS Federation,我们在生产环境已经有了不错...
  • 问题的产生:在运行hadoop fs -put的指令时把一个大型文件从本地复制到hdfs时,运行到一半突然复制中断,报“name node is in safe mode ”的错误提示。 解决问题的思路:“name node is in safe mode”的提示意味...
  • Hadoop 参数

    2018-05-18 11:54:47
    前言:Hadoop三个参数文件,我不是很理解,我网上找了一篇学习下 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有...
  • 添加参数 dfs.datanode.du.reserved 32212254720 dfs.datanode.data.dir [ARCHIVE]/opt/beh/data/namenode/dfs/data 说明 设置dfs.datanode.du.reserved参数,32212254720表示指定预留空间为30G; 修改dfs.datanode....
  • Hadoop Hive HBase调优

    千次阅读 2018-01-07 09:50:33
    性能调优之于Hadoop来说无异于打通任督二脉,对于Hadoop的计算能力会有质的的提升,而运维之于Hadoop来说,就好像金钟罩、铁布衫一般,有了稳定的运维,Hadoop才能在海量数据之中大展拳脚,两者相辅相成,缺一不可。...
  • HADOOP笔记

    千次阅读 2016-03-14 07:58:48
    HADOOP笔记   赵永生 2448221146@qq.com 2015.12.20                                                                       一、...
  • Hadoop介绍

    2021-07-15 21:14:02
    1 Hadoop简介 1.1什么是大数据 大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,171
精华内容 868
关键字:

hadoop预留空间