精华内容
下载资源
问答
  • 最近在公司实习,使用CDH搭环境,添加HDFS服务发现没有挂载全部的硬盘,查看节点硬盘挂载情况发现: 硬盘挂载到了所以目录下,而CDH使用了root用户,所以挂载到/home目录下的硬盘就没有被hdfs检查到,无法挂载到...

    最近在公司实习,使用CDH搭环境,添加HDFS服务发现没有挂载全部的硬盘,查看节点硬盘挂载情况发现:
    在这里插入图片描述
    硬盘被挂载到了所以目录下,而CDH使用了root用户,所以挂载到/home目录下的硬盘就没有被hdfs检查到,无法挂载到HDFS上。
    HDFS可以挂载多目录,所以在hdfs目录下创建dfs目录:

    mkdir -p /home/dfs
    

    并将/home/dfs配置到dfs.datanode.data.dir中:
    在这里插入图片描述
    注意,这里我是将之前的HDFS服务删除了,然后添加目录重新添加HDFS服务,启动服务的时候会格式化HDFS,后来才知道支持热加载:Hadoop集群hdfs添加磁盘操作,是我太狭隘了,人家毕竟这么大一个平台,怎么会不支持热加载,热扩容?
    第一次启动失败:
    日志也没有明显的错误,查询半天后发现,启动HDFS服务的用户是hdfs,可以在HDFS服务启动时的临时目录里看到配置文件的用户都是hdfs:

    cd /var/run/cloudera-scm-agent/process/611-hdfs-DATANODE
    ll
    

    在这里插入图片描述
    所以,改一下每个节点/home/dfs目录的用户和组试试:

    chown 777 -R /home
    chown hdfs:hdfs -R /home/dfs
    

    再启动一次,还是失败,再查,看看datanode启动日志吧:
    在这里插入图片描述
    尼玛,找到问题了,上一次启动时由于NameNode启动了,会分配Cluster ID,但是DataNode没有启动成功,就不会分配ID。这一次启动时,系统发现NameNode有Cluster ID就不再分配,而DataNode没有ID就分配一个,两个ID不一样,就不行了。
    所以将/dfs/nn和/dfs/dn以及/home/dfs/dn目录都要清空!
    再一次启动,搞定!
    在这里插入图片描述

    展开全文
  • HDFS挂载到本地硬盘

    千次阅读 2016-11-02 10:41:08
    工具hadoop-fuse-dfs 首先创建目录:mkdir /hdfs 然后把目录权限给hdfs chown -R hadoop:hadoop /hdfs/ ...执行命令挂载的命令:hadoop-fuse-dfs hdfs://qlwb103:8020 /hdfs 然后查看: 已经有内容了

    工具hadoop-fuse-dfs

    首先创建目录:mkdir /hdfs

    然后把目录权限给hdfs chown -R hadoop:hadoop /hdfs/

    执行命令挂载的命令:hadoop-fuse-dfs hdfs://qlwb103:8020 /hdfs

    然后查看:



    已经有内容了

    展开全文
  • HDFS硬盘挂载

    千次阅读 2014-08-21 13:46:34
    9个节点,7个DataNode,每个DataNode有3块硬盘,两块是后来加的,挂载在系统所在文件系统。 hdfs-site.xml配置 [code lang="xml"] dfs.datanode.data.dir /home/hadoop/develop/hadoop/hdfs/data, /home/...


    环境说明

    9个节点,7个DataNode,每个DataNode有3块硬盘,两块是后来加的,挂载在系统所在文件系统。

    hdfs-site.xml配置

    <property>
       <name>dfs.datanode.data.dir</name>
       <value>
          /home/hadoop/develop/hadoop/hdfs/data,
          /home/hadoop/develop/data/data1/hdfs,
          /home/hadoop/develop/data/data2/hdfs
       </value>
    </property>

    结果

    这样hdfs在写数据的时候就会三个目录中轮询,一般这些目录是不同的块设备,不存在的目录会被忽略掉。

    建议

    如果有多个磁盘不建议做raid,因为做raid会有性能损失,还会导致一个磁盘坏了,整个硬盘也不能用了,而hadoop可以规避这个问题。

    遇到的问题

    第一次将挂载硬盘的目录直接作为HDFS的data目录,start-all.sh之后,所有的DataNode没有启动,看日志发现是对data1和data2目录没有权限(data1和data2分别挂载着一块硬盘),但是已经将data1和data2的目录权限改成777了。

    查找发现原因:data1和data2所挂载的硬盘的根目录下有lost+found这个文件夹,而这个文件的权限是root,导致在hadoop用户下启动的hadoop在扫描配置文件中配置的data目录时,发现有文件hadoop用户没有写权限,就报错,DataNode进程也没启动。

    解决方法:在data1和data2目录下分别建立hdfs文件夹,将hadoop的dfs.datanode.data.dir指向hdfs文件夹。

    展开全文
  • HDFS 挂载目录及重做方式

    千次阅读 2017-04-13 15:44:11
    lsblk 查看硬盘挂载情况。如现在有新的两块盘/dev/sdg,/dev/sdhmkfs.ext4 /dev/sdg mkfs.ext4 /dev/sdh mount /dev/sdg /mnt/sdg mount /dev/sdh /mnt/sdh ###这其中遇到输入提示符,则输入y即可 df -h 即可看到新...

    lsblk 查看硬盘挂载情况。如现在有新的两块盘/dev/sdg,/dev/sdh

    mkfs.ext4 /dev/sdg
    mkfs.ext4 /dev/sdh
    mount /dev/sdg /mnt/sdg
    mount /dev/sdh /mnt/sdh
    ###这其中遇到输入提示符,则输入y即可
    df -h 即可看到新的磁盘

    HDFS,如果dataNode dir 配在/mnt/sdg/dfs,NameNode 在/mnt/sda/dfs

    rm -rf /mnt/sdg/dfs/*  //对每个DataNode 节点均要执行
    rm -rf /mnt/sda/dfs/*  //对于NameNode 节点执行
    ##查看sdg的用户属性是否为hdfs:hdfs
    如果不是,则chown -R hdfs:hdfs /mnt/sda/dfs/
    su - hdfs
    hadoop fs namenode -format

    更新DataNode的dir 时,务必先关闭DataNode 服务,再操作configuration,否则需要重做hdfs~~~~

    展开全文
  • 查看系统硬盘挂载情况 fdisk -l 如下图 新建空白文件夹,最好是... 挂载硬盘到指定目录 mount /dev/sda /usr/local/src/hadoop/hadoop-2.8.0/hadoop-2.8.0/dfs/data1/hdfs 验证是否挂在成功 ...
  • 1:在挂载硬盘上创建文件夹/mountsdb/dfs/dn,在所有的节点的目录下创建相同的文件夹 2:给 每一个节点 赋权 chown -R hdfs:hadoop /mountsdb/dfs/dn 3:找clouderManager中的hdfs参数中的DataNode目录...
  • 通过CDH集群管理界面的“主机”——“所有主机”,我们可以查看每个节点的磁盘和内存使用情况,如下 如果磁盘不够用了,需要增加挂载...注意:创建dn目录后,要将其所属组修改为hdfs,否则修改配置后hdfs无法重启 ...
  • fuse_dfs挂载HDFS到本地

    2019-06-26 14:03:15
    希望通过挂载方式,能够像使用本地文件系统一样,访问与操作hdfs数据。 同时为容灾,可以考虑进行hdfs的数据备份。 以下操作依赖hadoop3.x源码项目提前编译好: 传送门: 编译apache hadoop3.0.2 一、构建...
  • HDFS

    2019-11-07 18:18:06
    知识回顾 传统服务器系统安装 系统硬盘(100%完全独立,不要存储业务数据) ...多块小的硬盘 做一个大的硬盘(逻辑卷) 大数据服务器系统安装 系统硬盘 (100%完全独立,不要存...
  • hdfs硬盘中dfs.data.dir相关和一些说明

    千次阅读 2012-06-12 23:21:28
    如果在服务器上配置了多块硬盘(假设都已经挂载到本地文件系统中),我们希望 HDFS 能尽量均衡、充分的利用磁盘。理论上 HDFS 也确实能胜任这项工作。在 HDFS 中,这样的一个存放数据的本地文件系统中的目录被称为 ...
  • 创建挂载点并挂载hdfs mkdir -p /data/hdfs/ chown -R hadoop:hadoop /data/hdfs/ hadoop-fuse-dfs dfs://namenode:9000 /data/hdfs 挂载后即可在/data/hdfs查看到hdfs中的文件 卸载hdfs文件 umount /...
  • 硬盘无法识别导致HDFS无法正常使用

    千次阅读 2018-07-27 10:32:09
    环境信息: Hadoop版本:2.7.2 ...1、由于HADOOP集群进行过扩展,导致集群配置异构,hdfs-site.xml的配置不同,可能在配置文件scp的时候导致错误的替换,部分硬盘未识别 2、部分硬盘损坏导致数据无法读取 问题...
  • 因为要使用iozone和dd对HDFS做个简单的测试,所以需要将HDFS挂载到本地,挂载过程不复杂,但中间出现了各种各样的错误,弄了有半个星期,终于测试完毕。现将整个挂载及解决错误的过程记录下来,大家共同学习讨论。 ...
  • HDFS架构

    2021-07-29 09:42:52
    目录 1.NameNode 1.1NameNode管理文件系统的命名空间 ...5.HDFS的权限(了解) 1.NameNode 1.1NameNode管理文件系统的命名空间 文件和目录的元数据:(运行时,元数据放内存) 文件的blo...
  • hdfs优化

    2020-04-07 16:49:06
    HDFS数据块的大小,默认值是128M(hdfs的大小应当根据两个因素来确定,一个是系统中常见文件的大小,一个是系统硬盘的速度,最优值应当接近硬盘速度) 1.2 hdfs小文件归档,hdfs中可能存储了大量的小文件,及其影响...
  • HDFS Architecture

    2018-11-12 19:59:18
    The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems. However, the...
  • 7、挂载hdfs到本地 编辑fuse_dfs_wrapper.sh,头上加入环境参数,尾行修改为如下: vi $HADOOP_HOME/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh文件头增加: export JAVA_HOME=/usr/java export HADOOP_HOME=/...
  • HDFS概述

    2018-08-12 19:16:00
    HDFS的特点:  1.为超大文件而设计的,提供超大的数据贷款并能够在集群中扩展到成百上千个节点,实例能够支持千万数量级别的文件。  2.适用于流式的数据访问,HDFS适用于批处理,重点是保证高吞吐量而不是低延迟...
  • HDFS详解

    2018-08-04 11:33:26
    减少搜寻时间,一般硬盘传输速率比寻道时间要快,大的块可以减少寻道时间; 减少管理块的数据开销,每个块都需要在NameNode上有对应的记录; 对数据块进行读写,减少建立网络的连接成本; 减轻了namen...
  • Hadoop HDFS (2) HDFS概念

    千次阅读 2014-09-10 10:23:58
    1. Blocks(块) 硬盘上有块,代表能够读取和写入的最小的data单位,通常是512字节。 基于单硬盘的文件系统也有块的概念,通常是把硬盘上的一组块集合在一起成为一个块,一般有几KB大小。...HDFS也有块(blo
  • hdfs磁盘均衡

    千次阅读 2019-01-14 21:21:18
    之前hdfs磁盘使用率已经达到了80%以上,所以对每台机器增加了3块1TB的硬盘,加完硬盘后立马对集群进行了一次Balancer,各个节点数据总量确实得到均衡,但是各个磁盘数据并没有想象中均匀分布,新磁盘的数据很少,大...
  • HDFS中的内存存储支持

    千次阅读 2019-01-10 00:03:37
    因工作中olap场景中对性能的极致要求,我们将部分业务数据的hdfs路径的存储策略设置为放在内存中(RAM_DISK)中,这是在hadoop2.6以后的版本支持的。... 挂载RAM磁盘 使用RAM_DISK存储类型标记tmpfs卷 ...
  • HDFS原理解析

    2019-03-28 22:45:47
    lHDFS提供分布式存储机制,提供可线性增长的海量存储能力。自动的数据冗余,无须使用Raid(磁盘阵列),无须另行备份。为进一步分析计算提供数据基础。 1 HDFS设计基础与目标       ...
  • HDFS理论知识

    2020-05-18 01:31:49
    HDFS基本系统框架HDFS写入流程HDFS读取流程HDFS架构关键设计元数据持久化元数据同步元数据持久化的流程元数据持久化相关名词HDFS的高可靠性HDFS联邦机制数据副本机制HDFS数据存储策略分级策略标签存储节点组存储...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,878
精华内容 751
关键字:

hdfs挂载硬盘