精华内容
下载资源
问答
  • HDFS常用Shell命令

    2021-01-07 09:35:42
    本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情 使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文中使用T表示target 基本命令 1.启动...
  • hdfs的shell命令

    2019-05-24 15:27:58
    hdfs的shell命令,有三种形式,用前面两个。 hdfs dfs √ hadoop fs √ hadoop dfs ...dfs -ls -R / 查看hdfs目录下包括子目录在内的所有文件和目录 hdfs dfs -mkdir /aa/bb 在hdfs的/aa目录下新建/bb...

    hdfs的shell命令,有三种形式,用前面两个。

    hdfs dfs

    hadoop fs

    hadoop dfs
    ×

    常用的hdfs的shell命令:

    hdfs
    dfs -ls / 查看hdfs根目录下文件和目录

    hdfs
    dfs -ls -R / 查看hdfs根目录下包括子目录在内的所有文件和目录

    hdfs
    dfs -mkdir /aa/bb
    在hdfs的/aa目录下新建/bb目录

    hdfs
    dfs -rm -r /aa/bb
    删除hdfs的/aa目录下的/bb目录

    hdfs
    dfs -rm /aa/out.txt
    删除hdfs的/aa目录下的out.txt文件

    hdfs
    dfs -put anaconda-ks.cfg /aa 把本地文件上传到hdfs

    hdfs
    dfs -copyFromLocal a.txt / 把本地文件上传到hdfs

    hdfs
    dfs -get /bb.txt bbcopy.txt 从hdfs下载文件到本地

    hdfs
    dfs -copyToLocal /bb.txt bbcopy.txt 从hdfs下载文件到本地

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

    展开全文
  • 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关,我的副本数是3 ,...

    hdfs查看目录文件的大小

    1.第一种方式:查看当前目录下的各级目录 分别大小

    hdfs dfs -du -h /user/hive/warehouse/
    
    #查看结果
    19.7 K   59.0 K   /user/hive/warehouse/hive_test
    0        0        /user/hive/warehouse/test_float
    67       201      /user/hive/warehouse/test_float2
    ... ... /..
    #第一列为单个文件实际大小,第二列为备份大小,第三列为详情目录。
    

    2.第二种方式:

    hdfs dfs -ls -h /user/hive/warehouse/
    drwxrwxrwt   - hdfs hive          0 2020-11-09 14:13 /user/hive/warehouse/hive_test
    drwxrwxrwt   - hdfs hive          0 2020-11-20 17:51 /user/hive/warehouse/test_float
    drwxrwxrwt   - hdfs hive          0 2020-11-20 18:05 /user/hive/warehouse/test_float2
    #这种方式需要注意:当子文件目录过多时,统计的大小为0。
    

    3. 第三种方式: 查看指定目录的总大小
    命令: hdfs dfs -du -s -h /目录

    hdfs dfs -du -s -h /user/hive/warehouse/
    # 结果
    97.1 G  291.3 G /user/hive/warehouse
    

    第一列标示该目录下总文件大小

    第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关,我的副本数是3 ,所以第二列的是第一列的三倍 (第二列内容=文件大小*副本数)

    第三列标示你查询的目录

    展开全文
  • HDFS的shell命令操作 基本语法 bin/hdfs dfs 具体命令 参数大全 [root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfs Usage: Hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] ...

    HDFS的shell命令操作

    基本语法

    bin/hdfs dfs 具体命令
    

    参数大全

    [root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfs
    
    Usage: Hadoop fs [generic options]
            [-appendToFile <localsrc> ... <dst>]
            [-cat [-ignoreCrc] <src> ...]
            [-checksum <src> ...]
            [-chgrp [-R] GROUP PATH...]
            [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
            [-chown [-R] [OWNER][:[GROUP]] PATH...]
            [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
            [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
            [-count [-q] [-h] [-v] [-x] <path> ...]
            [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
            [-createSnapshot <snapshotDir> [<snapshotName>]]
            [-deleteSnapshot <snapshotDir> <snapshotName>]
            [-df [-h] [<path> ...]]
            [-du [-s] [-h] [-x] <path> ...]
            [-expunge]
            [-find <path> ... <expression> ...]
            [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
            [-getfacl [-R] <path>]
            [-getfattr [-R] {-n name | -d} [-e en] <path>]
            [-getmerge [-nl] <src> <localdst>]
            [-help [cmd ...]]
            [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]
            [-mkdir [-p] <path> ...]
            [-moveFromLocal <localsrc> ... <dst>]
            [-moveToLocal <src> <localdst>]
            [-mv <src> ... <dst>]
            [-put [-f] [-p] [-l] <localsrc> ... <dst>]
            [-renameSnapshot <snapshotDir> <oldName> <newName>]
            [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
            [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
            [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
            [-setfattr {-n name [-v value] | -x name} <path>]
            [-setrep [-R] [-w] <rep> <path> ...]
            [-stat [format] <path> ...]
            [-tail [-f] <file>]
            [-test -[defsz] <path>]
            [-text [-ignoreCrc] <src> ...]
            [-touchz <path> ...]
            [-usage [cmd ...]]
    

    常用命令实操

    Shell命令操作
    -help:输出这个命令参数bin/hdfs dfs -help rm
    -ls: 显示目录信息hdfs dfs -ls /
    -mkdir:在hdfs上创建目录hdfs dfs -mkdir -p /aaa/bbb/cc/dd
    -moveFromLocal从本地剪切粘贴到hdfshdfs dfs -moveFromLocal /home/Hadoop/a.txt /aaa/bbb/cc/dd
    –appendToFile :追加一个文件到已经存在的文件末尾hdfs dfs -appendToFile ./hello.txt /hello.txt
    -cat :显示文件内容hdfs dfs -cat /hadoop-daemon.sh
    -tail:显示一个文件的末尾hdfs dfs -tail /weblog/access_log.1
    -text:以字符形式打印一个文件的内容hdfs dfs -text /weblog/access_log.1
    -chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限hdfs dfs -chmod 666 /hello.txt — hdfs dfs -chown someuser:somegrp /hello.txt
    -copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去hdfs dfs -copyFromLocal ./jdk.tar.gz /aaa/
    -copyToLocal:从hdfs拷贝到本地hdfs dfs -copyToLocal /aaa/jdk.tar.gz
    -cp :从hdfs的一个路径拷贝到hdfs的另一个路径hdfs dfs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
    -mv:在hdfs目录中移动文件hdfs dfs -mv /aaa/jdk.tar.gz /
    -get:等同于copyToLocal,就是从hdfs下载文件到本地hdfs dfs -get /aaa/jdk.tar.gz
    -getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…hdfs dfs -getmerge /aaa/log.* ./log.sum
    -put:等同于copyFromLocalhdfs dfs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
    -rm:删除文件或文件夹hdfs dfs -rm -r /aaa/bbb/
    -rmdir:删除空目录hdfs dfs -rmdir /aaa/bbb/ccc
    -df :统计文件系统的可用空间信息hdfs dfs -df -h /
    -du统计文件夹的大小信息hdfs dfs -du -s -h /aaa/*
    -count:统计一个指定目录下的文件节点数量hdfs dfs -count /aaa/
    -setrep:设置hdfs中文件的副本数量hdfs dfs -setrep 3 /aaa/jdk.tar.gz
    这里设置的副本数只是记录在namenode的元数据中,是否真的会有这么多副本,还得看datanode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。在这里插入图片描述
    - expunge :清空hdfs垃圾桶hdfs dfs -expunge

    hdfs的高级使用命令

    HDFS文件限额配置

    hdfs文件的限额配置允许我们以文件大小或者文件个数来
    限制某个目录下上传的文件数量或者文件内容总量,
    以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量
    

    数量限额

    #创建hdfs文件夹
    hdfs dfs -mkdir -p /user/root/lisi   
    # 给该文件夹下面设置最多上传两个文件,上传文件,发现只能上传一个文件
    hdfs dfsadmin -setQuota 2 lisi      
    # 清除文件数量限制
    hdfs dfsadmin -clrQuota /user/root/lisi    
    

    空间大小限额

     # 限制空间大小4KB
    hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi  
    hdfs dfs -put  /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi
     #上传超过4Kb的文件大小上去提示文件超过限额
    ---------------------------------------------------------------------------
     #清除空间限额
    hdfs dfsadmin -clrSpaceQuota /user/root/lisi  
    hdfs dfs -put  /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi
    

    在这里插入图片描述
    查看hdfs文件限额数量

    hdfs dfs -count -q -h /user/root/lisi
    

    在这里插入图片描述

    展开全文
  • 大数据_07 【hadoop HDFS的shell命令操作】01 基本语法02 常用普通命令实操03 HDFS常用高级命令04 HDFS适用场景05 HDFS不适用场景06 hdfs的安全模式 01 基本语法 基本语法 bin/hdfs dfs 具体命令 02 常用普通命令...

    01 基本语法

    基本语法 bin/hdfs dfs 具体命令

    02 常用普通命令实操

    HDFS文件夹的增删改查
    		上传	hadoop  fs  -mkdir   /aa
    		修改	hadoop  fs  -mv  /aa   /bb
    		删除	hdfs  dfs  -rmr  /bb
    		查询	hdfs  dfs  -ls   /
    		
    HDFS文件的增删改查
    		上传	hadoop  fs  -put   abc.txt  /
    		修改	hadoop  fs  -mv  /abc.txt    /abcdef.txt
    		删除	hdfs  dfs  -rmr  /abcdef.txt
    		查询	hdfs  dfs  -cat    /abcdef.txt
    

    03 HDFS常用高级命令

    1、	文件夹内文件数量限制
    	a)	设置数量:hdfs   dfsadmin   -setQuota   2   /aa
    	b)	取消设置:hdfs   dfsadmin   -clrQuota    /aa
    2、	文件夹内存储空间大小限制
    	a)	设置大小:hdfs 	dfsadmin 	-setSpaceQuota 	100M 	/aa
    	b)	取消设置:hdfs 	dfsadmin 	-clrSpaceQuota	 /aa
    3、	进入退出安全模式
    	a)	查看状态:hdfs  dfsadmin 	-safemode  get
    	b)	进入安全模式:	hdfs  dfsadmin 	-safemode  enter
    c)	退出安全模式:	hdfs  dfsadmin 	-safemode  leave
    

    04 HDFS适用场景

    1、	海量数据存储
    2、	高容错
    3、	商用廉价的硬件
    4、	存储大文件
    5、	一次写入多次读取
    

    05 HDFS不适用场景

    1、	查询时效性要求低延迟的场景
    2、	大量小文件。
    3、	需要频繁修改数据的场景
    4、	多个用户同时操作一个文件
    

    06 hdfs的安全模式

    安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。

    如果HDFS处于安全模式下,则文件block不能进行任何的副本复制操作,因此达到最小的副本数量要求是基于datanode启动时的状态来判定的,启动时不会再做任何复制(从而达到最小副本数量要求),hdfs集群刚启动的时候,默认30S钟的时间是处于安全期的,只有过了30S之后,集群脱离了安全期,然后才可以对集群进行操作

    hdfs dfsadmin -safemode

    在这里插入图片描述

    进入退出安全模式
    	a)	查看状态:hdfs  dfsadmin 	-safemode  get
    	b)	进入安全模式:	hdfs  dfsadmin 	-safemode  enter
    	c)	退出安全模式:	hdfs  dfsadmin 	-safemode  leave
    
    展开全文
  • 文档详细的讲述了Hadoop中HDFS文件操作命令HDFS编程
  • centos7下hadoop3.0.3 hdfs状态查看命令

    千次阅读 2018-07-09 16:37:42
    centos7下hadoop3.0.3 hdfs状态查看命令 查看安全模式状态 hdfs dfsadmin -safemode get 通过命令查看NameNode的状态(是Active还是Standby) hdfs haadmin -getServiceState nn1 hdfs haadmin -...
  • hdfs查看目录大小文件大小

    万次阅读 2017-07-28 18:58:26
    1、hadoop fs -du /test 查看test子目录大小 2、hadoop fs -count -q /test
  • hdfs dfs常用命令

    千次阅读 2019-11-01 12:37:28
    查看hdfs dfs下的所有可用命令: 2查看目录下文件列表 hdfs dfs -ls / 3.查看某文本文件的内容 hdfs dfs -cat /tmp/input.txt 4.创建目录hdfs中创建/tmp/tianliangedu目录: hdfs dfs -mkdir /tmp/...
  • HDFS基本shell命令

    千次阅读 2019-09-09 11:43:41
    HDFS有很多shell命令,其中,fs命令可以说是HDFS最常用的命令,利用该命令可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。 查看hdfsdfs帮助如下: $ hdfs dfs Usage: hadoop fs [generic options] ...
  • hdfs shell 常用命令

    2019-05-09 22:24:07
    文章目录1、hdfs shell 常用命令更新记录 1、hdfs shell 常用命令 # 查看hdfs文件系统所有1级目录 [zcx@zoucaoxin ~]$ hadoop fs -ls / # 递归查看hdfs下所有目录 [zcx@zoucaoxin ~]$ hadoop fs -ls -R / # 创建...
  • HDFS 常用 shell 命令

    千次阅读 2017-06-03 15:14:24
    HDFS 常用 shell 命令
  • hdfs shell常用命令

    千次阅读 2014-05-15 19:36:04
    hdfs shell常用命令
  • HDFS常用Shell命令总结

    2020-02-13 23:41:51
    文章目录HDFS常用Shell命令一、普通shell处理命令1、文件夹目录操作1.1、查看目录1.2、创建目录1.3、删除目录2、文件操作2.1、查看文件信息2.2、修改文件的权限、所有者2.3、统计文件信息2.4、修改文件的副本数2.5、...
  • HDFS的shell命令操作

    千次阅读 2019-11-05 14:34:51
    目标:掌握HDFS操作数据的命令 1)基本语法 bin/hdfs dfs 具体命令 2)参数大全 [root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfs Usage: Hadoop fs [generic options] [-appendToFile … ] [-cat [-ignoreCrc] ...
  • hdfs的常用命令和操作

    2020-05-25 12:42:38
    在hadoop目录下:执行hdfs命令的范式: bin/hdfs dfs -具体操作指令 /目标hdfs文件路径(名称) 1.查看hdfs文件目录内容 bin/hdfs dfs -ls /目标hdfs文件路径(名称) 2.创建hdfs文件目录内容 bi
  • HDFS常用shell命令

    千次阅读 2018-11-20 10:32:54
    HDFS 文件操作命令 注,其实常用命令不用网上搜,和linux下的命令很类似,触类旁通,直接在linux 上 hadoop fs 看一下就行了,不需要刻意去记 我把 linux 上的 help 列举下,方便直接看吧,hdfs dfs 与 hadoop fs ...
  • HDFS文件操作命令

    2014-05-09 21:54:58
    Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。 1. 查看文件列表 查看hdfs中/user/admin/hdfs目录下的文件。...查看hdfs中/user/admin/hdfs目录下的所有文件(包
  • HDFS 常用Shell命令

    千次阅读 2017-09-21 09:28:51
    HDFS Shell命令 概述 HDFS Shell命令允许使用命令行在HDFS存储中进行文件夹和文件操作。 如文件夹的增删改查、文件的增删改查等。   开始练习hadoop时,打开Linux之后要用 start-dfs.sh 启动HDFSHDFS不是...
  • HDFS 常用shell命令

    2017-09-25 00:14:08
    hdfs命令: sbin/start-dfs.sh 开启HDFS bin/hdfs bin/hdfs -help 查看hdfs帮助信息 bin/hdfs namenode -h 查看namenode等帮助信息 bin/hdfs dfs -help cp 查看带有例子的帮助信息
  • HDFS Shell 常用命令

    千次阅读 2016-01-08 23:21:03
    HDFS Shell 常用命令命令格式hadoop fs -cmd [-opt] arg1 arg2 …关于path: hdfs: hdfs://namenodehost + absolutePath 简写 absolutePath 本地:file:// + absolutePath 简写 absolutePath 或者相对路径 ...
  • HDFS dfs常用命令大全

    千次阅读 2019-07-17 11:27:45
    根据官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据,对数据进行操作。那么首先让我们看一下hdfs的版本,使用命令hdfs version。...查看目录下内容,包括文件名,权限,所有者,大小和...
  • HDFS文件常用命令

    万次阅读 2018-06-02 19:20:17
    1、fs最常用命令bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path //删除HDFS上的文件 bin/hadoop fs -rmr hdfs_...
  • HDFS的Shell命令

    千次阅读 2016-04-02 22:15:58
    HDFS的Shell命令:haddop fs -ls / (查询目录) hadoop fs -mkdir /test (在根目录下创建一个目录test) hadoop fs -put ./test.txt /test (将本地的test.txt文件上传到HDFS目录下的test文件夹中去) hadoop fs ...
  • hadoop hdfs文件操作命令

    千次阅读 2020-03-03 16:50:29
    hadoop hdfs文件操作命令 创建文件 #创建文件夹ethan hadoop fs -mkdir /user/recsys/ethan 授权 #改变文件权限 hadoop fs -chmod a+r /user/recsys/ethan/test.txt 查看 #查看文件夹ethan下的所有文件目录...
  • HDFS基础】HDFS文件目录详解

    万次阅读 2017-07-28 16:09:26
    HDFS的文件目录图分析:从上图可以看出,HDFS的文件目录主要由NameNode、SecondaryNameNode和DataNode组成,而NameNode和DataNode之间由心跳机制通信。注: HDFS(Hadoop Distributed File System)默认的存储单位是...
  • Hadoop对hdfs操作的命令

    2014-10-24 00:24:51
    表示对hdfs下一级目录查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从hdfs下载文件到linux 1.6 -text 查看文件内容 1.7 -rm ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 109,196
精华内容 43,678
关键字:

hdfs查看目录命令