精华内容
下载资源
问答
  • 要从HDFS删除文件,可以使用以下命令: hadoop fs -rm -r -skipTrash /path_to_file/file_name 要从HDFS中删除文件夹,可以使用以下命令: hadoop fs -rm -r -skipTrash /folder_name

    要从HDFS中删除文件,可以使用以下命令:

     

    hadoop fs -rm -r -skipTrash /path_to_file/file_name

     

    要从HDFS中删除文件夹,可以使用以下命令:

     

    hadoop fs -rm -r -skipTrash /folder_name
    展开全文
  • HDFS文件常用命令

    万次阅读 2018-06-02 19:20:17
    1、fs最常用命令bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path //删除HDFS上的文件 bin/hadoop fs -rmr hdfs_...

    1、fs最常用命令

    bin/hadoop fs -ls hdfs_path    //查看HDFS目录下的文件和子目录
    bin/hadoop fs -mkdir hdfs_path    //在HDFS上创建文件夹
    bin/hadoop fs -rm hdfs_path    //删除HDFS上的文件
    bin/hadoop fs -rmr hdfs_path    //删除HDFS上的文件夹
    bin/hadoop fs -put local_file hdfs_path    //将本地文件copy到HDFS上
    bin/hadoop fs -get hdfs_file local_path    //复制HDFS文件到本地
    bin/hadoop fs -cat hdfs_file    //查看HDFS上某文件的内容

    2、查看目录下文件(夹)大小

    //单位Byte:
    bin/hadoop fs -du / | sort -n
    //单位MB:
    bin/hadoop fs -du / | awk -F ' '  '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' | sort -n
    //单位GB,大于1G:
    bin/hadoop fs -du / | awk -F ' '  '{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num, $2} }' | sort -n

    3、 fs可以说是HDFS最常用的命令,这是一个高度类似linux文件系统的命令集。你可以使用这些命令查看HDFS上的目录结构文件、上传和下载文件、创建文件夹、复制文件等。其使用方法如下:

    hadoop fs [genericOpitions]
    [-ls <path>]  //显示目标路径当前目录下的所有文件
    [-lsr <path>]  //递归显示目标路径下的所有目录及文件(深度优先)
    [-du <path>]  //以字节为单位显示目录中所有文件的大小,或该文件的大小(如果path为文件)
    [-dus <paht>]  //以字节为单位显示目标文件大小(用于查看文件夹大小)
    [-count [-q] <path>]  //将目录的大小、包含文件(包括文件)个数的信息输出到屏幕(标准stdout)
    [-mv <src> <dst>]  //把文件或目录移动到目标路径,这个命令允许同时移动多个文件,但是只允许移动到一个目标路径中,参数中的最有一个文件夹即为目标路径
    [-cp <src> <dst>]  //复制文件或目录到目标路径,这个命令允许同时复制多个文件,如果复制多个文件,目标路径必须是文件夹
    [-rm [-skipTrash] <path>]  //删除文件,这个命令不能删除文件夹
    [-rmr [-skipTrash] <path>]  //删除文件夹及其下的所有文件
    [-expunge]
    [-put <localsrc> ... <dst>]  //从本地文件系统上传文件到HDFS中
    [-copyFromLocal <localsrc> ... <dst>]  //与put相同
    [-moveFromLocal <localsrc> ... <dst>]  //与put相同,但是文件上传之后会从本地文件系统中移除
    [-get [-ignoreCrc] [-crc] <src> <localdst>]  //复制文件到本地文件系统。这个命令可以选择是否忽视校验和,忽视校验和和下载主要用于挽救那些已经发生错误的文件
    [-getmerge <src> <localdst> [addnl]]  //将源目录中的所有文件进行排序并写入目标文件中,文件之间以换行符分隔
    [-cat <src>]  //在终端显示(标准输出stdout)文件中的内容,类似Linux系统中的cat
    [-text <src>]
    [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] //与get相同
    [-moveToLocal [-crc] <src> <localdst>]
    [-mkidr <path>]  //创建文件夹
    [-setrep [-R] [-w] <rep> <path/file>]  //改变一个文件的副本个数。参数-R可以递归地对该目录下的所有文件做统一操作
    [-touchz <path>]  //类似Linux中的touch,创建一个空文件
    [-test -[ezd] <path>]  //将源文件输出为文本格式显示到终端上,通过这个命令可以查看TextRecordInputStream(SequenceFile等)或zip文件
    [-stat [format] <path>]  //以指定格式返回路径的信息
    [-tail [-f] <file>]  //在终端上显示(标准输出stdout)文件的最后1kb内容。-f选项的行为与LInux中一致,会持续监测先添加到文件中的内容,这在查看日志文件时会显得非常方便。
    [-chmod [-R] <MODE[,MODE]...| OCTALMODE> PATH...]  //改变文件的权限,只有文件的所有者或者是超级用户才能使用这个命令。-R可以递归地改变文件夹内的所有文件的权限
    [-chown [-R] [OWNER] [:[GROUP] PATH...]]  //改变文件的拥有者,-R可以递归地改变文件夹内所有文件的拥有者。同样,这个命令只有超级用户才能使用
    [-chgrp [-R] GROUP PATH...]  //改变文件所属的组,-R可以递归地改变文件夹内所有文件所属的组。这个命令必须是超级用户才能使用
    [-help [cmd]]  //这是命令的帮助信息
    在这些命令中,参数<path>的完整格式是hdfs://NameNodeIP:port/,比如你的NameNode地址是192.168.0.1,端口是9000,那么,如果想访问HDFS上路径为/user/root/hello的文件,则需要输入的地址是hdfs:/192.168.0.1:9000/user/root/hello。在Hadoop中,如果参数<path>没有NameNodeIP,那么会默认按照core-site.xml中属性fs.default.name的设置,附加“/user/你的用户名”作为路径,这是为了方便使用以及对不同用户进行区分。 

    展开全文
  • Hadoop 从HDFS删除文件、文件夹命令

    万次阅读 2020-02-05 12:14:33
    Hadoop 从HDFS删除文件命令: hadoop fs -rm -r -skipTrash /path_to_file/file_name 例如: hadoop fs -rm -r -skipTrash /user/examples/src/main/resources/people.json Hadoop 从HDFS中删除文件夹命令...

    Hadoop 从HDFS中删除文件命令:

    hadoop fs -rm -r -skipTrash /path_to_file/file_name

    例如:

    hadoop fs -rm -r -skipTrash /user/examples/src/main/resources/people.json

     

    Hadoop 从HDFS中删除文件夹命令:

    hadoop fs -rm -r -skipTrash /folder_name

    例如:

    hadoop fs -rm -r -skipTrash /user/examples/src/main/resources

     

    展开全文
  • HDFS文件系统命令详解

    2017-11-26 16:39:00
    【fs最常用命令】 1 2 3 4 5 ...bin/hadoopfs-lshdfs_path//查看HDFS目录下的文件和子目录 ...bin/hadoopfs-mkdirhdfs_path//在HDFS上创建文件夹 ...bin/hadoopfs-rmhdfs_path//删除HDFS上的文件 ...

    【fs最常用命令】

    1
    2
    3
    4
    5
    6
    7
    bin/hadoop fs -ls hdfs_path    //查看HDFS目录下的文件和子目录
    bin/hadoop fs -mkdir hdfs_path    //在HDFS上创建文件夹
    bin/hadoop fs -rm hdfs_path    //删除HDFS上的文件
    bin/hadoop fs -rmr hdfs_path    //删除HDFS上的文件夹
    bin/hadoop fs -put local_file hdfs_path    //将本地文件copy到HDFS上
    bin/hadoop fs -get hdfs_file local_path    //复制HDFS文件到本地
    bin/hadoop fs -cat hdfs_file    //查看HDFS上某文件的内容

    【查看目录下文件(夹)大小】

    1
    2
    3
    4
    5
    6
    //单位Byte:
    bin/hadoop fs -du / | sort -n
    //单位MB:
    bin/hadoop fs -du / | awk -F ' '  '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' | sort -n
    //单位GB,大于1G:
    bin/hadoop fs -du / | awk -F ' '  '{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num, $2} }' | sort -n

    以下内容walker摘自《Hadoop实战(第二版)》(陆嘉恒)第九章-HDFS详解。

      fs可以说是HDFS最常用的命令,这是一个高度类似linux文件系统的命令集。你可以使用这些命令查看HDFS上的目录结构文件、上传和下载文件、创建文件夹、复制文件等。其使用方法如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    hadoop fs [genericOpitions]
    [-ls <path>]  //显示目标路径当前目录下的所有文件
    [-lsr <path>]  //递归显示目标路径下的所有目录及文件(深度优先)
    [-du <path>]  //以字节为单位显示目录中所有文件的大小,或该文件的大小(如果path为文件)
    [-dus <paht>]  //以字节为单位显示目标文件大小(用于查看文件夹大小)
    [-count [-q] <path>]  //将目录的大小、包含文件(包括文件)个数的信息输出到屏幕(标准stdout)
    [-mv <src> <dst>]  //把文件或目录移动到目标路径,这个命令允许同时移动多个文件,但是只允许移动到一个目标路径中,参数中的最有一个文件夹即为目标路径
    [-cp <src> <dst>]  //复制文件或目录到目标路径,这个命令允许同时复制多个文件,如果复制多个文件,目标路径必须是文件夹
    [-rm [-skipTrash] <path>]  //删除文件,这个命令不能删除文件夹
    [-rmr [-skipTrash] <path>]  //删除文件夹及其下的所有文件
    [-expunge]
    [-put <localsrc> ... <dst>]  //从本地文件系统上传文件到HDFS中
    [-copyFromLocal <localsrc> ... <dst>]  //与put相同
    [-moveFromLocal <localsrc> ... <dst>]  //与put相同,但是文件上传之后会从本地文件系统中移除
    [-get [-ignoreCrc] [-crc] <src> <localdst>]  //复制文件到本地文件系统。这个命令可以选择是否忽视校验和,忽视校验和和下载主要用于挽救那些已经发生错误的文件
    [-getmerge <src> <localdst> [addnl]]  //将源目录中的所有文件进行排序并写入目标文件中,文件之间以换行符分隔
    [-cat <src>]  //在终端显示(标准输出stdout)文件中的内容,类似Linux系统中的cat
    [-text <src>]
    [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] //与get相同
    [-moveToLocal [-crc] <src> <localdst>]
    [-mkidr <path>]  //创建文件夹
    [-setrep [-R] [-w] <rep> <path/file>]  //改变一个文件的副本个数。参数-R可以递归地对该目录下的所有文件做统一操作
    [-touchz <path>]  //类似Linux中的touch,创建一个空文件
    [-test -[ezd] <path>]  //将源文件输出为文本格式显示到终端上,通过这个命令可以查看TextRecordInputStream(SequenceFile等)或zip文件
    [-stat [format] <path>]  //以指定格式返回路径的信息
    [-tail [-f] <file>]  //在终端上显示(标准输出stdout)文件的最后1kb内容。-f选项的行为与LInux中一致,会持续监测先添加到文件中的内容,这在查看日志文件时会显得非常方便。
    [-chmod [-R] <MODE[,MODE]...| OCTALMODE> PATH...]  //改变文件的权限,只有文件的所有者或者是超级用户才能使用这个命令。-R可以递归地改变文件夹内的所有文件的权限
    [-chown [-R] [OWNER] [:[GROUP] PATH...]]  //改变文件的拥有者,-R可以递归地改变文件夹内所有文件的拥有者。同样,这个命令只有超级用户才能使用
    [-chgrp [-R] GROUP PATH...]  //改变文件所属的组,-R可以递归地改变文件夹内所有文件所属的组。这个命令必须是超级用户才能使用
    [-help [cmd]]  //这是命令的帮助信息

      在这些命令中,参数<path>的完整格式是hdfs://NameNodeIP:port/,比如你的NameNode地址是192.168.0.1,端口是9000,那么,如果想访问HDFS上路径为/user/root/hello的文件,则需要输入的地址是hdfs:/192.168.0.1:9000/user/root/hello。在Hadoop中,如果参数<path>没有NameNodeIP,那么会默认按照core-site.xml中属性fs.default.name的设置,附加“/user/你的用户名”作为路径,这是为了方便使用以及对不同用户进行区分。


    *** walker ***

    本文转自walker snapshot博客51CTO博客,原文链接http://blog.51cto.com/walkerqt/1689205如需转载请自行联系原作者


    RQSLT

    展开全文
  • hdfs dfs -put /源文件路径 /目的文件路径 解决方案 第一步:停止主节点(Master)和子节点服务(Slave) stop-all.sh 第二步:通过cd /usr/local/hadoop 进入hadoop目录 第三步:分布删除主节点和子节点hadoop...
  • 要从HDFS删除文件,可以使用以下命令: hadoop fs -rm -r -skipTrash /path_to_file/file_name 要从HDFS中删除文件夹,可以使用以下命令: hadoop fs -rm -r -skipTrash /folder_name ...
  • 本篇文章主要介绍使用shell命令在xhsell工具上操作HDFS分布式文件系统。   1、fs最常用命令 hadoop fs -ls hdfs_path //查看HDFS目录下的...hadoop fs -rm hdfs_path //删除HDFS上的文件 hadoop fs -rmr hdfs...
  • 客户端删除文件 namenode删除文件 从命名空间删除文件 将相应的数据块加到InvalidateBlocks中 ReplicationMonitor监控线程 心跳生成删除命令 datanode删除相应的block并汇报 心跳处理删除命令 异步单独开启线程删除...
  • hdfs的基本命令

    2021-01-13 14:55:42
    hdfs操作的命令格式: 1.hadoop fs -ls 对下一级目录的查看 2.hadoop fs -lsr 对目录的递归查看 3.hadoop fs -mkdir 创建目录 4.hadoop fs -get 从hdfs下载文件到linux 5.hadoop fs -put 从linux上传文件hdfs 6....
  • 上传 首先启动HDFS,任意目录下输入命令...输入hdfs dfs -put test.txt hdfs:/命令,表示将当前路径下的test.txt文件上传到hdfs根目录下(hdfs:/) 查看 输入hdfs dfs -cat /test.txt命令查看hdfs根目录下的test
  • HDFS文件系统Shell命令

    千次阅读 2017-12-21 15:01:53
    HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、...
  • HDFS常用的命令

    2019-05-23 09:44:00
    一、HDFS基本的命令 dfs -ls 列出hdfs下的文件 dfs -ls in 列出hdfs下的名为in的文件夹中的文件 dfs -put test1 test将test1文件上传到HDFS上并重命名为test dfs -get in getin 将hdfs中的文件in复制到本地系统...
  • (2)删除HDFS下的文件或目录 hdfs dfs -rm -r /[文件或目录] (3)查看HDFS文件的内容 hdfs dfs -cat /[目录]/文件名 (4)统计HDFS某目录下文件的数量 hdfs dfs -count /[目录] 获得3个...
  • HDFS常用操作命令

    2021-05-12 12:48:12
    HDFS Shell 实践 (1) 列举一个目录的所有文件 (2) 创建文件夹 (3) 将本地文件上传至HDFS (4) 将本地文件从HDFS下载到本地文件系统 (5) 查看文件内容 (6) 删除文件或者文件夹
  • HDFS文件系统HDFS概念什么是HDFSHDFS的组成HDFS文件块大小HFDS命令行操作基本语法常用命令Java操作hdfs配置编译环境获取文件系统上传文件文件下载目录创建删除文件文件重命名 前置条件:hadoop环境搭建完毕。 hadoop...
  • hdfs dfs常用命令

    2019-11-01 12:37:28
    查看hdfs dfs下的所有可用命令: 2查看某目录下文件列表 hdfs dfs -ls / 3.查看某文本文件的内容 hdfs dfs -cat /tmp/input.txt 4.创建目录 在hdfs中创建/tmp/tianliangedu目录: hdfs dfs -mkdir /tmp/...
  • 引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理信息,单独启动停止 ...
  • 删除hdfs下的所有文件:hadoop fs -rmr hdfs:192.168.80.100:9000/* 查看hdfs下的所有文件:hadoop fs -lsr / 查看hdfs下的hello文件的内容:hadoop fs -text /hello 下载hdfs下某个文件:hadoop fs -get src des
  • HDFS 常用 shell 命令

    2020-07-31 14:15:27
    从本地加载文件HDFS5. 从 HDFS 导出文件到本地6. 查看文件内容7. 显示文件的最后一千字节8. 拷贝文件9. 移动文件10. 统计当前目录下各文件大小11. 合并下载多个文件12. 统计文件系统的可用空间信息13. 更改文件...
  • HDFS常用Shell命令总结

    2020-02-13 23:41:51
    文章目录HDFS常用Shell命令一、普通shell处理命令1、文件夹目录操作1.1、查看目录1.2、创建目录1.3、删除目录2、文件操作2.1、查看文件信息2.2、修改文件的权限、所有者2.3、统计文件信息2.4、修改文件的副本数2.5、...
  • HDFS常用shell命令

    2019-07-15 22:04:27
    1、查看所有命令hdfs dfs 2、查看某目录下文件列表: hdfs dfs -ls /tmp 3、查看某文本文件的内容: hdfs dfs -cat /tmp/index.html 4、在hdfs 中创建job 目录: hdfs dfs –mkdir /tmp/info(递归创建...
  • HDFS常用Shell命令

    2019-11-26 14:30:14
    文章目录语法案例-help:帮助-ls: 显示目录信息-mkdir:在HDFS上创建目录–touchz:在HDFS上创建空文件-...rm:删除文件或文件夹-moveFromLocal:从本地剪切粘贴到HDFS-copyFromLocal:从本地文件系统中拷贝文件...
  • hdfs的常用命令

    2019-03-06 19:36:28
    查看某个文件hdfs dfs -cat +绝对路径(/tmp/index.html...删除目录: hdfs dfs -rmr +hdfs绝对路径(/tmp/niudir) 下载文件hdfs dfs -copyFromLocal +hdfs绝对路径(下载到当前路径) 上传文件: hdf...
  • hdfs中使用的是hadoop用户,但是有些脚本任务是在root中执行的,这个时候可以使用sudo -u hadoop切换用户执行hadoop命令,但是会提示如下: [root@xxx yunwei]# sudo -u hadoop hadoop fs -rmr /user/hive/warehouse...
  • 命令格式:hadoop dfs -put 要上传的文件所在目录 上传到hdfs上的文件目录 目录形式: 2.文件查看 hadoop dfs -text /data/info.txt 命令格式: hadoop dfs -text 需要查看的hdfs文件目录 3.文件删除 .

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 580
精华内容 232
关键字:

hdfs删除文件命令