精华内容
参与话题
问答
  • 常用HDFS命令

    2020-03-11 20:30:36
    2、上传本地文件(夹)至hdfs: 本地-服务器-HDFS 可通过FTP从本地上传至服务器 (1)从服务器上传文件至HDFS: hadoop fs -put /root/data/a.txt /data/ (2)文件夹:把a文件夹导入hdfs中b路径下 hadoop fs -put /...

    1、定位到指定data路径下:
    hadoop fs -ls /data/
    2、上传本地文件(夹)至hdfs:
    本地-服务器-HDFS
    可通过FTP从本地上传至服务器
    (1)从服务器上传文件至HDFS:
    hadoop fs -put /root/data/a.txt /data/
    (2)文件夹:把a文件夹导入hdfs中b路径下
    hadoop fs -put /root/a/ /data/b/
    3、删除HDFS指定目录文件
    (2)删除文件
    hadoop fs -rm /path_to_file/file_name/a.txt
    hadoop fs -rm -r /path_to_file/file_name
    (3)要从HDFS中删除文件夹:
    hadoop fs -rm -r /folder_name
    4、HDFS新建文件夹
    hadoop fs -mkdir /path/folder_name
    5、文件夹
    hdfs dfs -get /data/mllv/test_model/ /root/mllv/

    展开全文
  • HDFS常用命令

    2018-06-28 14:29:02
    【fs最常用命令】 hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 hadoop fs -rm hdfs_path //删除HDFS上的文件 hadoop fs -rmr hdfs_path //删除HDFS上...
    进入hadoop/bin目录:
    
    【fs最常用命令】
    hadoop fs -ls hdfs_path    //查看HDFS目录下的文件和子目录
    hadoop fs -mkdir hdfs_path    //在HDFS上创建文件夹
    hadoop fs -rm hdfs_path    //删除HDFS上的文件
    hadoop fs -rmr hdfs_path    //删除HDFS上的文件夹
    hadoop fs -put local_file hdfs_path    //将本地文件copy到HDFS上
    hadoop fs -get hdfs_file local_path    //复制HDFS文件到本地
    hadoop fs -cat hdfs_file    //查看HDFS上某文件的内容
    
    
    【查看目录下文件(夹)大小】
    //单位Byte:
    hadoop fs -du / | sort -n
    //单位MB:
    hadoop fs -du / | awk -F ' '  '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' | sort -n
    //单位GB,大于1G:
    hadoop fs -du / | awk -F ' '  '{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num, $2} }' | sort -n
    
    
    HDFS所有命令其使用方法如下(与Linux类似):
    ------------------------------------------------------------------------------------------------------------------------------
    hadoop fs [genericOpitions]
    [-ls <path>]  //显示目标路径当前目录下的所有文件
    [-lsr <path>]  //递归显示目标路径下的所有目录及文件(深度优先)
    [-du <path>]  //以字节为单位显示目录中所有文件的大小,或该文件的大小(如果path为文件)
    [-dus <paht>]  //以字节为单位显示目标文件大小(用于查看文件夹大小)
    [-count [-q] <path>]  //将目录的大小、包含文件(包括文件)个数的信息输出到屏幕(标准stdout)
    [-mv <src> <dst>]  //把文件或目录移动到目标路径,这个命令允许同时移动多个文件,但是只允许移动到一个目标路径中,参数中的最有一个文件夹即为目标路径
    [-cp <src> <dst>]  //复制文件或目录到目标路径,这个命令允许同时复制多个文件,如果复制多个文件,目标路径必须是文件夹
    [-rm [-skipTrash] <path>]  //删除文件,这个命令不能删除文件夹
    [-rmr [-skipTrash] <path>]  //删除文件夹及其下的所有文件
    [-expunge]
    [-put <localsrc> ... <dst>]  //从本地文件系统上传文件到HDFS中
    [-copyFromLocal <localsrc> ... <dst>]  //与put相同
    [-moveFromLocal <localsrc> ... <dst>]  //与put相同,但是文件上传之后会从本地文件系统中移除
    [-get [-ignoreCrc] [-crc] <src> <localdst>]  //复制文件到本地文件系统。这个命令可以选择是否忽视校验和,忽视校验和和下载主要用于挽救那些已经发生错误的文件
    [-getmerge <src> <localdst> [addnl]]  //将源目录中的所有文件进行排序并写入目标文件中,文件之间以换行符分隔
    [-cat <src>]  //在终端显示(标准输出stdout)文件中的内容,类似Linux系统中的cat
    [-text <src>]
    [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] //与get相同
    [-moveToLocal [-crc] <src> <localdst>]
    [-mkidr <path>]  //创建文件夹
    [-setrep [-R] [-w] <rep> <path/file>]  //改变一个文件的副本个数。参数-R可以递归地对该目录下的所有文件做统一操作
    [-touchz <path>]  //类似Linux中的touch,创建一个空文件
    [-test -[ezd] <path>]  //将源文件输出为文本格式显示到终端上,通过这个命令可以查看TextRecordInputStream(SequenceFile等)或zip文件
    [-stat [format] <path>]  //以指定格式返回路径的信息
    [-tail [-f] <file>]  //在终端上显示(标准输出stdout)文件的最后1kb内容。-f选项的行为与LInux中一致,会持续监测先添加到文件中的内容,这在查看日志文件时会显得非常方便。
    [-chmod [-R] <MODE[,MODE]...| OCTALMODE> PATH...]  //改变文件的权限,只有文件的所有者或者是超级用户才能使用这个命令。-R可以递归地改变文件夹内的所有文件的权限
    [-chown [-R] [OWNER] [:[GROUP] PATH...]]  //改变文件的拥有者,-R可以递归地改变文件夹内所有文件的拥有者。同样,这个命令只有超级用户才能使用
    [-chgrp [-R] GROUP PATH...]  //改变文件所属的组,-R可以递归地改变文件夹内所有文件所属的组。这个命令必须是超级用户才能使用
    [-help [cmd]]  //这是命令的帮助信息
    
    
    

    展开全文
  • hdfs命令_HDFS命令

    2020-07-12 13:34:52
    hdfs命令In this lesson on Apache Hadoop HDFS commands, we will go through the most common commands which are used for Hadoop administration and to manage files present on a Hadoop cluster. 在本课程中...

    hdfs命令

    In this lesson on Apache Hadoop HDFS commands, we will go through the most common commands which are used for Hadoop administration and to manage files present on a Hadoop cluster.

    在本课程中,有关Apache Hadoop HDFS命令的内容,我们将介绍最常用的命令,这些命令用于Hadoop管理和管理Hadoop集群上的文件。

    HDFS命令 (HDFS Commands)

    Hive commands can be run on any Hadoop cluster or you’re free to use any of the VMs offered by Hortonworks, Cloudera etc.

    Hive命令可以在任何Hadoop群集上运行,或者您可以自由使用HortonworksCloudera等提供的任何VM。

    In this guide, we will make use of Ubuntu 17.10 (GNU/Linux 4.13.0-37-generic x86_64) machine:

    在本指南中,我们将使用Ubuntu 17.10(GNU / Linux 4.13.0-37-generic x86_64)计算机:

    hadoop cluster ubuntu version

    Ubuntu Version

    Ubuntu版本

    Finally, we will make use of Hadoop v3.0.1 for this lesson:

    最后,本课将使用Hadoop v3.0.1:

    Hadoop version

    Hadoop version

    Hadoop版本

    Let’s get started.

    让我们开始吧。

    Hadoop HDFS命令 (Hadoop HDFS Commands)

    We will start with some very basic help commands and go into more detail as we go through this lesson.

    我们将从一些非常基本的帮助命令开始,并在本课程中进行更详细的介绍。

    获取所有HDFS命令 (Getting all HDFS Commands)

    The simplest help command for Hadoop HDFS is the following with which we get all the available commands in Hadoop and how to use them:

    以下是Hadoop HDFS最简单的帮助命令,通过它我们可以获取Hadoop中所有可用的命令以及如何使用它们:

    hadoop fs -help

    Let’s see the output for this command:

    让我们看一下该命令的输出:

    HDFS commands fs help

    Hadoop fs help

    Hadoop fs帮助


    The output was quite long actually as this prints all the available commands a brief on how to use those commands as well.
    实际上,输出相当长,因为这会打印所有可用的命令,并简要说明如何使用这些命令。

    有关特定Hadoop命令的帮助 (Help on specific Hadoop command)

    The information printed from the last command was quite big as it printed all the commands. Finding help for a specific command is tricky in that output. Here is a command to narrow your search:

    从最后一个命令打印的信息很大,因为它打印了所有命令。 在该输出中查找特定命令的帮助非常棘手。 这是缩小搜索范围的命令:

    hadoop fs -help ls

    Let’s see the output of this command:

    让我们看一下该命令的输出:

    Hadoop specific command guide

    Hadoop specific command guide

    Hadoop特定命令指南

    特定Hadoop命令的用法 (Usage of specific Hadoop command)

    to know the syntax of each command, we don’t need t go anywhere apart from the terminal itself. We can know the syntax of a command on how to use it, use the usage option:

    要知道每个命令的语法,除了终端本身,我们不需要走任何地方。 我们可以使用用法选项来了解有关如何使用命令的语法:

    hadoop fs -usage ls

    Let’s see the output of this command:

    让我们看一下该命令的输出:

    Usage of HDFS Commands

    Usage of Hadoop Command

    Hadoop命令的用法


    Apart from usage, it also shows all possible options for the command specified.
    除用法外,它还显示指定命令的所有可能选项。

    列出fs文件和目录 (Listing fs files and directories)

    To list all the available files and subdirectories under default directory, just use the following command:

    要列出默认目录下的所有可用文件和子目录,只需使用以下命令:

    hadoop fs -ls

    Let’s see the output for this command:

    让我们看一下该命令的输出:

    Listing all files

    Listing all files

    列出所有文件


    We ran this in the root directory and that’s why the output.
    我们在根目录中运行它,这就是输出的原因。

    制作HDFS目录 (Making HDFS Directory)

    We can make a new directory for Hadoop File System using the following command:

    我们可以使用以下命令为Hadoop File System创建新目录:

    hadoop fs -mkdir /root/journaldev_bigdata

    Note that if you create a new directory inside the /user/ directory, Hadoop will have read/write permissions on the directory but with other directories, it only has read permission by default.

    请注意,如果在/user/目录中创建一个新目录,则Hadoop将对该目录具有读/写权限,但对于其他目录,默认情况下它仅具有读权限。

    将文件从本地文件系统复制到Hadoop FS (Copying file from Local file System to Hadoop FS)

    To copy a file from Local file System to Hadoop FS, we can use a simple command:

    要将文件从本地文件系统复制到Hadoop FS,我们可以使用一个简单的命令:

    hadoop fs -copyFromLocal derby.log /root/journaldev_bigdata

    Let’s see the output for this command:

    让我们看一下该命令的输出:

    Copy File from local fs to HDFS

    Copy File from local fs to HDFS

    将文件从本地fs复制到HDFS


    If instead of copying the file, you just want to move it, just make use of the
    如果您只想移动文件而不是复制文件,则只需使用-moveFromLocal option.-moveFromLocal选项。

    磁盘使用情况 (Disk Usage)

    We can see the disk usage of files under HDFS in a given directory with a simple option as shown:

    我们可以通过一个简单的选项查看给定目录中HDFS下文件的磁盘使用情况,如下所示:

    hadoop fs -du /root/journaldev_bigdata/

    Let’s see the output for this command:

    让我们看一下该命令的输出:

    Disk Usage of a directory in HDFS

    Disk Usage of a directory in HDFS

    HDFS中目录的磁盘使用情况


    If you simply want to check disk usage of complete HDFS, run the following command:
    如果您只想检查完整HDFS的磁盘使用情况,请运行以下命令:

    Let’s see the output for this command:

    让我们看一下该命令的输出:

    Disk Usage of complete HDFS

    Disk Usage of complete HDFS

    完整HDFS的磁盘使用情况

    清空垃圾数据 (Empty Trash Data)

    When we are sure that no files in the trash are usable, we can empty the trash in HDFS by deleting all files with the following command:

    当我们确定垃圾箱中没有可用的文件时,我们可以通过使用以下命令删除所有文件来清空HDFS中的垃圾箱:

    hadoop fs -expunge

    This will simply delete all Trashed data in the HDFS and creates no output.

    这将仅删除HDFS中的所有Trashed数据,并且不创建任何输出。

    修改文件的复制因子 (Modifying replication factor for a file)

    As we already know, replication factor is the count by which a file is replicated across as Hadoop cluster and in its HDFS. We can modify the replication factor of a file using the following command:

    众所周知,复制因子是文件在Hadoop集群及其HDFS中被复制的计数。 我们可以使用以下命令修改文件的复制因子:

    hadoop fs -setrep -w 1 /root/journaldev_bigdata/derby.log

    Let’s see the output of this command:

    让我们看一下该命令的输出:

    Modify replication factor in HDFS

    Modify replication factor in HDFS

    修改HDFS中的复制因子

    更新Hadoop目录权限 (Updating Hadoop Directory permissions)

    If you face permission related issues in Hadoop, run the following command:

    如果您在Hadoop中遇到与权限相关的问题,请运行以下命令:

    hadoop fs -chmod 700 /root/journaldev_bigdata/

    With this command, you can provide and formulate the permissions given to a HDFS directory and restrict its access.

    使用此命令,您可以提供和制定授予HDFS目录的权限并限制其访问。

    删除HDFS目录 (Removing HDFS Directory)

    We can remove an entire HDFS directory using the rm command:

    我们可以使用rm命令删除整个HDFS目录:

    hadoop fs -rm -r /root/journaldev_bigdata

    Let’s see the output for this command:

    让我们看一下该命令的输出:

    Removing directory from HDFS

    Removing directory from HDFS

    从HDFS移除目录

    That’s all for a quick roundup on Hadoop HDFS commands.

    这就是对Hadoop HDFS命令的快速总结。

    翻译自: https://www.journaldev.com/20624/hdfs-commands

    hdfs命令

    展开全文
  • 命令 说明 hadoop fs -mkdir 创建HDFS目录 hadoop fs -ls 列出HDFS目录 hadoop fs -copyFromLocal 使用-copyFromLocal 复制本地(Local)文件到HDFS hadoop fs -put 使用-put 复制本地...
    命令 说明
    hadoop fs -mkdir 创建HDFS目录
    hadoop fs -ls 列出HDFS目录
    hadoop fs -copyFromLocal 使用-copyFromLocal 复制本地(Local)文件到HDFS
    hadoop fs -put 使用-put 复制本地(Local) 文件到HDFS
    hadoop fs -cat 列出HDFS目录下的文件内容
    hadoop fs -copyToLocal 使用-copyToLocal将HDFS上的文件复制到本地(Local)
    hadoop fs -get 使用-get将HDFS上的文件复制到本地(Local)
    hadoop fs -cp 复制HDFS文件
    hadoop fs -rm 删除HDFS文件

     

    创建user目录

    hadoop fs -mkdir /user

    在user目录下创建hduser目录

    hadoop fs -mkdir /user/hduser

    在hduser目录下创建test子目录

     hadoop fs -mkdir /user/hduser/test 

    查看用户hdfs目录

    hadoop fs -ls

    查看hdfs根目录

    hadoop fs -ls /

     查看hdfs的/user目录

    hadoop fs -ls /user

    查看hdfs 的/user/hduser

    hadoop fs -ls /user/hduser

      一次查看所有hdfs子目录

    hadoop fs -ls -R /

    一次创建所有hdfs子目录

    hadoop fs -mkdir -p /dir1/dir2/dir3

     

    转载于:https://www.cnblogs.com/vitas/p/7025816.html

    展开全文
  • 常用hadoop hdfs命令

    2018-04-12 19:28:35
    HDFS的基本命令格式为:hadoop fs -cmd &lt;args&gt;【cmd即具体的命令】1、hadoop fs -ls hdfs路径 例:hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls /logs 列出hdfs文件系统...
  • HDFS常用命令常用

    2018-07-25 14:54:23
    常用HDFS命令 说明 hadoop fs -mkdir dir 新建HDFS目录dir hadoop fs -mkdir -p /dir1/dir2/dir3 建立多层目录 hadoop fs -ls /Input 列出”/Input”目录下的文件和目录 hadoop fs -ls -R /Input ...
  • 【其实用起来和 Linux 一样,就是前面加上了 hdfs dfs ,少许命令可能不同,版本是 hadoop2.x】 hdfs dfs -ls / 查看根路径下面的文件或者文件夹 hdfs dfs -ls /test查看test路径下面的文件或者文件夹 hdfs dfs -...
  • HDFS常用命令hdfs dfs

    千次阅读 2019-08-08 16:33:40
    1.hdfs dfs、hadoop fs、hadoop dfs三个命令的区别 在介绍命令之前,首先要知道hdfs dfs、hadoop fs、hadoop dfs三个命令的区别。 hadoop fs:通用的文件系统命令,针对任何系统,比如本地文件、HDFS文件、HFTP...
  • hdfs命令

    千次阅读 2016-08-05 18:04:42
    bin/hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile ... 追加一个或者多个文件(linux文件) ... 到hdfs制定文件中.也可以从命令行读取输入. hdfs dfs -appendToFile localfile /user/hadoop/hadoop...
  • Hadoop常用操作HDFS命令

    2018-11-16 09:23:38
    (1)查询:hadoop dfs -ls /...(3)本地文件拷贝至hdfs:hadoop dfs -put test.txt /tmp (4)查看文本内容:hadoop dfs -cat /tmp/test.txt (5)hdfs上文件下载至本地:hadoop dfs -get /tmp/test.txt /home/sgs...
  • hdfs常用命令

    千次阅读 2019-06-21 17:12:33
    hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令,以下对最常用的相关命令进行简要说明。 hadoop fs -ls 显示当前目录结构,-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -rm ...
  • HDFS 常用命令

    千次阅读 2015-03-05 12:42:41
    查看 列出HDFS下的文件 # bin/hadoop dfs -ls 查看 列出HDFS文件下名为 in 的文档中的文件 # bin/hadoop dfs -ls in 上传 将hadoop目录下的test1文件上传到HDFS上并重命名为test # bin/hadoop dfs ...

空空如也

1 2 3 4 5 ... 20
收藏数 8,912
精华内容 3,564
关键字:

hdfs命令