关闭hdfs的命令

千次阅读

2021-12-09 11:19:09

public class HdfsClient1 {
    private FileSystem fs;
    //初始化一个FileSystem
    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        //1：获取文件系统
        URI uri = new URI("hdfs://myhadoop105:9820");
        Configuration conf = new Configuration();
        conf.set("dfs.replication","6");
        String user = "atguigu";
        fs = FileSystem.get(uri, conf, user);

    }
    @After
    public void closeResources() throws IOException {
        //3：关闭资源
        fs.close();
    }
    @Test
    public void testMkdir() throws IOException {
        fs.mkdirs(new Path("/hdfs/windowsOperator/operator01"));
    }
    @Test
    public void testPut() throws IOException {
        fs.copyFromLocalFile(false , false , new Path("G:/code/test/day08课堂记录.txt") , new Path("/hdfs/windowsOperator/operator01"));
    }
    @Test
    public void testGet() throws IOException {
        fs.copyToLocalFile(new Path("/hdfs/windowsOperator/operator01"),new Path("G:\\code\\test\\test"));
    }
    @Test
    public void testMove() throws IOException {
        fs.rename(new Path("/hdfs/windowsOperator/day08课堂记录.txt"),new Path("/hdfs/windowsOperator/day08"));
    }
    @Test
    public void testDelete() throws IOException {
        fs.delete(new Path("/hdfs/windowsOperator/operator01"),true);
    }

    @Test
    public void testIsFile() throws IOException {
        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));
        for (FileStatus fileStatus : fileStatuses) {
            //判断是否是文件
            if (fileStatus.isFile()){
                System.out.println("-:"+fileStatus.getPath().getName());

            }else {
                System.out.println("d:" + fileStatus.getPath().getName());
            }

        }


    }

    @Test
    public void testListFiles() throws IOException {
        // f:要查看的目录路径
        // r:是否递归查看
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
        while (listFiles.hasNext()){
            LocatedFileStatus fileStatus = listFiles.next();
            System.out.println("-------------------------" + fileStatus.getPath() + "--------------------");
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getOwner());
            System.out.println(fileStatus.getGroup());
            System.out.println(fileStatus.getLen());
            System.out.println(fileStatus.getModificationTime());
            System.out.println(fileStatus.getReplication());
            System.out.println(fileStatus.getBlockLocations());
            System.out.println(fileStatus.getPath().getName());

            //快信息
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            System.out.println(Arrays.toString(blockLocations));

        }


    }


}

windows hadoop

更多相关内容

hadoop之hdfs命令详解

2022-01-17 11:27:35

目录一、hadoop命令1、archive2、checknative3、classpath4、credential5、distcp（比较常用）6、fs7、jar8、key9、trace二、hdfs命令1、classpath2、dfs3、fetchdt4、fsck（重要）5、getconf（重要）6、groups7、...

hadoop之hdfs命令详解
本篇主要对hadoop命令和hdfs命令进行阐述，yarn命令会在之后的文章中体现
hadoop fs命令可以用于其他文件系统，不止是hdfs文件系统内，也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系统。而hdfs dfs命令只用于HDFS文件系统；

一、hadoop命令

使用语法：hadoop [–config confdir] COMMAND #其中config用来覆盖默认的配置

##command #子命令
fs                   run a generic filesystem user client
version              print the version
jar <jar>            run a jar file
checknative [-a|-h]  check native hadoop and compression libraries availability
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath            prints the class path needed to get the
credential           interact with credential providers Hadoop jar and the required libraries
daemonlog            get/set the log level for each daemon
s3guard              manage data on S3
trace                view and modify Hadoop tracing settings

1、archive

创建一个hadoop压缩文件，详细的可以参考 http://hadoop.apache.org/docs/r2.7.0/hadoop-archives/HadoopArchives.html
使用格式：hadoop archive -archiveName NAME -p * #-p 可以同时指定多个路径
实例：

[hive@mwpl003 ~]$ hadoop fs -touchz /tmp/test/a.txt
[hive@mwpl003 ~]$ hadoop fs -ls /tmp/test/
Found 1 items
-rw-r--r--   3 hive supergroup          0 2019-09-18 13:50 /tmp/test/a.txt
[hive@mwpl003 ~]$ hadoop archive -archiveName test.har -p  /tmp/test/a.txt -r 3 /tmp/test
19/09/18 13:52:58 INFO mapreduce.JobSubmitter: number of splits:1
19/09/18 13:52:58 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1565571819971_6988
19/09/18 13:52:58 INFO impl.YarnClientImpl: Submitted application application_1565571819971_6988
19/09/18 13:52:58 INFO mapreduce.Job: The url to track the job: http://ip_address:8088/proxy/application_1565571819971_6988/
19/09/18 13:52:58 INFO mapreduce.Job: Running job: job_1565571819971_6988
19/09/18 13:53:04 INFO mapreduce.Job: Job job_1565571819971_6988 running in uber mode : false
19/09/18 13:53:04 INFO mapreduce.Job:  map 0% reduce 0%
19/09/18 13:53:08 INFO mapreduce.Job:  map 100% reduce 0%
19/09/18 13:53:13 INFO mapreduce.Job:  map 100% reduce 100%
19/09/18 13:53:13 INFO mapreduce.Job: Job job_1565571819971_6988 completed successfully
19/09/18 13:53:13 INFO mapreduce.Job: Counters: 49
        File System Counters
                FILE: Number of bytes read=80
                FILE: Number of bytes written=313823
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=264
                HDFS: Number of bytes written=69
                HDFS: Number of read operations=14
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=8
        Job Counters 
                Launched map tasks=1
                Launched reduce tasks=1
                Other local map tasks=1
                Total time spent by all maps in occupied slots (ms)=7977
                Total time spent by all reduces in occupied slots (ms)=12015
                Total time spent by all map tasks (ms)=2659
                Total time spent by all reduce tasks (ms)=2403
                Total vcore-milliseconds taken by all map tasks=2659
                Total vcore-milliseconds taken by all reduce tasks=2403
                Total megabyte-milliseconds taken by all map tasks=8168448
                Total megabyte-milliseconds taken by all reduce tasks=12303360
        Map-Reduce Framework
                Map input records=1
                Map output records=1
                Map output bytes=59
                Map output materialized bytes=76
                Input split bytes=97
                Combine input records=0
                Combine output records=0
                Reduce input groups=1
                Reduce shuffle bytes=76
                Reduce input records=1
                Reduce output records=0
                Spilled Records=2
                Shuffled Maps =1
                Failed Shuffles=0
                Merged Map outputs=1
                GC time elapsed (ms)=91
                CPU time spent (ms)=2320
                Physical memory (bytes) snapshot=1189855232
                Virtual memory (bytes) snapshot=11135381504
                Total committed heap usage (bytes)=3043491840
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=167
        File Output Format Counters 
                Bytes Written=0
[hive@mwpl003 ~]$ hadoop fs -ls /tmp/test/
Found 2 items
-rw-r--r--   3 hive supergroup          0 2019-09-18 13:50 /tmp/test/a.txt
drwxr-xr-x   - hive supergroup          0 2019-09-18 13:53 /tmp/test/test.har

[hive@mwpl003 ~]$ hadoop fs -ls /tmp/test/test.har/
Found 4 items
-rw-r--r--   3 hive supergroup          0 2019-09-18 13:53 /tmp/test/test.har/_SUCCESS
-rw-r--r--   3 hive supergroup         55 2019-09-18 13:53 /tmp/test/test.har/_index
-rw-r--r--   3 hive supergroup         14 2019-09-18 13:53 /tmp/test/test.har/_masterindex
-rw-r--r--   3 hive supergroup          0 2019-09-18 13:53 /tmp/test/test.har/part-0

解压：
hadoop distcp har:///tmp/test/test.har /tmp/test1
hdfs dfs -cp har:///tmp/test/test.har /tmp/test1

2、checknative

检查hadoop的原生代码，一般人用不到

使用语法：hadoop checknative [-a] [-h]
-a 检查所有的库
-h 显示帮助

3、classpath

打印hadoop jar或者库的类路径
使用语法：hadoop classpath [–glob |–jar |-h |–help]

4、credential

管理凭证供应商的凭证、密码和secret(有关秘密信息）
使用语法：hadoop credential [options]

5、distcp（比较常用）

distributed copy的缩写（望文生义),主要用于集群内/集群之间复制文件。需要使用到mapreduce
使用语法：hadoop distcp [-option] hdfs://source hdfs://dest
详细见：http://hadoop.apache.org/docs/r2.7.0/hadoop-distcp/DistCp.html

常用的几个选项：
-m <num_maps> #指定了拷贝数据时map的数目。请注意并不是map数越多吞吐量越大
-i #忽略失败
-log #记录日志到
-update #当目标集群上的文件不存在或文件不一致时，才会从源集群拷贝
-overwrite #覆盖目标集群上的文件
-filter #过滤不需要复制的文件
-delete #删除目标文件存在，但不存在source中的文件

6、fs

与hdfs dfs同用
查看帮助：hadoop fs -help
详细查看：http://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
包括如下一些子命令：

appendToFile, cat, checksum, chgrp, chmod, chown, copyFromLocal, copyToLocal, count, cp, createSnapshot, deleteSnapshot, df, du, expunge, find, get, getfacl, getfattr, getmerge, help, ls, mkdir, moveFromLocal, moveToLocal, mv, put, renameSnapshot, rm, rmdir, setfacl, setfattr, setrep, stat, tail, test, text, touchz

在这里我想各位都应该比较熟悉linux的基本操作命令了，所以这些命令用起来比较简单

6.1、appendToFile

appendToFile  #追加一下本地文件到分布式文件系统
Usage: hadoop fs -appendToFile <localsrc> ... <dst>
example：
hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
hadoop fs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile  #表示从标准输入输入数据到hadoopfile中，ctrl+d 结束输入

6.2、cat

cat   #查看文件内容
Usage: hadoop fs -cat URI [URI ...]
example：
hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
hadoop fs -cat file:///file3 /user/hadoop/file4

6.3、checksum

checksum  #返回被检查文件的格式
Usage: hadoop fs -checksum URI
example：
[hive@mwpl003 ~]$  hadoop fs -checksum /tmp/test/test.txt
/tmp/test/test.txt      MD5-of-0MD5-of-512CRC32C        000002000000000000000000fde199c1517b7b26b0565ff6b0f46acc

6.4、chgrp

chgrp   #变更文件目录的所属组
Usage: hadoop fs -chgrp [-R] GROUP URI [URI ...]

6.5、chmod

chmod  #修改文件或者目录的权限
Usage: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

6.6、chown

chown  #修改目录或者文件的拥有者和所属组
Usage: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

6.7、copyFromLocal

copyFromLocal #从本地复制文件或者文件夹到hdfs，类似put命令
Usage: hadoop fs -copyFromLocal [-f] <localsrc> URI  #其中-f选项会覆盖与原文件一样的目标路径文件
example：
hadoop fs -copyFromLocal start-hadoop.sh  /tmp

6.8、copyToLocal

copyToLocal  #类似get命令，从hdfs获取文件到本地
Usage: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

6.9、count

count  #计算 目录，文件，字节数
Usage: hadoop fs -count [-q] [-h] [-v] <paths>

6.10、cp

cp     #复制源文件到目标文件
Usage: hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>
Example:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

6.11、Snapshot相关

createSnapshot #创建快照
deleteSnapshot #删除快照
详细见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html
HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快照。快照的一些常见用例是数据备份，防止用户错误和灾难恢复。
在创建快照前，要设置一个目录为snapshottable（需要管理员权限），表示可以在该目录中创建快照
hdfs dfsadmin -allowSnapshot <path> #在path中启用快照
hdfs dfsadmin -disallowSnapshot <path> #在path中禁止快照
hdfs dfs -ls /foo/.snapshot #列出快照目录下的所有快照
hdfs dfs -createSnapshot <path> [<snapshotName>] #创建快照，快照名默认为时间戳格式
hdfs dfs -deleteSnapshot <path> <snapshotName> #删除快照
hdfs dfs -renameSnapshot <path> <oldName> <newName> #快照重命名
hdfs lsSnapshottableDir #获取快照目录

6.12、df

df  #展示空间使用情况
Usage: hadoop fs -df [-h] URI [URI ...]

6.13、du

du  #展示目录包含的文件的大小
Usage: hadoop fs -du [-s] [-h] URI [URI ...]
Example:
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1

6.14、expunge

expunge  #清空回收站（不要瞎用）
Usage: hadoop fs -expunge

6.15、find

find   #查找
Usage: hadoop fs -find <path> ... <expression> ...
-name pattern
-iname pattern #忽略大小写
-print
-print0Always
Example:
hadoop fs -find / -name test -print

6.16、get

get #获取数据，类似于copyToLocal.但有crc校验
Usage: hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>
Example:
hadoop fs -get /tmp/input/hadoop/*.xml /home/hadoop/testdir/

6.17、getfacl

getfacl #展示目录或者文件的ACL权限
Usage: hadoop fs -getfacl [-R] <path>
[hive@mwpl003 ~]$ hadoop fs -getfacl -R  /tmp/test
# file: /tmp/test
# owner: hive
# group: supergroup
getfacl: The ACL operation has been rejected.  Support for ACLs has been disabled by setting dfs.namenode.acls.enabled to false.

6.18、getfattr

getfattr #显示文件或目录的扩展属性名称和值
Usage: hadoop fs -getfattr [-R] -n name | -d [-e en] <path>
-n name和 -d是互斥的，
-d表示获取所有属性。
-R表示循环获取； 
-e en 表示对获取的内容编码，en的可以取值是 “text”, “hex”, and “base64”.
Examples:
hadoop fs -getfattr -d /file
hadoop fs -getfattr -R -n user.myAttr /dir

6.19、getmerge

getmerge  #合并文件
Usage: hadoop fs -getmerge <src> <localdst> [addnl]
hadoop fs -getmerge   /src  /opt/output.txt
hadoop fs -getmerge  /src/file1.txt /src/file2.txt  /output.txt

6.20、ls

ls   #罗列文件
Usage: hadoop fs -ls [-d] [-h] [-R] [-t] [-S] [-r] [-u] <args>

6.21、mkdir

mkdir #创建文件夹
Usage: hadoop fs -mkdir [-p] <paths>
Example:
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir

6.22、moveFromLocal

moveFromLocal #把本地文件移动到hdfs上
Usage: hadoop fs -moveFromLocal <localsrc> <dst>

6.23、moveToLocal

moveToLocal   #把hdfs文件移动到本地上
Usage: hadoop fs -moveToLocal [-crc] <src> <dst>

6.24、mv

mv   #移动文件，但是可以一次移动多个
Usage: hadoop fs -mv URI [URI ...] <dest>
Example:
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1

6.25、put

put  #把文件复制到hdfs上
Usage: hadoop fs -put <localsrc> ... <dst>
hadoop fs -put localfile hdfs://nn.example.com/hadoop/hadoopfile
hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile  #Reads the input from stdin.

6.26、rm

rm  #删除文件
Usage: hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]

6.27、rmdir

rmdir  #删除一个目录
Usage: hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]

6.28、setfacl

setfacl  #设置ACL权限
Usage: hadoop fs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>]
-b 删除除基本acl项之外的所有项。保留用户、组和其他用户
-k 删除所有的默认ACL权限
-R 递归操作
-m 修改ACL权限，保留旧的，添加新的
-x 删除指定ACL权限
--set 完全替换现有的ACL权限
Examples:
hadoop fs -setfacl -m user:hadoop:rw- /file
hadoop fs -setfacl -x user:hadoop /file
hadoop fs -setfacl -b /file
hadoop fs -setfacl -k /dir
hadoop fs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
hadoop fs -setfacl -R -m user:hadoop:r-x /dir
hadoop fs -setfacl -m default:user:hadoop:r-x /dir

6.29、setfattr

setfattr  #设置额外的属性
Usage: hadoop fs -setfattr -n name [-v value] | -x name <path>
-b 删除除基本acl项之外的所有项。保留用户、组和其他用户
-n 额外属性名
-v 额外属性值
-x name 删除额外属性
Examples:
hadoop fs -setfattr -n user.myAttr -v myValue /file
hadoop fs -setfattr -n user.noValue /file
hadoop fs -setfattr -x user.myAttr /file

6.30、setrep

setrep  #改变文件的复制因子（复本）
Usage: hadoop fs -setrep [-R] [-w] <numReplicas> <path>
Example:
hadoop fs -setrep -w 3 /user/hadoop/dir1

6.31、stat

stat #获取文件的时间
Usage: hadoop fs -stat [format] <path> ...
Example:
hadoop fs -stat "%F %u:%g %b %y %n" /file
6.32、tail

tail #展示文件到标准输出
Usage: hadoop fs -tail [-f] URI

6.33、test

test  #测试
Usage: hadoop fs -test -[defsz] URI
-d 判断是否是目录
-e 判断是否存在
-f 判断是否是文件
-s 判断目录是否为空
-z 判断文件是否为空
Example:
hadoop fs -test -e filename

6.34、text

text #可以用来看压缩文件
Usage: hadoop fs -text <src>

6.35、touchz

touchz  #创建一个空文件
Usage: hadoop fs -touchz URI [URI ...]

7、jar

jar  #运行一个jar文件
Usage: hadoop jar <jar> [mainClass] args...
Example:
hadoop jar ./test/wordcount/wordcount.jar org.codetree.hadoop.v1.WordCount /test/chqz/input /test/chqz/output的各段的含义：
(1) hadoop：${HADOOP_HOME}/bin下的shell脚本名。
(2) jar：hadoop脚本需要的command参数。
(3) ./test/wordcount/wordcount.jar：要执行的jar包在本地文件系统中的完整路径，参递给RunJar类。
(4) org.codetree.hadoop.v1.WordCount：main方法所在的类，参递给RunJar类。
(5) /test/chqz/input：传递给WordCount类，作为DFS文件系统的路径，指示输入数据来源。
(6) /test/chqz/output：传递给WordCount类，作为DFS文件系统的路径，指示输出数据路径。
hadoop推荐使用yarn jar替代hadoop jar 详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-site/YarnCommands.html#jar

8、key

key #用来管理秘钥，基本不用

9、trace

trace  #查看和修改跟踪设置
详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/Tracing.html

二、hdfs命令

hdfs命令有如下选项：

User Commands： classpath, dfs, fetchdt, fsck, getconf, groups, lsSnapshottableDir, jmxget, oev, oiv, oiv_legacy, snapshotDiff, version,
Administration Commands： balancer, cacheadmin, crypto, datanode, dfsadmin, haadmin, journalnode, mover, namenode, nfs3, portmap, secondarynamenode, storagepolicies, zkfc
Debug Commands： verifyMeta, computeMeta, recoverLease

这里不全详解，详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html

1、classpath

classpath  #获取jar包或者库的有关类路径
Usage: hdfs classpath [--glob |--jar <path> |-h |--help]

2、dfs

dfs #同上节hadoop fs 命令

3、fetchdt

fetchdt  #从namenode节点获取代理令牌
Usage: hdfs fetchdt <opts> <token_file_path>
详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#fetchdt

4、fsck（重要）

hdfs fsck <path>
          [-list-corruptfileblocks |
          [-move | -delete | -openforwrite]
          [-files [-blocks [-locations | -racks | -replicaDetails]]]
          [-includeSnapshots]
          [-storagepolicies] [-blockId <blk_Id>]

-delete    删除损坏的文件
-files    打印正在检查的文件.
-files -blocks    打印块报告
-files -blocks -locations    Print out locations for every block.
-files -blocks -racks    打印每个块的位置
-files -blocks -replicaDetails    打印出每个副本的详细信息.
-includeSnapshots    如果给定路径指示SnapshotTable目录或其下有SnapshotTable目录，则包括快照数据
-list-corruptfileblocks    打印出所属丢失块和文件的列表.
-move    将损坏的文件移动到/lost+found.
-openforwrite    打印为写入而打开的文件.
-storagepolicies    打印块的存储策略摘要.
-blockId    打印出有关块的信息.

5、getconf（重要）

hdfs getconf -namenodes #获取namenode节点
hdfs getconf -secondaryNameNodes #获取secondaryNameNodes节点
hdfs getconf -backupNodes  #获取群集中备份节点的列表
hdfs getconf -includeFile  #获取定义可以加入群集的数据节点的包含文件路径
hdfs getconf -excludeFile  #获取定义需要停用的数据节点的排除文件路径
hdfs getconf -nnRpcAddresses #获取namenode rpc地址
hdfs getconf -confKey [key] #从配置中获取特定密钥 ，可以用来返回hadoop的配置信息的具体值

6、groups

groups #返回用户的所属组
Usage: hdfs groups [username ...]

7、lsSnapshottableDir

lsSnapshottableDir #查看快照目录
Usage: hdfs lsSnapshottableDir [-help]

8、jmxget

jmxget  #从特定服务获取jmx信息
Usage: hdfs jmxget [-localVM ConnectorURL | -port port | -server mbeanserver | -service service]

9、oev

oev  #离线编辑查看器
Usage: hdfs oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE

10、oiv

oiv  #离线映像编辑查看器
Usage: hdfs oiv [OPTIONS] -i INPUT_FILE

11、snapshotDiff

snapshotDiff  #对比快照信息的不同
Usage: hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>
详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html#Get_Snapshots_Difference_Report

12、balancer（重要）

balancer
 hdfs balancer
          [-threshold <threshold>]
          [-policy <policy>]
          [-exclude [-f <hosts-file> | <comma-separated list of hosts>]]
          [-include [-f <hosts-file> | <comma-separated list of hosts>]]
          [-source [-f <hosts-file> | <comma-separated list of hosts>]]
          [-blockpools <comma-separated list of blockpool ids>]
          [-idleiterations <idleiterations>]
-policy <policy>    datanode (default): 如果每个数据节点都是平衡的，则群集是平衡的.
blockpool: 如果每个数据节点中的每个块池都是平衡的，则群集是平衡的.
-threshold <threshold>    磁盘容量的百分比。这将覆盖默认阈值
-exclude -f <hosts-file> | <comma-separated list of hosts>    排除平衡器正在平衡的指定数据节点
-include -f <hosts-file> | <comma-separated list of hosts>    仅包含要由平衡器平衡的指定数据节点
-source -f <hosts-file> | <comma-separated list of hosts>    仅选取指定的数据节点作为源节点。
-blockpools <comma-separated list of blockpool ids>    平衡器将仅在此列表中包含的块池上运行.
-idleiterations <iterations>    退出前的最大空闲迭代次数。这将覆盖默认的空闲操作（5次）

13、cacheadmin

cacheadmin
Usage: hdfs cacheadmin -addDirective -path <path> -pool <pool-name> [-force] [-replication <replication>] [-ttl <time-to-live>]
hdfs crypto -createZone -keyName <keyName> -path <path>
  hdfs crypto -listZones
  hdfs crypto -provisionTrash -path <path>
  hdfs crypto -help <command-name>
详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/CentralizedCacheManagement.html

14、datanode

datanode #运行datanode
Usage: hdfs datanode [-regular | -rollback | -rollingupgrade rollback]
-regular    正常启动(default).
-rollback    将datanode回滚到以前的版本。这应该在停止datanode并分发旧的hadoop版本之后使用
-rollingupgrade rollback    回滚滚动升级操作

15、dfsadmim（重要）

hdfs dfsadmin [GENERIC_OPTIONS]
          [-report [-live] [-dead] [-decommissioning]]   #报告基本的文件系统信息和统计信息，包括测量所有dns上的复制、校验和、快照等使用的原始空间。
          [-safemode enter | leave | get | wait | forceExit] #安全模式维护命令
           #安全模式在namenode启动时自动进入，当配置的最小块百分比满足最小复制条件时自动离开安全模式。如果namenode检测到任何异常，
           #则它将在安全模式下逗留，直到该问题得到解决。如果异常是故意操作的结果，那么管理员可以使用-safemode forceExit退出安全模式
          [-saveNamespace] #将当前命名空间保存到存储目录并重置编辑日志。需要安全模式
          [-rollEdits] #在活动的namenode上滚动编辑日志
          [-restoreFailedStorage true |false |check] #此选项将打开或者关闭自动尝试还原失败的存储副本。如果失败的存储再次可用，
          #系统将在检查点期间尝试还原编辑和fsimage。“check”选项将返回当前设置
          [-refreshNodes] #重新读取主机并排除文件，以更新允许连接到namenode的数据节点集，以及应解除或重新启用的数据节点集
          [-setQuota <quota> <dirname>...<dirname>]
          [-clrQuota <dirname>...<dirname>]
          [-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]
          [-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]
          [-finalizeUpgrade] #完成hdfs的升级。datanodes删除它们以前版本的工作目录，然后namenode执行相同的操作。这就完成了升级过程
          [-rollingUpgrade [<query> |<prepare> |<finalize>]]
          [-metasave filename] #将namenode的主数据结构保存到hadoop.log.dir属性指定的目录中的filename。如果文件名存在，它将被覆盖。
          #该文件包含带namenode的datanodes心跳，等待复制的块，当前正在复制的块，等待删除的块
          [-refreshServiceAcl] #重新加载服务级别授权策略文件
          [-refreshUserToGroupsMappings] #刷新用户到组的映射
          [-refreshSuperUserGroupsConfiguration] #刷新超级用户代理组映射
          [-refreshCallQueue] #从配置重新加载调用队列
          [-refresh <host:ipc_port> <key> [arg1..argn]] #触发由<host:ipc port>上的<key>指定的资源的运行时刷新。之后的所有其他参数都将发送到主机
          [-reconfig <datanode |...> <host:ipc_port> <start |status>] #开始重新配置或获取正在进行的重新配置的状态。第二个参数指定节点类型。目前，只支持重新加载datanode的配置
          [-printTopology] #打印由namenode报告的机架及其节点的树
          [-refreshNamenodes datanodehost:port] #对于给定的数据节点，重新加载配置文件，停止为已删除的块池提供服务，并开始为新的块池提供服务
          [-deleteBlockPool datanode-host:port blockpoolId [force]] #如果传递了force，则将删除给定数据节点上给定block pool id的块池目录及其内容，否则仅当该目录为空时才删除该目录。
          #如果datanode仍在为块池提供服务，则该命令将失败
          [-setBalancerBandwidth <bandwidth in bytes per second>] #更改HDFS块平衡期间每个数据节点使用的网络带宽。<bandwidth>是每个数据节点每秒将使用的最大字节数。
          #此值重写dfs.balance.bandwidthpersec参数。注意：新值在datanode上不是持久的
          [-getBalancerBandwidth <datanode_host:ipc_port>] #获取给定数据节点的网络带宽（字节/秒）。这是数据节点在hdfs块平衡期间使用的最大网络带宽
          [-allowSnapshot <snapshotDir>] #设置快照目录
          [-disallowSnapshot <snapshotDir>] #禁止快照
          [-fetchImage <local directory>] #从namenode下载最新的fsimage并将其保存在指定的本地目录中
          [-shutdownDatanode <datanode_host:ipc_port> [upgrade]] #提交给定数据节点的关闭请求
          [-getDatanodeInfo <datanode_host:ipc_port>] #获取有关给定数据节点的信息
          [-evictWriters <datanode_host:ipc_port>]  #使datanode收回正在写入块的所有客户端。如果由于编写速度慢而挂起退役，这将非常有用
          [-triggerBlockReport [-incremental] <datanode_host:ipc_port>] #触发给定数据节点的块报告。如果指定了“增量”，则为“增量”，否则为完整的块报告
          [-help [cmd]]

16、haadmin（重要）

hdfs haadmin -checkHealth <serviceId>  #检查给定namenode的运行状况
hdfs haadmin -failover [--forcefence] [--forceactive] <serviceId> <serviceId> #在两个namenodes之间启动故障转移
hdfs haadmin -getServiceState <serviceId> #确定给定的namenode是活动的还是备用的
hdfs haadmin -help <command>
hdfs haadmin -transitionToActive <serviceId> [--forceactive] #将给定namenode的状态转换为active
hdfs haadmin -transitionToStandby <serviceId> #将给定namenode的状态转换为standby
详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html

17、journalnode

1
2
journalnode #为通过QJM实现的高可用hdfs启动journalnode
Usage: hdfs journalnode

18、mover

Usage: hdfs mover [-p <files/dirs> | -f <local file name>]
-f 指定包含要迁移的hdfs文件/目录列表的本地文件
-p 指定要迁移的hdfs文件/目录的空间分隔列表
详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html

19、namenode

namenode
hdfs namenode [-backup] |  #开始备份节点
         [-checkpoint] | #检查点开始节点
         [-format [-clusterid cid ] [-force] [-nonInteractive] ] |  #格式化指定的NameNode。 它启动NameNode，
         #对其进行格式化然后将其关闭。 如果名称目录存在，则为-force选项格式。 如果名称目录存在，则-nonInteractive选项将中止，除非指定了-force选项
         [-upgrade [-clusterid cid] [-renameReserved<k-v pairs>] ] | #在分发新的Hadoop版本后，应该使用升级选项启动Namenode
         [-upgradeOnly [-clusterid cid] [-renameReserved<k-v pairs>] ] | #升级指定的NameNode然后关闭它
         [-rollback] | #将NameNode回滚到以前的版本。 应在停止群集并分发旧Hadoop版本后使用此方法
         [-rollingUpgrade <rollback |started> ] |#滚动升级 详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsRollingUpgrade.html
         [-finalize] |  #不再支持。使用dfsadmin -finalizeUpgrade替换
         [-importCheckpoint] | #从检查点目录加载image并将其保存到当前目录中。 从属性dfs.namenode.checkpoint.dir读取检查点目录
         [-initializeSharedEdits] | #格式化新的共享编辑目录并复制足够的编辑日志段，以便备用NameNode可以启动
         [-bootstrapStandby [-force] [-nonInteractive] [-skipSharedEditsCheck] ] | #允许通过从活动NameNode复制最新的命名空间快照来引导备用NameNode的存储目录
         [-recover [-force] ] | #在损坏的文件系统上恢复丢失的元数据
         [-metadataVersion ] #验证配置的目录是否存在，然后打印软件和映像的元数据版本

20、secondarynamenode

Usage: hdfs secondarynamenode [-checkpoint [force]] | [-format] | [-geteditsize]
-checkpoint [force]    如果EditLog size> = fs.checkpoint.size，则检查SecondaryNameNode。 如果使用force，则检查点与EditLog大小无关
-format    启动期间格式化本地存储
-geteditsize    打印NameNode上未取消选中的事务的数量

21、storagepolicies

1
2
3
storagepolicies #列出所有存储策略
Usage: hdfs storagepolicies
详情见：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html

22、zkfc

Usage: hdfs zkfc [-formatZK [-force] [-nonInteractive]]
-formatZK    格式化Zookeeper实例
-force: 如果znode存在，则格式化znode。 
-nonInteractive：如果znode存在，则格式化znode中止，除非指定了-force选项
-h    Display help

23、verifyMeta

verifyMeta  #验证HDFS元数据和块文件。 如果指定了块文件，我们将验证元数据文件中的校验和是否与块文件匹配
Usage: hdfs debug verifyMeta -meta <metadata-file> [-block <block-file>]
-block block-file    用于指定数据节点的本地文件系统上的块文件的绝对路径
-meta metadata-file    数据节点的本地文件系统上的元数据文件的绝对路径

24、computeMeta

computeMeta #从块文件计算HDFS元数据。 如果指定了块文件，我们将从块文件计算校验和，并将其保存到指定的输出元数据文件中
Usage: hdfs debug computeMeta -block <block-file> -out <output-metadata-file>
-block block-file    数据节点的本地文件系统上的块文件的绝对路径
-out output-metadata-file    输出元数据文件的绝对路径，用于存储块文件的校验和计算结果。

25、recoverLease

recoverLease #恢复指定路径上的租约。 该路径必须驻留在HDFS文件系统上。 默认重试次数为1
Usage: hdfs debug recoverLease -path <path> [-retries <num-retries>]
[-path path]    要恢复租约的HDFS路径
[-retries num-retries]    客户端重试调用recoverLease的次数。 默认重试次数为1

收起

展开全文

hadoop

HDFS命令
2021-08-20 15:12:42

hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息...

第一部分：hdfs文件系统命令

权限：
444 r–r--r–
600 drw-------
644 drw-r–r--
666 drw-rw-rw-
700 drwx------
744 drwxr–r--
755 drwxr-xr-x
777 drwxrwxrwx

第一类：文件路径增删改查系列：

hdfs dfs -mkdir dir创建文件夹

hdfs dfs -rmr dir删除文件夹dir

hdfs dfs -ls查看目录文件信息

hdfs dfs -lsr递归查看文件目录信息

hdfs dfs -stat path返回指定路径的信息

第二类：空间大小查看系列命令：

hdfs dfs -du -h dir按照适合阅读的形式人性化显示文件大小

hdfs dfs -dus uri递归显示目标文件的大小

hdfs dfs -du path/file显示目标文件file的大小

第三类:权限管理类：

hdfs dfs -chgrp [group] path改变文件所属组

hdfs dfs -chgrp -R [group] /dir递归更改dir目录的所属组

hdfs dfs -chmod [-R] 权限 -path改变文件的权限

hdfs dfs -chown [owner] /dir改变文件的所有者

hdfs dfs -chown -R [owner] /dir递归更改dir目录的所属用户

第四类：文件操作（上传下载复制）系列：

hdfs dfs -touchz a.txt创建长度为0的空文件a.txt

hdfs dfs -rm file删除文件file

hdfs dfs -put file dir向dir文件上传file文件

hdfs dfs -put filea dir/fileb向dir上传文件filea并且把filea改名为fileb

hdfs dfs -get file dir下载file到本地文件夹

hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统

hdfs dfs -cat file查看文件file

```hdfs fs -text /dir/a.txt `如果文件是文本格式，相当于cat，如果文件是压缩格式，则会先解压，再查看

hdfs fs -tail /dir/a.txt查看dir目录下面a.txt文件的最后1000字节

hdfs dfs -copyFromLocal localsrc path从本地复制文件

hdfs dfs -copyToLocal /hdfs/a.txt /local/a.txt从hdfs拷贝到本地

hdfs dfs -copyFromLocal /dir/source /dir/target把文件从原路径拷贝到目标路径

hdfs dfs -mv /path/a.txt /path/b.txt把文件从a目录移动到b目录，可用于回收站恢复文件

第五类：判断系列：

hdfs fs -test -e /dir/a.txt判断文件是否存在，正0负1

hdfs fs -test -d /dir判断dir是否为目录，正0负1

hdfs fs -test -z /dir/a.txt判断文件是否为空，正0负1

第六类：系统功能管理类：

hdfs dfs -expunge清空回收站

hdfs dfsadmin -safemode enter进入安全模式

hdfs dfsadmin -sfaemode leave离开安全模式

hdfs dfsadmin -decommission datanodename关闭某个datanode节点

hdfs dfsadmin -finalizeUpgrade终结升级操作

hdfs dfsadmin -upgradeProcess status查看升级操作状态

hdfs version查看hdfs版本

hdfs daemonlog -getlevel <host:port> <name>打印运行在host:port的守护进程的日志级别

hdfs daemonlog -setlevel <host:port> <name> <level>设置运行在host:port的守护进程的日志级别

hdfs dfs -setrep -w 副本数 -R path设置文件的副本数

第二部分：运维命令

start-dfs.sh启动namenode，datanode，启动文件系统

```stop-dfs.sh`` ` 关闭文件系统

start-yarn.sh启动resourcemanager,nodemanager

stop-yarn.sh关闭resourcemanager,nodemanager

start-all.sh启动hdfs，yarn

stop-all.sh关闭hdfs，yarn

hdfs-daemon.sh start datanode单独启动datanode

```start-balancer.sh -t 10%` ``启动负载均衡，尽量不要在namenode节点使用

hdfs namenode -format格式化文件系统

hdfs namenode -upgrade分发新的hdfs版本之后，namenode应以upgrade选项启动

```hdfs namenode -rollback` `` 将namenode回滚到前一版本，这个选项要在停止集群，分发老的hdfs版本之后执行

hdfs namenode -finalizefinalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode，分发老的hdfs版本后使用

hdfs namenode importCheckpoint从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定

第三部分：mapreduce命令

hdfs jar file.jar执行jar包程序

hdfs job -kill job_201005310937_0053杀死正在执行的jar包程序

hdfs job -submit <job-file>提交作业

hdfs job -status <job-id>打印map和reduce完成百分比和所有计数器。

hdfs job -counter <job-id> <group-name> <counter-name>打印计数器的值。

hdfs job -kill <job-id>杀死指定作业。

hdfs job -events <job-id> <from-event-#> <#-of-events>打印给定范围内jobtracker接收到的事件细节。

hdfs job -history [all] <jobOutputDir>

hdfs job -history <jobOutputDir>打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。

hdfs job -list [all]显示所有作业。-list只显示将要完成的作业。

hdfs job -kill -task <task-id>杀死任务。被杀死的任务不会不利于失败尝试。

hdfs job -fail -task <task-id>使任务失败。被失败的任务会对失败尝试不利。

第四部分：hdfs系统检查工具fsck

hdfs fsck <path> -move移动受损文件到/lost+found

```hdfs fsck -delete ` 删除受损文件。

hdfs fsck <path> -openforwrite打印出写打开的文件。

```hdfs fsck -files ` 打印出正被检查的文件。

hdfs fsck <path> -blocks打印出块信息报告。

hdfs fsck <path> -locations打印出每个块的位置信息。

hdfs fsck <path> -racks打印出data-node的网络拓扑结构。

第五部分：运行pipies作业

hdfs pipes -conf <path>作业的配置

hdfs pipes -jobconf <key=value>, <key=value>,...增加/覆盖作业的配置项

hdfs pipes -input <path>输入目录

hdfs pipes -output <path>输出目录

hdfs pipes -jar <jar file>Jar文件名

hdfs pipes -inputformat <class>InputFormat类

hdfs pipes -map <class>Java Map类

hdfs pipes -partitioner <class>Java Partitioner

hdfs pipes -reduce <class>Java Reduce类

hdfs pipes -writer <class>Java RecordWriter

hdfs pipes -program <executable>可执行程序的URI

hdfs pipes -reduces <num>reduce个数

收起

展开全文

hadoop linux
hdfs命令
2020-12-18 22:13:01

hdfs命令大全hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件...

hdfs命令大全

hdfs常用命令：

第一部分：hdfs文件系统命令

第一类：文件路径增删改查系列：

hdfs dfs -mkdir dir 创建文件夹

hdfs dfs -rmr dir 删除文件夹dir

hdfs dfs -ls 查看目录文件信息

hdfs dfs -lsr 递归查看文件目录信息

hdfs dfs -stat path 返回指定路径的信息

第二类：空间大小查看系列命令：

hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小

hdfs dfs -dus uri 递归显示目标文件的大小

hdfs dfs -du path/file显示目标文件file的大小

第三类:权限管理类：

hdfs dfs -chgrp group path 改变文件所属组

hdfs dfs -chgrp -R /dir 递归更改dir目录的所属组

hdfs dfs -chmod [-R] 权限 -path 改变文件的权限

hdfs dfs -chown owner[-group] /dir 改变文件的所有者

hdfs dfs -chown -R owner[-group] /dir 递归更改dir目录的所属用户

第四类：文件操作(上传下载复制)系列：

hdfs dfs -touchz a.txt 创建长度为0的空文件a.txt

hdfs dfs -rm file   删除文件file

hdfs dfs -put file dir 向dir文件上传file文件

hdfs dfs -put filea dir/fileb 向dir上传文件filea并且把filea改名为fileb

hdfs dfs -get file dir 下载file到本地文件夹

hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult 把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统

hdfs dfs -cat file   查看文件file

hdfs fs -text /dir/a.txt 如果文件是文本格式，相当于cat，如果文件是压缩格式，则会先解压，再查看

hdfs fs -tail /dir/a.txt查看dir目录下面a.txt文件的最后1000字节

hdfs dfs -copyFromLocal localsrc path 从本地复制文件

hdfs dfs -copyToLocal /hdfs/a.txt /local/a.txt 从hdfs拷贝到本地

hdfs dfs -copyFromLocal /dir/source /dir/target 把文件从原路径拷贝到目标路径

hdfs dfs -mv /path/a.txt /path/b.txt 把文件从a目录移动到b目录，可用于回收站恢复文件

第五类：判断系列：

hdfs fs -test -e /dir/a.txt 判断文件是否存在，正0负1

hdfs fs -test -d /dir 判断dir是否为目录，正0负1

hdfs fs -test -z /dir/a.txt 判断文件是否为空，正0负1

第六类：系统功能管理类：

hdfs dfs -expunge 清空回收站

hdfs dfsadmin -safemode enter 进入安全模式

hdfs dfsadmin -sfaemode leave 离开安全模式

hdfs dfsadmin -decommission datanodename 关闭某个datanode节点

hdfs dfsadmin -finalizeUpgrade 终结升级操作

hdfs dfsadmin -upgradeProcess status 查看升级操作状态

hdfs version 查看hdfs版本

hdfs daemonlog -getlevel 打印运行在的守护进程的日志级别

hdfs daemonlog -setlevel 设置运行在的守护进程的日志级别

hdfs dfs -setrep -w 副本数 -R path 设置文件的副本数

第二部分：运维命令

start-dfs.sh   启动namenode，datanode，启动文件系统

stop-dfs.sh   关闭文件系统

start-yarn.sh 启动resourcemanager,nodemanager

stop-yarn.sh 关闭resourcemanager,nodemanager

start-all.sh    启动hdfs，yarn

stop-all.sh    关闭hdfs，yarn

hdfs-daemon.sh start datanode 单独启动datanode

start-balancer.sh -t 10% 启动负载均衡，尽量不要在namenode节点使用

hdfs namenode -format 格式化文件系统

hdfs namenode -upgrade 分发新的hdfs版本之后，namenode应以upgrade选项启动

hdfs namenode -rollback 将namenode回滚到前一版本，这个选项要在停止集群，分发老的hdfs版本之后执行

hdfs namenode -finalize finalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode，分发老的hdfs版本后使用

hdfs namenode importCheckpoint 从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定

第三部分：mapreduce命令

hdfs jar file.jar 执行jar包程序

hdfs job -kill job_201005310937_0053 杀死正在执行的jar包程序

hdfs job -submit 提交作业

hdfs job -status   打印map和reduce完成百分比和所有计数器。

hdfs job -counter 打印计数器的值。

hdfs job -kill 杀死指定作业。

hdfs job -events 打印给定范围内jobtracker接收到的事件细节。

hdfs job -history [all]

hdfs job -history 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。

hdfs job -list [all] 显示所有作业。-list只显示将要完成的作业。

hdfs job -kill -task   杀死任务。被杀死的任务不会不利于失败尝试。

hdfs job -fail -task   使任务失败。被失败的任务会对失败尝试不利。

第四部分：hdfs系统检查工具fsck

hdfs fsck -move    移动受损文件到/lost+found

hdfs fsck -delete   删除受损文件。

hdfs fsck -openforwrite   打印出写打开的文件。

hdfs fsck -files     打印出正被检查的文件。

hdfs fsck -blocks     打印出块信息报告。

hdfs fsck -locations     打印出每个块的位置信息。

hdfs fsck -racks    打印出data-node的网络拓扑结构。

第五部分：运行pipies作业

hdfs pipes -conf 作业的配置

hdfs pipes -jobconf , , ... 增加/覆盖作业的配置项

hdfs pipes -input 输入目录

hdfs pipes -output 输出目录

hdfs pipes -jar Jar文件名

hdfs pipes -inputformat InputFormat类

hdfs pipes -map Java Map类

hdfs pipes -partitioner Java Partitioner

hdfs pipes -reduce Java Reduce类

hdfs pipes -writer Java RecordWriter

hdfs pipes -program 可执行程序的URI

hdfs pipes -reduces reduce个数

收起

展开全文
linux下HDFS Shell命令使用大全
千次阅读 2021-11-23 21:06:00

hadoop fs与hdfs dfs的命令的使用是相似的，本实验使用的是hdfs dfs命令，所有命令的操作都是在hadoop用户下进行。 rm删除目录和文件使用方法：hdfs dfs -rm [-f] [-r|-R] [-skip Trash] <paths> 表二rm...

收起

linux hadoop
HDFS操作命令
千次阅读 2021-05-16 14:09:04

总结：上传文件：put、copyFromLocal、moveFromLocal下载文件：get、copyToLocal、moveToLocal查看文件：text、cat、tail合并文件：getmerge命令详解HDFS命令基本格式：hadoop fs -cmd < args >表格：选项名称...

收起
HDFS常用命令
千次阅读 2021-12-02 00:13:45

HDFS常用命令 hdfs 命令最常用的就是： hdfs dfs -[linux的命令] 通过查看Hadoop的命令与 hdfs 的命令并不相同，且不存在包含关系。仅仅是 hadoop fs 与 hdfs dfs 可以等价。 hadoop 常用命令查看hadoop 命令所有...

收起

linux 大数据 hadoop
hdfs操作命令
2022-04-05 17:08:27

6.关闭HDFS 7.关闭hadoop集群 8.显示所有dataNode 9.将本地文件上传到 hdfs 上（原路径只能是一个文件） 10.和 copyFromLocal 区别是，put 原路径可以是文件夹等 12.查看/tmp/data目录 13.查看 a.txt，与 -...

收起

hadoop
HDFS命令与API
2022-05-26 14:09:55

HDFS命令与API

收起

hadoop 大数据 linux
HDFS操作及命令介绍
千次阅读 2021-10-02 18:03:20

HDFS常用命令 <path> … hdfs中一个或多个路径，如果未指定，默认为/user/<currentUser> <localsrc> … 本地文件系统的的一个或多个路径 <dst> hdfs中目标路径查看帮助命令：hdfs dfs -...

收起

hadoop
HDFS命令指南
2021-02-08 11:03:09

总览用户指令 classpath dfs fetchdt fsck getconf groups ... 管理命令 balancer cacheadmin crypto datanode dfsadmin haadmin journalnode mover namenode nfs3 ...

收起

hadoop
（超详细）HDFS常用命令及HDFS API基础编程
千次阅读 多人点赞 2021-10-18 23:38:21

HDFS常用命令及基础编程 JunLeon——go big or go home 前言： Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统，旨在运行在商品硬件上。它与现有的分布式文件系统有很多相似之处。但是与其他分布式文件...

收起

hadoop
Zookeeper,HDFS和yarn集群开启和关闭命令
千次阅读 2022-04-05 15:18:05

zookerper，hdfs,yran集群开启关闭命令

收起

hadoop
Hadoop的集群搭建及HDFS命令
2022-07-27 22:00:37

jps 关闭hadoop命令（分为关闭HDFS命令stop.dfs.sh和关闭YARN命令stop.yarn.sh）。 stop-all.sh 4) 查看Hadoop集群的基本信息进入网址https://master:50070查看HDFS监控页面。进入网址https://master:8088查看YARN...

收起

hadoop 大数据
HDFS启动停止常用命令
千次阅读 2018-11-12 15:17:08

HDFS命令 start-dfs.sh NameNode进程启动:hadoop-daemon.sh start namenode DataNode进程启动:hadoop-daemon.sh start datanode HA高可用环境中需要启动的进程: zookeeper： zkServer.sh start 启动 zkServer.sh ...

收起

Hadoop
熟悉常用的HDFS操作(附录HDFS常用命令)
千次阅读 2022-04-27 01:26:23

文章目录1. 学习目的2. 学习内容3. 实验一3.1 追加文本3.2 覆盖文本3.3 脚本完成4. 实验二4.1 下载文件脚本4.2 输出文件内容脚本4.3 显示单个文件信息脚本4.4 ...2、熟练使用HDFS操作常用的Shell命令； 3、熟悉HDFS操

收起

hadoop
【hdfs】11.HDFS在Linux下的命令
2021-06-22 19:59:41

hdfs dfs -ls　查看当前目录结构 hdfs dfs -ls /input　查看指定目录(/input)结构递归显示目录结构 hdfs dfs -ls -R　递归显示当前目录结构 hdfs dfs -ls -R /input　递归显示指定目录(/input)结构创建目录 hdfs ...

收起
hdfs命令大全
千次阅读 2018-09-28 19:29:00

hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs ...

收起
HDFS的基本命令
2021-08-05 10:29:59

HDFS分布式文件系统 Hadoop： HDFS（分布式文件系统）解决海量数据存储 MAPREDUCE (分布式运算编程框架)解决海量数据计算 yarn（作业调度和集群资源管理框架）解决资源****任务调度 Hadoop框架内容 HDFS模块： ...

收起
HDFS 命令
2019-03-01 16:29:51

概述 hdfs常用命令,调用方式 bin/hdfs command-name &lt;args&gt; dfs 在Hadoop支持的文件系统上运行文件系统命令。类似hadoop fs命令, 可查看Hadoop FS Shell 命令 dfsadmin ...

收起

Hadoop fsck
超详细linux基本命令学习以及hdfs命令详解
千次阅读 2020-06-01 22:24:07

前言：本人刚接触linux不久但是就是这不久的接触使我爱上了linux的脚本 linux脚本就几十个基本但是就是这几十个基本命令经过简单的组合后可以创 ...在学习hdfs的编程实践的同时我们先来回顾一下l

收起

linux 大数据 shell ssh centos
HDFS学习笔记（二）：HDFS 常用操作命令大全（Hadoop版本3.3.1）
2022-07-22 15:16:08

hdfs 常见命令汇总

收起

hadoop 学习
hdfs命令的使用
2020-10-22 23:08:46

ls命令格式： hdfs dfs -ls 文件路径作用：显示文件列表例如：hdfs dfs -ls / lsr命令格式：hdfs dfs -lsr URI 作用：在整个目录下递归执行ls, 与linux中ls -R类似例如：hdfs dfs -lsr / (ps：使用此命令会...

收起

hadoop
HDFS基本命令及上传文件API
2021-09-14 14:03:51

一、HDFS基本命令行操作： ...

收起

hadoop 大数据 java spark
HDFS常用的shell命令
千次阅读 2021-10-28 17:03:50

HDFS Shell命令使用 hadoop fs与hdfs dfs的命令的使用是相似的，本实验使用的是hdfs dfs命令，所有命令的操作都是在hadoop用户下进行。 1.1.1.1. mkdir：创建文件夹使用方法：hdfs fs -mkdir [-p] 接受路径指定的...

收起

hadoop 大数据
HDFS详解+命令操作演示
千次阅读 2021-11-19 00:33:11

HDFS概述 HDFS（Hadoop Distributed File System）是Apache Hadoop 项目的一个子项目。Hadoop非常实用存储大型数据，TB和PB级别的，其就是使用的HDFS作为存储系统。HDFS是分布式文件系统使用多台计算机存储文件，并...

收起

hadoop linux 大数据 java
简单的HDFS 命令
2022-03-17 21:17:43

hdfs dfs -ls 显示当前目录结构，-ls -R 递归显示目录结构 ll -a ll-h (KB) -put [localsrc] [dst] 从本地加载文件到HDFS -get [dst] [localsrc] 从HDFS导出文件到本地 -cp [src] [dst] 从源目录复制文件到目标...

收起

hadoop

hadoop之hdfs命令详解

目录

一、hadoop命令

1、archive

2、checknative

3、classpath

4、credential

5、distcp（比较常用）

6、fs

7、jar

8、key

9、trace

二、hdfs命令

1、classpath

2、dfs

3、fetchdt

4、fsck（重要）

5、getconf（重要）

6、groups

7、lsSnapshottableDir

8、jmxget

9、oev

10、oiv

11、snapshotDiff

12、balancer（重要）

13、cacheadmin

14、datanode

15、dfsadmim（重要）

16、haadmin（重要）

17、journalnode

18、mover

19、namenode

20、secondarynamenode

21、storagepolicies

22、zkfc

23、verifyMeta

24、computeMeta

25、recoverLease

HDFS命令

第一部分：hdfs文件系统命令

第一类：文件路径增删改查系列：

第二类：空间大小查看系列命令：

第三类:权限管理类：

第四类：文件操作（上传下载复制）系列：

第五类：判断系列：

第六类：系统功能管理类：

第二部分：运维命令

第三部分：mapreduce命令

第四部分：hdfs系统检查工具fsck

第五部分：运行pipies作业

hdfs命令

linux下HDFS Shell命令使用 大全

HDFS操作命令

HDFS常用命令

hdfs操作命令

HDFS命令与API

HDFS操作及命令介绍

HDFS命令指南

（超详细）HDFS常用命令及HDFS API基础编程

Zookeeper,HDFS和yarn集群开启和关闭命令

Hadoop的集群搭建及HDFS命令

HDFS启动停止常用命令

熟悉常用的HDFS操作(附录HDFS常用命令)

【hdfs】11.HDFS在Linux下的命令

hdfs命令大全

HDFS的基本命令

HDFS 命令

超详细linux基本命令学习以及hdfs命令详解

HDFS学习笔记（二）：HDFS 常用操作命令大全（Hadoop版本3.3.1）

hdfs命令的使用

HDFS基本命令及上传文件API

HDFS常用的shell命令

HDFS详解+命令操作演示

简单的HDFS 命令

关闭hdfs的命令

linux下HDFS Shell命令使用大全