-
2021-12-09 11:19:09
public class HdfsClient1 { private FileSystem fs; //初始化一个FileSystem @Before public void init() throws URISyntaxException, IOException, InterruptedException { //1:获取文件系统 URI uri = new URI("hdfs://myhadoop105:9820"); Configuration conf = new Configuration(); conf.set("dfs.replication","6"); String user = "atguigu"; fs = FileSystem.get(uri, conf, user); } @After public void closeResources() throws IOException { //3:关闭资源 fs.close(); } @Test public void testMkdir() throws IOException { fs.mkdirs(new Path("/hdfs/windowsOperator/operator01")); } @Test public void testPut() throws IOException { fs.copyFromLocalFile(false , false , new Path("G:/code/test/day08课堂记录.txt") , new Path("/hdfs/windowsOperator/operator01")); } @Test public void testGet() throws IOException { fs.copyToLocalFile(new Path("/hdfs/windowsOperator/operator01"),new Path("G:\\code\\test\\test")); } @Test public void testMove() throws IOException { fs.rename(new Path("/hdfs/windowsOperator/day08课堂记录.txt"),new Path("/hdfs/windowsOperator/day08")); } @Test public void testDelete() throws IOException { fs.delete(new Path("/hdfs/windowsOperator/operator01"),true); } @Test public void testIsFile() throws IOException { FileStatus[] fileStatuses = fs.listStatus(new Path("/")); for (FileStatus fileStatus : fileStatuses) { //判断是否是文件 if (fileStatus.isFile()){ System.out.println("-:"+fileStatus.getPath().getName()); }else { System.out.println("d:" + fileStatus.getPath().getName()); } } } @Test public void testListFiles() throws IOException { // f:要查看的目录路径 // r:是否递归查看 RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true); while (listFiles.hasNext()){ LocatedFileStatus fileStatus = listFiles.next(); System.out.println("-------------------------" + fileStatus.getPath() + "--------------------"); System.out.println(fileStatus.getPermission()); System.out.println(fileStatus.getOwner()); System.out.println(fileStatus.getGroup()); System.out.println(fileStatus.getLen()); System.out.println(fileStatus.getModificationTime()); System.out.println(fileStatus.getReplication()); System.out.println(fileStatus.getBlockLocations()); System.out.println(fileStatus.getPath().getName()); //快信息 BlockLocation[] blockLocations = fileStatus.getBlockLocations(); System.out.println(Arrays.toString(blockLocations)); } } }
更多相关内容 -
hadoop之hdfs命令详解
2022-01-17 11:27:35目录一、hadoop命令1、archive2、checknative3、classpath4、credential5、distcp(比较常用)6、fs7、jar8、key9、trace二、hdfs命令1、classpath2、dfs3、fetchdt4、fsck(重要)5、getconf(重要)6、groups7、...
hadoop之hdfs命令详解
本篇主要对hadoop命令和hdfs命令进行阐述,yarn命令会在之后的文章中体现
hadoop fs命令可以用于其他文件系统,不止是hdfs文件系统内,也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系统。而hdfs dfs命令只用于HDFS文件系统;一、hadoop命令
使用语法:hadoop [–config confdir] COMMAND #其中config用来覆盖默认的配置
##command #子命令 fs run a generic filesystem user client version print the version jar <jar> run a jar file checknative [-a|-h] check native hadoop and compression libraries availability distcp <srcurl> <desturl> copy file or directories recursively archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive classpath prints the class path needed to get the credential interact with credential providers Hadoop jar and the required libraries daemonlog get/set the log level for each daemon s3guard manage data on S3 trace view and modify Hadoop tracing settings
1、archive
创建一个hadoop压缩文件,详细的可以参考 http://hadoop.apache.org/docs/r2.7.0/hadoop-archives/HadoopArchives.html
使用格式:hadoop archive -archiveName NAME -p * #-p 可以同时指定多个路径
实例:[hive@mwpl003 ~]$ hadoop fs -touchz /tmp/test/a.txt [hive@mwpl003 ~]$ hadoop fs -ls /tmp/test/ Found 1 items -rw-r--r-- 3 hive supergroup 0 2019-09-18 13:50 /tmp/test/a.txt [hive@mwpl003 ~]$ hadoop archive -archiveName test.har -p /tmp/test/a.txt -r 3 /tmp/test 19/09/18 13:52:58 INFO mapreduce.JobSubmitter: number of splits:1 19/09/18 13:52:58 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1565571819971_6988 19/09/18 13:52:58 INFO impl.YarnClientImpl: Submitted application application_1565571819971_6988 19/09/18 13:52:58 INFO mapreduce.Job: The url to track the job: http://ip_address:8088/proxy/application_1565571819971_6988/ 19/09/18 13:52:58 INFO mapreduce.Job: Running job: job_1565571819971_6988 19/09/18 13:53:04 INFO mapreduce.Job: Job job_1565571819971_6988 running in uber mode : false 19/09/18 13:53:04 INFO mapreduce.Job: map 0% reduce 0% 19/09/18 13:53:08 INFO mapreduce.Job: map 100% reduce 0% 19/09/18 13:53:13 INFO mapreduce.Job: map 100% reduce 100% 19/09/18 13:53:13 INFO mapreduce.Job: Job job_1565571819971_6988 completed successfully 19/09/18 13:53:13 INFO mapreduce.Job: Counters: 49 File System Counters FILE: Number of bytes read=80 FILE: Number of bytes written=313823 FILE: Number of read operations=0 FILE: Number of large read operations=0 FILE: Number of write operations=0 HDFS: Number of bytes read=264 HDFS: Number of bytes written=69 HDFS: Number of read operations=14 HDFS: Number of large read operations=0 HDFS: Number of write operations=8 Job Counters Launched map tasks=1 Launched reduce tasks=1 Other local map tasks=1 Total time spent by all maps in occupied slots (ms)=7977 Total time spent by all reduces in occupied slots (ms)=12015 Total time spent by all map tasks (ms)=2659 Total time spent by all reduce tasks (ms)=2403 Total vcore-milliseconds taken by all map tasks=2659 Total vcore-milliseconds taken by all reduce tasks=2403 Total megabyte-milliseconds taken by all map tasks=8168448 Total megabyte-milliseconds taken by all reduce tasks=12303360 Map-Reduce Framework Map input records=1 Map output records=1 Map output bytes=59 Map output materialized bytes=76 Input split bytes=97 Combine input records=0 Combine output records=0 Reduce input groups=1 Reduce shuffle bytes=76 Reduce input records=1 Reduce output records=0 Spilled Records=2 Shuffled Maps =1 Failed Shuffles=0 Merged Map outputs=1 GC time elapsed (ms)=91 CPU time spent (ms)=2320 Physical memory (bytes) snapshot=1189855232 Virtual memory (bytes) snapshot=11135381504 Total committed heap usage (bytes)=3043491840 Shuffle Errors BAD_ID=0 CONNECTION=0 IO_ERROR=0 WRONG_LENGTH=0 WRONG_MAP=0 WRONG_REDUCE=0 File Input Format Counters Bytes Read=167 File Output Format Counters Bytes Written=0 [hive@mwpl003 ~]$ hadoop fs -ls /tmp/test/ Found 2 items -rw-r--r-- 3 hive supergroup 0 2019-09-18 13:50 /tmp/test/a.txt drwxr-xr-x - hive supergroup 0 2019-09-18 13:53 /tmp/test/test.har [hive@mwpl003 ~]$ hadoop fs -ls /tmp/test/test.har/ Found 4 items -rw-r--r-- 3 hive supergroup 0 2019-09-18 13:53 /tmp/test/test.har/_SUCCESS -rw-r--r-- 3 hive supergroup 55 2019-09-18 13:53 /tmp/test/test.har/_index -rw-r--r-- 3 hive supergroup 14 2019-09-18 13:53 /tmp/test/test.har/_masterindex -rw-r--r-- 3 hive supergroup 0 2019-09-18 13:53 /tmp/test/test.har/part-0 解压: hadoop distcp har:///tmp/test/test.har /tmp/test1 hdfs dfs -cp har:///tmp/test/test.har /tmp/test1
2、checknative
检查hadoop的原生代码,一般人用不到
使用语法:hadoop checknative [-a] [-h]
-a 检查所有的库
-h 显示帮助3、classpath
打印hadoop jar或者库的类路径
使用语法:hadoop classpath [–glob |–jar|-h |–help] 4、credential
管理凭证供应商的凭证、密码和secret(有关秘密信息)
使用语法:hadoop credential [options]5、distcp(比较常用)
distributed copy的缩写(望文生义),主要用于集群内/集群之间 复制文件。需要使用到mapreduce
使用语法:hadoop distcp [-option] hdfs://source hdfs://dest
详细见:http://hadoop.apache.org/docs/r2.7.0/hadoop-distcp/DistCp.html常用的几个选项:
-m <num_maps> #指定了拷贝数据时map的数目。请注意并不是map数越多吞吐量越大
-i #忽略失败
-log #记录日志到
-update #当目标集群上的文件不存在或文件不一致时,才会从源集群拷贝
-overwrite #覆盖目标集群上的文件
-filter #过滤不需要复制的文件
-delete #删除目标文件存在,但不存在source中的文件6、fs
与hdfs dfs同用
查看帮助:hadoop fs -help
详细查看:http://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
包括如下一些子命令:appendToFile, cat, checksum, chgrp, chmod, chown, copyFromLocal, copyToLocal, count, cp, createSnapshot, deleteSnapshot, df, du, expunge, find, get, getfacl, getfattr, getmerge, help, ls, mkdir, moveFromLocal, moveToLocal, mv, put, renameSnapshot, rm, rmdir, setfacl, setfattr, setrep, stat, tail, test, text, touchz
在这里我想各位都应该比较熟悉linux的基本操作命令了,所以这些命令用起来比较简单
6.1、appendToFile
appendToFile #追加一下本地文件到分布式文件系统 Usage: hadoop fs -appendToFile <localsrc> ... <dst> example: hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile hadoop fs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile #表示从标准输入输入数据到hadoopfile中,ctrl+d 结束输入
6.2、cat
cat #查看文件内容 Usage: hadoop fs -cat URI [URI ...] example: hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 hadoop fs -cat file:///file3 /user/hadoop/file4
6.3、checksum
checksum #返回被检查文件的格式 Usage: hadoop fs -checksum URI example: [hive@mwpl003 ~]$ hadoop fs -checksum /tmp/test/test.txt /tmp/test/test.txt MD5-of-0MD5-of-512CRC32C 000002000000000000000000fde199c1517b7b26b0565ff6b0f46acc
6.4、chgrp
chgrp #变更文件目录的所属组 Usage: hadoop fs -chgrp [-R] GROUP URI [URI ...]
6.5、chmod
chmod #修改文件或者目录的权限 Usage: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
6.6、chown
chown #修改目录或者文件的拥有者和所属组 Usage: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
6.7、copyFromLocal
copyFromLocal #从本地复制文件或者文件夹到hdfs,类似put命令 Usage: hadoop fs -copyFromLocal [-f] <localsrc> URI #其中-f选项会覆盖与原文件一样的目标路径文件 example: hadoop fs -copyFromLocal start-hadoop.sh /tmp
6.8、copyToLocal
copyToLocal #类似get命令,从hdfs获取文件到本地 Usage: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
6.9、count
count #计算 目录,文件,字节数 Usage: hadoop fs -count [-q] [-h] [-v] <paths>
6.10、cp
cp #复制源文件到目标文件 Usage: hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest> Example: hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
6.11、Snapshot相关
createSnapshot #创建快照 deleteSnapshot #删除快照 详细见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快照。快照的一些常见用例是数据备份,防止用户错误和灾难恢复。 在创建快照前,要设置一个目录为snapshottable(需要管理员权限),表示可以在该目录中创建快照 hdfs dfsadmin -allowSnapshot <path> #在path中启用快照 hdfs dfsadmin -disallowSnapshot <path> #在path中禁止快照 hdfs dfs -ls /foo/.snapshot #列出快照目录下的所有快照 hdfs dfs -createSnapshot <path> [<snapshotName>] #创建快照,快照名默认为时间戳格式 hdfs dfs -deleteSnapshot <path> <snapshotName> #删除快照 hdfs dfs -renameSnapshot <path> <oldName> <newName> #快照重命名 hdfs lsSnapshottableDir #获取快照目录
6.12、df
df #展示空间使用情况 Usage: hadoop fs -df [-h] URI [URI ...]
6.13、du
du #展示目录包含的文件的大小 Usage: hadoop fs -du [-s] [-h] URI [URI ...] Example: hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1
6.14、expunge
expunge #清空回收站(不要瞎用) Usage: hadoop fs -expunge
6.15、find
find #查找 Usage: hadoop fs -find <path> ... <expression> ... -name pattern -iname pattern #忽略大小写 -print -print0Always Example: hadoop fs -find / -name test -print
6.16、get
get #获取数据,类似于copyToLocal.但有crc校验 Usage: hadoop fs -get [-ignorecrc] [-crc] <src> <localdst> Example: hadoop fs -get /tmp/input/hadoop/*.xml /home/hadoop/testdir/
6.17、getfacl
getfacl #展示目录或者文件的ACL权限 Usage: hadoop fs -getfacl [-R] <path> [hive@mwpl003 ~]$ hadoop fs -getfacl -R /tmp/test # file: /tmp/test # owner: hive # group: supergroup getfacl: The ACL operation has been rejected. Support for ACLs has been disabled by setting dfs.namenode.acls.enabled to false.
6.18、getfattr
getfattr #显示文件或目录的扩展属性名称和值 Usage: hadoop fs -getfattr [-R] -n name | -d [-e en] <path> -n name和 -d是互斥的, -d表示获取所有属性。 -R表示循环获取; -e en 表示对获取的内容编码,en的可以取值是 “text”, “hex”, and “base64”. Examples: hadoop fs -getfattr -d /file hadoop fs -getfattr -R -n user.myAttr /dir
6.19、getmerge
getmerge #合并文件 Usage: hadoop fs -getmerge <src> <localdst> [addnl] hadoop fs -getmerge /src /opt/output.txt hadoop fs -getmerge /src/file1.txt /src/file2.txt /output.txt
6.20、ls
ls #罗列文件 Usage: hadoop fs -ls [-d] [-h] [-R] [-t] [-S] [-r] [-u] <args>
6.21、mkdir
mkdir #创建文件夹 Usage: hadoop fs -mkdir [-p] <paths> Example: hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir
6.22、moveFromLocal
moveFromLocal #把本地文件移动到hdfs上 Usage: hadoop fs -moveFromLocal <localsrc> <dst>
6.23、moveToLocal
moveToLocal #把hdfs文件移动到本地上 Usage: hadoop fs -moveToLocal [-crc] <src> <dst>
6.24、mv
mv #移动文件,但是可以一次移动多个 Usage: hadoop fs -mv URI [URI ...] <dest> Example: hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2 hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1
6.25、put
put #把文件复制到hdfs上 Usage: hadoop fs -put <localsrc> ... <dst> hadoop fs -put localfile hdfs://nn.example.com/hadoop/hadoopfile hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile #Reads the input from stdin.
6.26、rm
rm #删除文件 Usage: hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]
6.27、rmdir
rmdir #删除一个目录 Usage: hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]
6.28、setfacl
setfacl #设置ACL权限 Usage: hadoop fs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>] -b 删除除基本acl项之外的所有项。保留用户、组和其他用户 -k 删除所有的默认ACL权限 -R 递归操作 -m 修改ACL权限,保留旧的,添加新的 -x 删除指定ACL权限 --set 完全替换现有的ACL权限 Examples: hadoop fs -setfacl -m user:hadoop:rw- /file hadoop fs -setfacl -x user:hadoop /file hadoop fs -setfacl -b /file hadoop fs -setfacl -k /dir hadoop fs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file hadoop fs -setfacl -R -m user:hadoop:r-x /dir hadoop fs -setfacl -m default:user:hadoop:r-x /dir
6.29、setfattr
setfattr #设置额外的属性 Usage: hadoop fs -setfattr -n name [-v value] | -x name <path> -b 删除除基本acl项之外的所有项。保留用户、组和其他用户 -n 额外属性名 -v 额外属性值 -x name 删除额外属性 Examples: hadoop fs -setfattr -n user.myAttr -v myValue /file hadoop fs -setfattr -n user.noValue /file hadoop fs -setfattr -x user.myAttr /file
6.30、setrep
setrep #改变文件的复制因子(复本) Usage: hadoop fs -setrep [-R] [-w] <numReplicas> <path> Example: hadoop fs -setrep -w 3 /user/hadoop/dir1
6.31、stat
stat #获取文件的时间 Usage: hadoop fs -stat [format] <path> ... Example: hadoop fs -stat "%F %u:%g %b %y %n" /file 6.32、tail tail #展示文件到标准输出 Usage: hadoop fs -tail [-f] URI
6.33、test
test #测试 Usage: hadoop fs -test -[defsz] URI -d 判断是否是目录 -e 判断是否存在 -f 判断是否是文件 -s 判断目录是否为空 -z 判断文件是否为空 Example: hadoop fs -test -e filename
6.34、text
text #可以用来看压缩文件 Usage: hadoop fs -text <src>
6.35、touchz
touchz #创建一个空文件 Usage: hadoop fs -touchz URI [URI ...]
7、jar
jar #运行一个jar文件 Usage: hadoop jar <jar> [mainClass] args... Example: hadoop jar ./test/wordcount/wordcount.jar org.codetree.hadoop.v1.WordCount /test/chqz/input /test/chqz/output的各段的含义: (1) hadoop:${HADOOP_HOME}/bin下的shell脚本名。 (2) jar:hadoop脚本需要的command参数。 (3) ./test/wordcount/wordcount.jar:要执行的jar包在本地文件系统中的完整路径,参递给RunJar类。 (4) org.codetree.hadoop.v1.WordCount:main方法所在的类,参递给RunJar类。 (5) /test/chqz/input:传递给WordCount类,作为DFS文件系统的路径,指示输入数据来源。 (6) /test/chqz/output:传递给WordCount类,作为DFS文件系统的路径,指示输出数据路径。 hadoop推荐使用yarn jar替代hadoop jar 详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-site/YarnCommands.html#jar
8、key
key #用来管理秘钥,基本不用
9、trace
trace #查看和修改跟踪设置 详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/Tracing.html
二、hdfs命令
hdfs命令有如下选项:
User Commands: classpath, dfs, fetchdt, fsck, getconf, groups, lsSnapshottableDir, jmxget, oev, oiv, oiv_legacy, snapshotDiff, version, Administration Commands: balancer, cacheadmin, crypto, datanode, dfsadmin, haadmin, journalnode, mover, namenode, nfs3, portmap, secondarynamenode, storagepolicies, zkfc Debug Commands: verifyMeta, computeMeta, recoverLease
这里不全详解,详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html
1、classpath
classpath #获取jar包或者库的有关类路径 Usage: hdfs classpath [--glob |--jar <path> |-h |--help]
2、dfs
dfs #同上节hadoop fs 命令
3、fetchdt
fetchdt #从namenode节点获取代理令牌 Usage: hdfs fetchdt <opts> <token_file_path> 详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#fetchdt
4、fsck(重要)
hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks | -replicaDetails]]] [-includeSnapshots] [-storagepolicies] [-blockId <blk_Id>] -delete 删除损坏的文件 -files 打印正在检查的文件. -files -blocks 打印块报告 -files -blocks -locations Print out locations for every block. -files -blocks -racks 打印每个块的位置 -files -blocks -replicaDetails 打印出每个副本的详细信息. -includeSnapshots 如果给定路径指示SnapshotTable目录或其下有SnapshotTable目录,则包括快照数据 -list-corruptfileblocks 打印出所属丢失块和文件的列表. -move 将损坏的文件移动到/lost+found. -openforwrite 打印为写入而打开的文件. -storagepolicies 打印块的存储策略摘要. -blockId 打印出有关块的信息.
5、getconf(重要)
hdfs getconf -namenodes #获取namenode节点 hdfs getconf -secondaryNameNodes #获取secondaryNameNodes节点 hdfs getconf -backupNodes #获取群集中备份节点的列表 hdfs getconf -includeFile #获取定义可以加入群集的数据节点的包含文件路径 hdfs getconf -excludeFile #获取定义需要停用的数据节点的排除文件路径 hdfs getconf -nnRpcAddresses #获取namenode rpc地址 hdfs getconf -confKey [key] #从配置中获取特定密钥 ,可以用来返回hadoop的配置信息的具体值
6、groups
groups #返回用户的所属组 Usage: hdfs groups [username ...]
7、lsSnapshottableDir
lsSnapshottableDir #查看快照目录 Usage: hdfs lsSnapshottableDir [-help]
8、jmxget
jmxget #从特定服务获取jmx信息 Usage: hdfs jmxget [-localVM ConnectorURL | -port port | -server mbeanserver | -service service]
9、oev
oev #离线编辑查看器 Usage: hdfs oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE
10、oiv
oiv #离线映像编辑查看器 Usage: hdfs oiv [OPTIONS] -i INPUT_FILE
11、snapshotDiff
snapshotDiff #对比快照信息的不同 Usage: hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot> 详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html#Get_Snapshots_Difference_Report
12、balancer(重要)
balancer hdfs balancer [-threshold <threshold>] [-policy <policy>] [-exclude [-f <hosts-file> | <comma-separated list of hosts>]] [-include [-f <hosts-file> | <comma-separated list of hosts>]] [-source [-f <hosts-file> | <comma-separated list of hosts>]] [-blockpools <comma-separated list of blockpool ids>] [-idleiterations <idleiterations>] -policy <policy> datanode (default): 如果每个数据节点都是平衡的,则群集是平衡的. blockpool: 如果每个数据节点中的每个块池都是平衡的,则群集是平衡的. -threshold <threshold> 磁盘容量的百分比。这将覆盖默认阈值 -exclude -f <hosts-file> | <comma-separated list of hosts> 排除平衡器正在平衡的指定数据节点 -include -f <hosts-file> | <comma-separated list of hosts> 仅包含要由平衡器平衡的指定数据节点 -source -f <hosts-file> | <comma-separated list of hosts> 仅选取指定的数据节点作为源节点。 -blockpools <comma-separated list of blockpool ids> 平衡器将仅在此列表中包含的块池上运行. -idleiterations <iterations> 退出前的最大空闲迭代次数。这将覆盖默认的空闲操作(5次)
13、cacheadmin
cacheadmin Usage: hdfs cacheadmin -addDirective -path <path> -pool <pool-name> [-force] [-replication <replication>] [-ttl <time-to-live>] hdfs crypto -createZone -keyName <keyName> -path <path> hdfs crypto -listZones hdfs crypto -provisionTrash -path <path> hdfs crypto -help <command-name> 详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/CentralizedCacheManagement.html
14、datanode
datanode #运行datanode Usage: hdfs datanode [-regular | -rollback | -rollingupgrade rollback] -regular 正常启动(default). -rollback 将datanode回滚到以前的版本。这应该在停止datanode并分发旧的hadoop版本之后使用 -rollingupgrade rollback 回滚滚动升级操作
15、dfsadmim(重要)
hdfs dfsadmin [GENERIC_OPTIONS] [-report [-live] [-dead] [-decommissioning]] #报告基本的文件系统信息和统计信息,包括测量所有dns上的复制、校验和、快照等使用的原始空间。 [-safemode enter | leave | get | wait | forceExit] #安全模式维护命令 #安全模式在namenode启动时自动进入,当配置的最小块百分比满足最小复制条件时自动离开安全模式。如果namenode检测到任何异常, #则它将在安全模式下逗留,直到该问题得到解决。如果异常是故意操作的结果,那么管理员可以使用-safemode forceExit退出安全模式 [-saveNamespace] #将当前命名空间保存到存储目录并重置编辑日志。需要安全模式 [-rollEdits] #在活动的namenode上滚动编辑日志 [-restoreFailedStorage true |false |check] #此选项将打开或者关闭自动尝试还原失败的存储副本。如果失败的存储再次可用, #系统将在检查点期间尝试还原编辑和fsimage。“check”选项将返回当前设置 [-refreshNodes] #重新读取主机并排除文件,以更新允许连接到namenode的数据节点集,以及应解除或重新启用的数据节点集 [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>] [-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>] [-finalizeUpgrade] #完成hdfs的升级。datanodes删除它们以前版本的工作目录,然后namenode执行相同的操作。这就完成了升级过程 [-rollingUpgrade [<query> |<prepare> |<finalize>]] [-metasave filename] #将namenode的主数据结构保存到hadoop.log.dir属性指定的目录中的filename。如果文件名存在,它将被覆盖。 #该文件包含带namenode的datanodes心跳,等待复制的块,当前正在复制的块,等待删除的块 [-refreshServiceAcl] #重新加载服务级别授权策略文件 [-refreshUserToGroupsMappings] #刷新用户到组的映射 [-refreshSuperUserGroupsConfiguration] #刷新超级用户代理组映射 [-refreshCallQueue] #从配置重新加载调用队列 [-refresh <host:ipc_port> <key> [arg1..argn]] #触发由<host:ipc port>上的<key>指定的资源的运行时刷新。之后的所有其他参数都将发送到主机 [-reconfig <datanode |...> <host:ipc_port> <start |status>] #开始重新配置或获取正在进行的重新配置的状态。第二个参数指定节点类型。目前,只支持重新加载datanode的配置 [-printTopology] #打印由namenode报告的机架及其节点的树 [-refreshNamenodes datanodehost:port] #对于给定的数据节点,重新加载配置文件,停止为已删除的块池提供服务,并开始为新的块池提供服务 [-deleteBlockPool datanode-host:port blockpoolId [force]] #如果传递了force,则将删除给定数据节点上给定block pool id的块池目录及其内容,否则仅当该目录为空时才删除该目录。 #如果datanode仍在为块池提供服务,则该命令将失败 [-setBalancerBandwidth <bandwidth in bytes per second>] #更改HDFS块平衡期间每个数据节点使用的网络带宽。<bandwidth>是每个数据节点每秒将使用的最大字节数。 #此值重写dfs.balance.bandwidthpersec参数。注意:新值在datanode上不是持久的 [-getBalancerBandwidth <datanode_host:ipc_port>] #获取给定数据节点的网络带宽(字节/秒)。这是数据节点在hdfs块平衡期间使用的最大网络带宽 [-allowSnapshot <snapshotDir>] #设置快照目录 [-disallowSnapshot <snapshotDir>] #禁止快照 [-fetchImage <local directory>] #从namenode下载最新的fsimage并将其保存在指定的本地目录中 [-shutdownDatanode <datanode_host:ipc_port> [upgrade]] #提交给定数据节点的关闭请求 [-getDatanodeInfo <datanode_host:ipc_port>] #获取有关给定数据节点的信息 [-evictWriters <datanode_host:ipc_port>] #使datanode收回正在写入块的所有客户端。如果由于编写速度慢而挂起退役,这将非常有用 [-triggerBlockReport [-incremental] <datanode_host:ipc_port>] #触发给定数据节点的块报告。如果指定了“增量”,则为“增量”,否则为完整的块报告 [-help [cmd]]
16、haadmin(重要)
hdfs haadmin -checkHealth <serviceId> #检查给定namenode的运行状况 hdfs haadmin -failover [--forcefence] [--forceactive] <serviceId> <serviceId> #在两个namenodes之间启动故障转移 hdfs haadmin -getServiceState <serviceId> #确定给定的namenode是活动的还是备用的 hdfs haadmin -help <command> hdfs haadmin -transitionToActive <serviceId> [--forceactive] #将给定namenode的状态转换为active hdfs haadmin -transitionToStandby <serviceId> #将给定namenode的状态转换为standby 详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html
17、journalnode
1 2 journalnode #为通过QJM实现的高可用hdfs启动journalnode Usage: hdfs journalnode
18、mover
Usage: hdfs mover [-p <files/dirs> | -f <local file name>] -f 指定包含要迁移的hdfs文件/目录列表的本地文件 -p 指定要迁移的hdfs文件/目录的空间分隔列表 详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html
19、namenode
namenode hdfs namenode [-backup] | #开始备份节点 [-checkpoint] | #检查点开始节点 [-format [-clusterid cid ] [-force] [-nonInteractive] ] | #格式化指定的NameNode。 它启动NameNode, #对其进行格式化然后将其关闭。 如果名称目录存在,则为-force选项格式。 如果名称目录存在,则-nonInteractive选项将中止,除非指定了-force选项 [-upgrade [-clusterid cid] [-renameReserved<k-v pairs>] ] | #在分发新的Hadoop版本后,应该使用升级选项启动Namenode [-upgradeOnly [-clusterid cid] [-renameReserved<k-v pairs>] ] | #升级指定的NameNode然后关闭它 [-rollback] | #将NameNode回滚到以前的版本。 应在停止群集并分发旧Hadoop版本后使用此方法 [-rollingUpgrade <rollback |started> ] |#滚动升级 详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsRollingUpgrade.html [-finalize] | #不再支持。使用dfsadmin -finalizeUpgrade替换 [-importCheckpoint] | #从检查点目录加载image并将其保存到当前目录中。 从属性dfs.namenode.checkpoint.dir读取检查点目录 [-initializeSharedEdits] | #格式化新的共享编辑目录并复制足够的编辑日志段,以便备用NameNode可以启动 [-bootstrapStandby [-force] [-nonInteractive] [-skipSharedEditsCheck] ] | #允许通过从活动NameNode复制最新的命名空间快照来引导备用NameNode的存储目录 [-recover [-force] ] | #在损坏的文件系统上恢复丢失的元数据 [-metadataVersion ] #验证配置的目录是否存在,然后打印软件和映像的元数据版本
20、secondarynamenode
Usage: hdfs secondarynamenode [-checkpoint [force]] | [-format] | [-geteditsize] -checkpoint [force] 如果EditLog size> = fs.checkpoint.size,则检查SecondaryNameNode。 如果使用force,则检查点与EditLog大小无关 -format 启动期间格式化本地存储 -geteditsize 打印NameNode上未取消选中的事务的数量
21、storagepolicies
1 2 3 storagepolicies #列出所有存储策略 Usage: hdfs storagepolicies 详情见:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html
22、zkfc
Usage: hdfs zkfc [-formatZK [-force] [-nonInteractive]] -formatZK 格式化Zookeeper实例 -force: 如果znode存在,则格式化znode。 -nonInteractive:如果znode存在,则格式化znode中止,除非指定了-force选项 -h Display help
23、verifyMeta
verifyMeta #验证HDFS元数据和块文件。 如果指定了块文件,我们将验证元数据文件中的校验和是否与块文件匹配 Usage: hdfs debug verifyMeta -meta <metadata-file> [-block <block-file>] -block block-file 用于指定数据节点的本地文件系统上的块文件的绝对路径 -meta metadata-file 数据节点的本地文件系统上的元数据文件的绝对路径
24、computeMeta
computeMeta #从块文件计算HDFS元数据。 如果指定了块文件,我们将从块文件计算校验和,并将其保存到指定的输出元数据文件中 Usage: hdfs debug computeMeta -block <block-file> -out <output-metadata-file> -block block-file 数据节点的本地文件系统上的块文件的绝对路径 -out output-metadata-file 输出元数据文件的绝对路径,用于存储块文件的校验和计算结果。
25、recoverLease
recoverLease #恢复指定路径上的租约。 该路径必须驻留在HDFS文件系统上。 默认重试次数为1 Usage: hdfs debug recoverLease -path <path> [-retries <num-retries>] [-path path] 要恢复租约的HDFS路径 [-retries num-retries] 客户端重试调用recoverLease的次数。 默认重试次数为1
-
HDFS命令
2021-08-20 15:12:42hdfs常用命令: 第一部分:hdfs文件系统命令 第一类:文件路径增删改查系列: hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息...第一部分:hdfs文件系统命令
权限:
444 r–r--r–
600 drw-------
644 drw-r–r--
666 drw-rw-rw-
700 drwx------
744 drwxr–r--
755 drwxr-xr-x
777 drwxrwxrwx第一类:文件路径增删改查系列:
hdfs dfs -mkdir dir
创建文件夹hdfs dfs -rmr dir
删除文件夹dirhdfs dfs -ls
查看目录文件信息hdfs dfs -lsr
递归查看文件目录信息hdfs dfs -stat path
返回指定路径的信息第二类:空间大小查看系列命令:
hdfs dfs -du -h dir
按照适合阅读的形式人性化显示文件大小hdfs dfs -dus uri
递归显示目标文件的大小hdfs dfs -du path/file
显示目标文件file的大小第三类:权限管理类:
hdfs dfs -chgrp [group] path
改变文件所属组hdfs dfs -chgrp -R [group] /dir
递归更改dir目录的所属组hdfs dfs -chmod [-R] 权限 -path
改变文件的权限hdfs dfs -chown [owner] /dir
改变文件的所有者hdfs dfs -chown -R [owner] /dir
递归更改dir目录的所属用户第四类:文件操作(上传下载复制)系列:
hdfs dfs -touchz a.txt
创建长度为0的空文件a.txthdfs dfs -rm file
删除文件filehdfs dfs -put file dir
向dir文件上传file文件hdfs dfs -put filea dir/fileb
向dir上传文件filea并且把filea改名为filebhdfs dfs -get file dir
下载file到本地文件夹hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult
把hdfs里面的多个文件合并成一个文件,合并后文件位于本地系统hdfs dfs -cat file
查看文件file```hdfs fs -text /dir/a.txt
`如果文件是文本格式,相当于cat,如果文件是压缩格式,则会先解压,再查看
hdfs fs -tail /dir/a.txt
查看dir目录下面a.txt文件的最后1000字节hdfs dfs -copyFromLocal localsrc path
从本地复制文件hdfs dfs -copyToLocal /hdfs/a.txt /local/a.txt
从hdfs拷贝到本地hdfs dfs -copyFromLocal /dir/source /dir/target
把文件从原路径拷贝到目标路径hdfs dfs -mv /path/a.txt /path/b.txt
把文件从a目录移动到b目录,可用于回收站恢复文件第五类:判断系列:
hdfs fs -test -e /dir/a.txt
判断文件是否存在,正0负1hdfs fs -test -d /dir
判断dir是否为目录,正0负1hdfs fs -test -z /dir/a.txt
判断文件是否为空,正0负1第六类:系统功能管理类:
hdfs dfs -expunge
清空回收站hdfs dfsadmin -safemode enter
进入安全模式hdfs dfsadmin -sfaemode leave
离开安全模式hdfs dfsadmin -decommission datanodename
关闭某个datanode节点hdfs dfsadmin -finalizeUpgrade
终结升级操作hdfs dfsadmin -upgradeProcess status
查看升级操作状态hdfs version
查看hdfs版本hdfs daemonlog -getlevel <host:port> <name>
打印运行在host:port的守护进程的日志级别hdfs daemonlog -setlevel <host:port> <name> <level>
设置运行在host:port的守护进程的日志级别hdfs dfs -setrep -w 副本数 -R path
设置文件的副本数第二部分:运维命令
start-dfs.sh
启动namenode,datanode,启动文件系统```stop-dfs.sh`` ` 关闭文件系统
start-yarn.sh
启动resourcemanager,nodemanagerstop-yarn.sh
关闭resourcemanager,nodemanagerstart-all.sh
启动hdfs,yarnstop-all.sh
关闭hdfs,yarnhdfs-daemon.sh start datanode
单独启动datanode```start-balancer.sh -t 10%` ``启动负载均衡,尽量不要在namenode节点使用
hdfs namenode -format
格式化文件系统hdfs namenode -upgrade
分发新的hdfs版本之后,namenode应以upgrade选项启动```hdfs namenode -rollback` `` 将namenode回滚到前一版本,这个选项要在停止集群,分发老的hdfs版本之后执行
hdfs namenode -finalize
finalize会删除文件系统的前一状态。最近的升级会被持久化,rollback选项将再不可用,升级终结操作之后,它会停掉namenode,分发老的hdfs版本后使用hdfs namenode importCheckpoint
从检查点目录装载镜像并保存到当前检查点目录,检查点目录由fs.checkpoint.dir指定第三部分:mapreduce命令
hdfs jar file.jar
执行jar包程序hdfs job -kill job_201005310937_0053
杀死正在执行的jar包程序hdfs job -submit <job-file>
提交作业hdfs job -status <job-id>
打印map和reduce完成百分比和所有计数器。hdfs job -counter <job-id> <group-name> <counter-name>
打印计数器的值。hdfs job -kill <job-id>
杀死指定作业。hdfs job -events <job-id> <from-event-#> <#-of-events>
打印给定范围内jobtracker接收到的事件细节。hdfs job -history [all] <jobOutputDir>
hdfs job -history <jobOutputDir>
打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。hdfs job -list [all]
显示所有作业。-list只显示将要完成的作业。hdfs job -kill -task <task-id>
杀死任务。被杀死的任务不会不利于失败尝试。hdfs job -fail -task <task-id>
使任务失败。被失败的任务会对失败尝试不利。第四部分:hdfs系统检查工具fsck
hdfs fsck <path> -move
移动受损文件到/lost+found```hdfs fsck
-delete ` 删除受损文件。
hdfs fsck <path> -openforwrite
打印出写打开的文件。```hdfs fsck
-files ` 打印出正被检查的文件。
hdfs fsck <path> -blocks
打印出块信息报告。hdfs fsck <path> -locations
打印出每个块的位置信息。hdfs fsck <path> -racks
打印出data-node的网络拓扑结构。第五部分:运行pipies作业
hdfs pipes -conf <path>
作业的配置hdfs pipes -jobconf <key=value>, <key=value>,...
增加/覆盖作业的配置项hdfs pipes -input <path>
输入目录hdfs pipes -output <path>
输出目录hdfs pipes -jar <jar file>
Jar文件名hdfs pipes -inputformat <class>
InputFormat类hdfs pipes -map <class>
Java Map类hdfs pipes -partitioner <class>
Java Partitionerhdfs pipes -reduce <class>
Java Reduce类hdfs pipes -writer <class>
Java RecordWriterhdfs pipes -program <executable>
可执行程序的URIhdfs pipes -reduces <num>
reduce个数 -
hdfs命令
2020-12-18 22:13:01hdfs命令大全hdfs常用命令:第一部分:hdfs文件系统命令第一类:文件路径增删改查系列:hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件...hdfs命令大全
hdfs常用命令:
第一部分:hdfs文件系统命令
第一类:文件路径增删改查系列:
hdfs dfs -mkdir dir 创建文件夹
hdfs dfs -rmr dir 删除文件夹dir
hdfs dfs -ls 查看目录文件信息
hdfs dfs -lsr 递归查看文件目录信息
hdfs dfs -stat path 返回指定路径的信息
第二类:空间大小查看系列命令:
hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小
hdfs dfs -dus uri 递归显示目标文件的大小
hdfs dfs -du path/file显示目标文件file的大小
第三类:权限管理类:
hdfs dfs -chgrp group path 改变文件所属组
hdfs dfs -chgrp -R /dir 递归更改dir目录的所属组
hdfs dfs -chmod [-R] 权限 -path 改变文件的权限
hdfs dfs -chown owner[-group] /dir 改变文件的所有者
hdfs dfs -chown -R owner[-group] /dir 递归更改dir目录的所属用户
第四类:文件操作(上传下载复制)系列:
hdfs dfs -touchz a.txt 创建长度为0的空文件a.txt
hdfs dfs -rm file 删除文件file
hdfs dfs -put file dir 向dir文件上传file文件
hdfs dfs -put filea dir/fileb 向dir上传文件filea并且把filea改名为fileb
hdfs dfs -get file dir 下载file到本地文件夹
hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult 把hdfs里面的多个文件合并成一个文件,合并后文件位于本地系统
hdfs dfs -cat file 查看文件file
hdfs fs -text /dir/a.txt 如果文件是文本格式,相当于cat,如果文件是压缩格式,则会先解压,再查看
hdfs fs -tail /dir/a.txt查看dir目录下面a.txt文件的最后1000字节
hdfs dfs -copyFromLocal localsrc path 从本地复制文件
hdfs dfs -copyToLocal /hdfs/a.txt /local/a.txt 从hdfs拷贝到本地
hdfs dfs -copyFromLocal /dir/source /dir/target 把文件从原路径拷贝到目标路径
hdfs dfs -mv /path/a.txt /path/b.txt 把文件从a目录移动到b目录,可用于回收站恢复文件
第五类:判断系列:
hdfs fs -test -e /dir/a.txt 判断文件是否存在,正0负1
hdfs fs -test -d /dir 判断dir是否为目录,正0负1
hdfs fs -test -z /dir/a.txt 判断文件是否为空,正0负1
第六类:系统功能管理类:
hdfs dfs -expunge 清空回收站
hdfs dfsadmin -safemode enter 进入安全模式
hdfs dfsadmin -sfaemode leave 离开安全模式
hdfs dfsadmin -decommission datanodename 关闭某个datanode节点
hdfs dfsadmin -finalizeUpgrade 终结升级操作
hdfs dfsadmin -upgradeProcess status 查看升级操作状态
hdfs version 查看hdfs版本
hdfs daemonlog -getlevel 打印运行在的守护进程的日志级别
hdfs daemonlog -setlevel 设置运行在的守护进程的日志级别
hdfs dfs -setrep -w 副本数 -R path 设置文件的副本数
第二部分:运维命令
start-dfs.sh 启动namenode,datanode,启动文件系统
stop-dfs.sh 关闭文件系统
start-yarn.sh 启动resourcemanager,nodemanager
stop-yarn.sh 关闭resourcemanager,nodemanager
start-all.sh 启动hdfs,yarn
stop-all.sh 关闭hdfs,yarn
hdfs-daemon.sh start datanode 单独启动datanode
start-balancer.sh -t 10% 启动负载均衡,尽量不要在namenode节点使用
hdfs namenode -format 格式化文件系统
hdfs namenode -upgrade 分发新的hdfs版本之后,namenode应以upgrade选项启动
hdfs namenode -rollback 将namenode回滚到前一版本,这个选项要在停止集群,分发老的hdfs版本之后执行
hdfs namenode -finalize finalize会删除文件系统的前一状态。最近的升级会被持久化,rollback选项将再不可用,升级终结操作之后,它会停掉namenode,分发老的hdfs版本后使用
hdfs namenode importCheckpoint 从检查点目录装载镜像并保存到当前检查点目录,检查点目录由fs.checkpoint.dir指定
第三部分:mapreduce命令
hdfs jar file.jar 执行jar包程序
hdfs job -kill job_201005310937_0053 杀死正在执行的jar包程序
hdfs job -submit 提交作业
hdfs job -status 打印map和reduce完成百分比和所有计数器。
hdfs job -counter 打印计数器的值。
hdfs job -kill 杀死指定作业。
hdfs job -events 打印给定范围内jobtracker接收到的事件细节。
hdfs job -history [all]
hdfs job -history 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。
hdfs job -list [all] 显示所有作业。-list只显示将要完成的作业。
hdfs job -kill -task 杀死任务。被杀死的任务不会不利于失败尝试。
hdfs job -fail -task 使任务失败。被失败的任务会对失败尝试不利。
第四部分:hdfs系统检查工具fsck
hdfs fsck -move 移动受损文件到/lost+found
hdfs fsck -delete 删除受损文件。
hdfs fsck -openforwrite 打印出写打开的文件。
hdfs fsck -files 打印出正被检查的文件。
hdfs fsck -blocks 打印出块信息报告。
hdfs fsck -locations 打印出每个块的位置信息。
hdfs fsck -racks 打印出data-node的网络拓扑结构。
第五部分:运行pipies作业
hdfs pipes -conf 作业的配置
hdfs pipes -jobconf , , ... 增加/覆盖作业的配置项
hdfs pipes -input 输入目录
hdfs pipes -output 输出目录
hdfs pipes -jar Jar文件名
hdfs pipes -inputformat InputFormat类
hdfs pipes -map Java Map类
hdfs pipes -partitioner Java Partitioner
hdfs pipes -reduce Java Reduce类
hdfs pipes -writer Java RecordWriter
hdfs pipes -program 可执行程序的URI
hdfs pipes -reduces reduce个数
-
linux下HDFS Shell命令使用 大全
2021-11-23 21:06:00hadoop fs与hdfs dfs的命令的使用是相似的,本实验使用的是hdfs dfs命令,所有命令的操作都是在hadoop用户下进行。 rm删除目录和文件 使用方法:hdfs dfs -rm [-f] [-r|-R] [-skip Trash] <paths> 表二rm... -
HDFS操作命令
2021-05-16 14:09:04总结:上传文件:put、copyFromLocal、moveFromLocal下载文件:get、copyToLocal、moveToLocal查看文件:text、cat、tail合并文件:getmerge命令详解HDFS命令基本格式:hadoop fs -cmd < args >表格:选项名称... -
HDFS常用命令
2021-12-02 00:13:45HDFS常用命令 hdfs 命令最常用的就是: hdfs dfs -[linux的命令] 通过查看Hadoop的命令 与 hdfs 的命令并不相同,且不存在包含关系。仅仅是 hadoop fs 与 hdfs dfs 可以等价。 hadoop 常用命令 查看hadoop 命令所有... -
hdfs操作命令
2022-04-05 17:08:276.关闭HDFS 7.关闭hadoop集群 8.显示所有dataNode 9.将本地文件上传到 hdfs 上(原路径只能是一个文件) 10.和 copyFromLocal 区别是,put 原路径可以是文件夹等 12.查看/tmp/data目录 13.查看 a.txt,与 -... -
HDFS命令与API
2022-05-26 14:09:55HDFS命令与API -
HDFS操作及命令介绍
2021-10-02 18:03:20HDFS常用命令 <path> … hdfs中一个或多个路径,如果未指定,默认为/user/<currentUser> <localsrc> … 本地文件系统的的一个或多个路径 <dst> hdfs中目标路径 查看帮助 命令:hdfs dfs -... -
HDFS命令指南
2021-02-08 11:03:09总览 用户指令 classpath dfs fetchdt fsck getconf groups ... 管理命令 balancer cacheadmin crypto datanode dfsadmin haadmin journalnode mover namenode nfs3 ... -
(超详细)HDFS常用命令及HDFS API基础编程
2021-10-18 23:38:21HDFS常用命令及基础编程 JunLeon——go big or go home 前言: Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统,旨在运行在商品硬件上。它与现有的分布式文件系统有很多相似之处。但是与其他分布式文件... -
Zookeeper,HDFS和yarn集群开启和关闭命令
2022-04-05 15:18:05zookerper,hdfs,yran集群开启关闭命令 -
Hadoop的集群搭建及HDFS命令
2022-07-27 22:00:37jps 关闭hadoop命令(分为关闭HDFS命令stop.dfs.sh和关闭YARN命令stop.yarn.sh)。 stop-all.sh 4) 查看Hadoop集群的基本信息 进入网址https://master:50070查看HDFS监控页面。 进入网址https://master:8088查看YARN... -
HDFS启动停止常用命令
2018-11-12 15:17:08HDFS命令 start-dfs.sh NameNode进程启动:hadoop-daemon.sh start namenode DataNode进程启动:hadoop-daemon.sh start datanode HA高可用环境中需要启动的进程: zookeeper: zkServer.sh start 启动 zkServer.sh ... -
熟悉常用的HDFS操作(附录HDFS常用命令)
2022-04-27 01:26:23文章目录1. 学习目的2. 学习内容3. 实验一3.1 追加文本3.2 覆盖文本3.3 脚本完成4. 实验二4.1 下载文件脚本4.2 输出文件内容脚本4.3 显示单个文件信息脚本4.4 ...2、熟练使用HDFS操作常用的Shell命令; 3、熟悉HDFS操 -
【hdfs】11.HDFS在Linux下的命令
2021-06-22 19:59:41hdfs dfs -ls 查看当前目录结构 hdfs dfs -ls /input 查看指定目录(/input)结构 递归显示目录结构 hdfs dfs -ls -R 递归显示当前目录结构 hdfs dfs -ls -R /input 递归显示指定目录(/input)结构 创建目录 hdfs ... -
hdfs命令大全
2018-09-28 19:29:00hdfs常用命令:第一部分:hdfs文件系统命令第一类:文件路径增删改查系列:hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs ... -
HDFS的基本命令
2021-08-05 10:29:59HDFS分布式文件系统 Hadoop: HDFS(分布式文件系统)解决海量数据存储 MAPREDUCE (分布式运算编程框架)解决海量数据计算 yarn(作业调度和集群资源管理框架)解决资源****任务调度 Hadoop框架内容 HDFS模块: ... -
HDFS 命令
2019-03-01 16:29:51概述 hdfs常用命令,调用方式 bin/hdfs command-name &lt;args&gt; dfs 在Hadoop支持的文件系统上运行文件系统命令。类似hadoop fs命令, 可查看Hadoop FS Shell 命令 dfsadmin ... -
超详细linux基本命令学习以及hdfs命令详解
2020-06-01 22:24:07前言: 本人刚接触linux不久但是就是这不久的接触使我爱上了linux的脚本 linux脚本就几十个基本但是就是这几十个基本命令经过简单的组合后可以 创 ...在学习hdfs的编程实践的同时我们先来回顾一下l -
HDFS学习笔记(二):HDFS 常用操作命令大全(Hadoop版本3.3.1)
2022-07-22 15:16:08hdfs 常见命令汇总 -
hdfs命令的使用
2020-10-22 23:08:46ls命令 格式: hdfs dfs -ls 文件路径 作用:显示文件列表 例如:hdfs dfs -ls / lsr命令 格式:hdfs dfs -lsr URI 作用:在整个目录下递归执行ls, 与linux中ls -R类似 例如:hdfs dfs -lsr / (ps:使用此命令会... -
HDFS基本命令及上传文件API
2021-09-14 14:03:51一、HDFS基本命令行操作: ... -
HDFS常用的shell命令
2021-10-28 17:03:50HDFS Shell命令使用 hadoop fs与hdfs dfs的命令的使用是相似的,本实验使用的是hdfs dfs命令,所有命令的操作都是在hadoop用户下进行。 1.1.1.1. mkdir:创建文件夹 使用方法:hdfs fs -mkdir [-p] 接受路径指定的... -
HDFS详解+命令操作演示
2021-11-19 00:33:11HDFS概述 HDFS(Hadoop Distributed File System)是Apache Hadoop 项目的一个子项目。Hadoop非常实用存储大型数据,TB和PB级别的,其就是使用的HDFS作为存储系统。HDFS是分布式文件系统使用多台计算机存储文件,并... -
简单的HDFS 命令
2022-03-17 21:17:43hdfs dfs -ls 显示当前目录结构,-ls -R 递归显示目录结构 ll -a ll-h (KB) -put [localsrc] [dst] 从本地加载文件到HDFS -get [dst] [localsrc] 从HDFS导出文件到本地 -cp [src] [dst] 从源目录复制文件到目标...