精华内容
参与话题
问答
  • hadoop命令

    千次阅读 2018-10-09 11:45:20
    hadoop fs 访问hadoop的HDFS 后可加ls、mkdir等等 hadoop fs -ls /aaa 查看aaa目录里有什么文件(查看指定路径的当前目录结构) hadoop fs -lsr /aaa 查看aaa目录里包括子目录的所有文件(递归查看指定路径的目录...

    hadoop fs 访问hadoop的HDFS 后可加ls、mkdir等等

    hadoop fs -ls /aaa 查看aaa目录里有什么文件(查看指定路径的当前目录结构)

    hadoop fs -lsr /aaa 查看aaa目录里包括子目录的所有文件(递归查看指定路径的目录结构)

    hadoop fs -du /aaa 统计aaa目录里文件的大小(hadoop fs -du -h /aaa 更好用,可以显示多少兆)

    hadoop fs -dus /aaa 统计aaa这个文件的大小

    -cat 查看

    -mv 移动

    -cp 复制

    -rm(-rmr) 删除(递归删除)

    -put <linux上的文件> <hdfs路径> 上传文件

    -get <hdfs文件><linux目录> 下载文件

    -copyFormLocal <linux上的文件> <hdfs路径> 从本地复制

    -moveFormLocal <linux上的文件> <hdfs路径> 从本地移动

    -getmerge <源路径><linux路径> 合并到本地

    (hadoop fs -getmerge /sanbox/data/ /root/mergel.log 将hdfs的/sanbox/data/目录下的所有文件合并到本地的mergel.log文件中)

     

    不常用:

    -touchz 创建空白文件

    -setrep 设置副本数量

    -stat 显示文件统计信息

    -tail 显示文件尾部信息

    -chmod 修改权限

    展开全文
  • hadoop 命令

    2018-03-23 09:56:11
    hadoop hdfs常用命令 hadoop常用命令hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 (如果没有写路径,我的默认是访问/user/hadoophadoop fs –lsr 循环列出目录、子...

    hadoop hdfs常用命令

    hadoop常用命令:
    hadoop fs
    查看Hadoop HDFS支持的所有命令

    hadoop fs –ls
    列出目录及文件信息
    (如果没有写路径,我的默认是访问/user/hadoop)

    hadoop fs –lsr
    循环列出目录、子目录及文件信息
    (hadoop fs -ls -R)

    hadoop fs –put test.txt /user/sunlightcs
    将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下

    hadoop fs –get /user/sunlightcs/test.txt .
    将HDFS中的test.txt复制到本地文件系统中,与-put命令相反

    hadoop fs –cat /user/sunlightcs/test.txt
    查看HDFS文件系统里test.txt的内容

    hadoop fs –tail /user/sunlightcs/test.txt
    查看最后1KB的内容

    hadoop fs –rm /user/sunlightcs/test.txt
    从HDFS文件系统删除test.txt文件,rm命令也可以删除空目录

    hadoop fs –rmr /user/sunlightcs
    删除/user/sunlightcs目录以及所有子目录

    hadoop fs –copyFromLocal test.txt /user/sunlightcs/test.txt
    从本地文件系统复制文件到HDFS文件系统,等同于put命令

    hadoop fs –copyToLocal /user/sunlightcs/test.txt test.txt
    从HDFS文件系统复制文件到本地文件系统,等同于get命令

    hadoop fs –chgrp [-R] /user/sunlightcs
    修改HDFS系统中/user/sunlightcs目录所属群组,选项-R递归执行,跟linux命令一样

    hadoop fs –chown [-R] /user/sunlightcs
    修改HDFS系统中/user/sunlightcs目录拥有者,选项-R递归执行

    hadoop fs –chmod [-R] MODE /user/sunlightcs
    修改HDFS系统中/user/sunlightcs目录权限,MODE可以为相应权限的3位数或+/-{rwx},选项-R递归执行

    hadoop fs –count [-q] PATH
    查看PATH目录下,子目录数、文件数、文件大小、文件名/目录名

    hadoop fs –cp SRC [SRC …] DST
    将文件从SRC复制到DST,如果指定了多个SRC,则DST必须为一个目录

    hadoop fs –du PATH
    显示该目录中每个文件或目录的大小

    hadoop fs –dus PATH
    类似于du,PATH为目录时,会显示该目录的总大小

    hadoop fs –expunge
    清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除

    hadoop fs –getmerge SRC [SRC …] LOCALDST [addnl]
    获取由SRC指定的所有文件,将它们合并为单个文件,并写入本地文件系统中的LOCALDST,选项addnl将在每个文件的末尾处加上一个换行符

    hadoop fs –touchz PATH
    创建长度为0的空文件

    hadoop fs –test –[ezd] PATH
    对PATH进行如下类型的检查:
    -e PATH是否存在,如果PATH存在,返回0,否则返回1
    -z 文件是否为空,如果长度为0,返回0,否则返回1
    -d 是否为目录,如果PATH为目录,返回0,否则返回1

    hadoop fs –text PATH
    显示文件的内容,当文件为文本文件时,等同于cat,文件为压缩格式(gzip以及hadoop的二进制序列文件格式)时,会先解压缩

    hadoop fs –help ls
    查看某个[ls]命令的帮助文档
    参考:
    hadoop hdfs常用命令

    展开全文
  • Hadoop命令

    2013-12-10 14:11:50
    学习Hadoop的过程中,你可能经常遇到Hadoop命令方面的问题,本节就向大家介绍一些常用的Hadoop命令,欢迎大家一起来学习。 新浪博客地址HADOOP少校的博客 http://blog.sina.com.cn/sonyandnokia 欢迎大家和我...

    学习Hadoop的过程中,你可能经常遇到Hadoop命令方面的问题,本节就向大家介绍一些常用的Hadoop命令,欢迎大家一起来学习。

    新浪博客地址HADOOP少校的博客 http://blog.sina.com.cn/sonyandnokia

    欢迎大家和我交流。



    Hadoop命令手册

    所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
    用法:hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS]
    Hadoop有一个选项解析框架用于解析一般的选项和运行类。

    命令选项描述
    --configconfdir覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。
    GENERIC_OPTIONS多个命令都支持的通用选项。
    COMMAND
    命令选项S各种各样的命令和它们的选项会在下面提到。这些命令被分为用户命令管理命令两组。

    Hadoop命令常规选项

    下面的选项被dfsadmin,fs,fsck和job支持。应用程序要实现Tool来支持常规选项。
    GENERIC_OPTION描述
    -conf指定应用程序的配置文件
    -D为指定property指定值value。
    -fsnamenode:port>指定namenode。
    -jtjobtracker:port>指定jobtracker。只适用于job。
    -files<逗号分隔的文件列表>指定要拷贝到mapreduce集群的文件的逗号分隔的列表。只适用于job。
    -libjars<逗号分隔的jar列表>指定要包含到classpath中的jar文件的逗号分隔的列表。只适用于job。
    -archives<逗号分隔的archive列表>指定要被解压到计算节点上的档案文件的逗号分割的列表。只适用于job。

    用户命令

    hadoop集群用户的常用命令。
    archive
    创建一个hadoop档案文件。参考HadoopArchives.
    用法:hadooparchive-archiveNameNAME*

    命令选项描述
    -archiveNameNAME要创建的档案的名字。
    src文件系统的路径名,和通常含正则表达的一样。
    dest保存档案文件的目标目录。

    distcp
    Hadoop命令distcp用于递归地拷贝文件或目录。参考DistCp指南以获取等多信息。
    用法:hadoopdistcp

    命令选项描述
    srcurl源Url
    desturl目标Url

    fs

    用法:hadoopfs[GENERIC_OPTIONS][COMMAND_OPTIONS]
    运行一个常规的文件系统客户端
    各种命令选项可以参考HDFSShell指南。

    fsck
    Hadoop命令主要用来运行HDFS文件系统检查工具。参考Fsck了解更多。
    用法:hadoopfsck[GENERIC_OPTIONS][-move|-delete|-openforwrite][-files[-blocks[-locations|-racks]]]

    命令选项描述
    检查的起始目录。
    -move移动受损文件到/lost+found
    -delete删除受损文件。
    -openforwrite打印出写打开的文件。
    -files打印出正被检查的文件。
    -blocks打印出块信息报告。
    -locations打印出每个块的位置信息。
    -racks打印出data-node的网络拓扑结构。

    jar

    Hadoop命令主要用来运行jar文件。用户可以把他们的MapReduce代码捆绑到jar文件中,使用这个命令执行。
    用法:hadoopjar[mainClass]args...
    streaming作业是通过这个命令执行的。参考Streamingexamples中的例子。
    Wordcount例子也是通过jar命令运行的。参考Wordcountexample。

    job

    用于和MapReduce作业交互和命令。
    用法:hadoopjob[GENERIC_OPTIONS][-submit]|[-status]|[-counter]|[-kill]|[-events

    展开全文
  • Hadoop3.2.0 Hadoop 命令指南

    千次阅读 2019-02-18 22:27:13
    Hadoop命令指南 概览 Shell 选项 Generic 选项 User Commands 用户命令 archive checknative classpath conftest credential distch distcp dtutil fs gridmix jar jnipath ...

    Hadoop命令指南

    概览

    所有Hadoop命令和子项目都遵循相同的基本结构:

    用法:shellcommand [SHELL_OPTIONS] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

    领域 描述
    shellcommand 正在调用项目的命令。例如,Hadoop常用的是hadoop,HDFS使用hdfs,而YARN使用yarn。
    SHELL_OPTIONS shell在执行Java之前处理的选项。
    COMMAND 要采取的行动。
    GENERIC_OPTIONS 多个命令支持的通用选项集。
    COMMAND_OPTIONS 本文档中介绍了Hadoop公共子项目的各种命令及其选项。HDFS和YARN包含在其他文档中。

    Shell选项

    所有shell命令都将接受一组通用选项。对于某些命令,将忽略这些选项。例如,在仅在单个主机上执行的命令上传递--- hostnames将被忽略。

    SHELL_OPTION 描述
    --buildpaths 启用jar的开发人员版本。
    --config confdir 覆盖默认的Configuration目录。默认值是$HADOOP_HOME/etc/hadoop.
    --daemon mode 如果该命令支持守护进程(例如,hdfs namenode),则以适当的模式执行。支持的模式开始启动进程守护进程方式,停止,停止的过程中,状态确定过程的工作状态。status将返回   LSB-compliant 结果代码。如果未提供任何选项,则支持守护程序的命令将在前台运行。对于不支持守护程序的命令,将忽略此选项。
    --debug 启用shell级配置调试信息
    - help Shell脚本使用信息。
    --hostnames 使用--workers时,使用以空格分隔的主机名列表覆盖workers文件,以执行多主机子命令。如果未使用--workers,则忽略此选项。
    --hosts 使用--workers时,使用另一个文件覆盖workers文件,该文件包含要在其中执行多主机子命令的主机名列表。如果未使用--workers,则忽略此选项。
    --lllvelvel loglevel 覆盖日志级别。有效的日志级别为FATAL,ERROR,WARN,INFO,DEBUG和TRACE。默认为INFO。
    --workers 如果可能,请在workers文件中的所有主机上执行此命令。

    通用选项

    许多子命令都支持一组通用的配置选项来改变它们的行为:

    GENERIC_OPTION 描述
    -archives <逗号分隔的归档列表> 指定要在计算机上取消存档的逗号分隔存档。仅适用于工作。
    -conf <配置文件> 指定应用程序配置文件。
    -D <property> = <value> 使用给定属性的值。
    -files <逗号分隔的文件列表> 指定要复制到地图缩减群集的逗号分隔文件。仅适用于工作。
    -fs <file:///>或<hdfs:// namenode:port> 指定要使用的默认文件系统URL。从配置覆盖'fs.defaultFS'属性。
    -jt <local>或<resourcemanager:port> 指定ResourceManager。仅适用于工作。
    -libjars <逗号分隔的jar列表> 指定要包含在类路径中的逗号分隔的jar文件。仅适用于工作。

    Hadoop常用命令

    所有这些命令都是从hadoop shell命令执行的。它们已被分解为用户命令管理命令

    用户命令

    对hadoop集群的用户有用的命令。

     

    档案

    创建一个hadoop存档。可以在Hadoop Archives Guide中找到更多信息。

    checknative

    用法:hadoop checknative [-a] [-h]

    命令选项 描述
    -a 检查所有库是否可用。
    -H 打印帮助

    此命令检查Hadoop本机代码的可用性。有关更多信息,请参阅Native Libaries。默认情况下,此命令仅检查libhadoop的可用性。

    类路径

    用法:hadoop classpath [--glob | --jar <path> | -h | --help]

    命令选项 描述
    --glob 扩展通配符
    -- jar path 将类路径写为jar命名路径中的清单
    -h, - help 打印帮助

    打印获取Hadoop jar和所需库所需的类路径。如果不带参数调用,则打印由命令脚本设置的类路径,该脚本可能在类路径条目中包含通配符。其他选项在通配符扩展后打印类路径,或将类路径写入jar文件的清单中。后者在无法使用通配符且扩展类路径超过支持的最大命令行长度的环境中非常有用。

    conftest

    用法:hadoop conftest [-conffile <path>] ...

    命令选项 描述
    -conffile 要验证的配置文件或目录的路径
    -h, - help 打印帮助

    验证配置XML文件。如果未指定-conffile选项,则将验证名称以.xml结尾的$ {HADOOP_CONF_DIR}中的文件。如果指定,将验证该路径。您可以指定文件或目录,如果指定了目录,则将验证名称以.xml结尾的该目录中的文件。您可以多次指定-conffile选项。

    验证相当小:解析XML并检查重复和空属性名称。该命令不支持XInclude; 如果您使用它来提取配置项,它将声明XML文件无效。

    credential

    用法:hadoop credential <subcommand> [options]

    命令选项 描述
    create alias [-provider provider-path] [-strict] [-value credential-value] Prompts the user for a credential to be stored as the given alias. The hadoop.security.credential.provider.path within the core-site.xml file will be used unless a -provider is indicated. The -strict flag will cause the command to fail if the provider uses a default password. Use -value flag to supply the credential value (a.k.a. the alias password) instead of being prompted.
    delete alias [-provider provider-path] [-strict] [-f] Deletes the credential with the provided alias. The hadoop.security.credential.provider.path within the core-site.xml file will be used unless a -provider is indicated. The -strict flag will cause the command to fail if the provider uses a default password. The command asks for confirmation unless -f is specified
    list [-provider provider-path ] [-strict] Lists all of the credential aliases The hadoop.security.credential.provider.path within the core-site.xml file will be used unless a -provider is indicated. The -strict flag will cause the command to fail if the provider uses a default password.

    用于管理凭据提供程序中的凭据,密码和机密的命令。

    Hadoop中的CredentialProvider API允许分离应用程序以及它们如何存储所需的密码/秘密。为了指示特定的提供程序类型和位置,用户必须在core-site.xml中提供hadoop.security.credential.provider.path配置元素,或者对以下每个命令使用命令行选项-provider。此提供程序路径是以逗号分隔的URL列表,用于指示应查阅的提供程序列表的类型和位置。例如,以下路径:user:///,jceks://file/tmp/test.jceks,jceks://hdfs@nn1.example.com/my/path/test.jceks

    表示应通过用户提供程序查询当前用户的凭证文件,位于/tmp/test.jceks的本地文件是Java密钥库提供程序,该文件位于HDFS中的nn1.example.com/my/path/ test.jceks也是Java Keystore Provider的商店。

    当使用凭证命令时,它通常用于向特定凭证存储提供商提供密码或秘密。为了明确指出要使用哪个提供者存储,应该使用-provider选项。否则,给定多个提供者的路径,将使用第一个非瞬态提供者。这可能是也可能不是你想要的那个。

    提供商经常要求提供密码或其他秘密。如果提供程序需要密码但无法找到密码,它将使用默认密码并发出警告消息,指出正在使用默认密码。如果提供了-strict标志,则警告消息将成为错误消息,并且该命令将立即返回错误状态。

    示例: hadoop credential list -provider jceks://file/tmp/test.jceks 

    distch

    用法:hadoop distch [-f urilist_url] [-i] [-log logdir] path:owner:group:permissions

    命令选项 描述
    -F 要更改的对象列表
    -i 忽略失败
    -log 用于记录输出的目录

    一次更改许多文件的所有权和权限。

    DistCp使用

    递归复制文件或目录。有关详细信息,请参阅Hadoop DistCp指南

    dtutil

    用法:

    hadoop dtutil [-keytab keytab_file -principal principal_name ] subcommand [-format (java|protobuf)] [-alias alias ] [-renewer renewer ] filename…

     

    用于获取和管理凭证文件内的hadoop委托令牌的实用程序。它旨在取代更简单的命令fetchdt。有多个子命令,每个子命令都有自己的标志和选项。

    对于写出文件的每个子命令,-format选项将指定要使用的内部格式。 java是与fetchdt匹配的遗留格式。默认为protobuf。

    对于连接到服务的每个子命令,提供了便利标志来指定用于auth的kerberos主体名称和keytab文件。

    SUBCOMMAND 描述
    print 
       [-alias alias 
       filename filename2 ...]
    打印出filename(和filename2 ...)中包含的标记中的字段。
    如果指定了别名,则仅打印与别名匹配的标记。否则,打印所有令牌。
    get URL 
       [-service scheme 
       [-format(java | protobuf)] 
       [-alias alias 
       [-renewer renewer 
       filename
    URL处的服务获取令牌并将其放在文件名中
    URL是必需的,必须紧跟get。
    URL是服务URL,例如hdfs:// localhost:9000
    别名将覆盖令牌中的服务字段。
    它适用于具有外部和内部名称的主机,例如firewall.com:14000
    filename应该是最后一个,是令牌文件的名称。
    如果它不存在,它将被创建。否则,令牌将添加到现有文件中。
    该-service标志只能与开始的URL使用HTTP或https。
    以下是等效的:hdfs:// localhost:9000 / vs. http:// localhost:9000 -service hdfs
    append 
       [-format(java | protobuf)] 
       filename filename2 filename3 ...]
    将前N个文件名的内容附加到最后一个文件名。
    当具有公共服务字段的令牌存在于多个文件中时,早期文件的令牌将被覆盖。
    也就是说,始终保留最后一个文件中存在的标记。
    remove -alias alias 
       [-format (java|protobuf)] 
       filename [ filename2 ...]
    从指定的每个文件中删除与别名匹配的别名,并使用指定的格式写出每个文件。
    别名必须指定。
    cancel -alias alias 
       [-format (java|protobuf)] 
       filename [ filename2 ...]
    就像删除一样,除了令牌也使用令牌对象中指定的服务取消。
    别名必须指定。
    renew -alias alias 
       [-format (java|protobuf)] 
       filename [ filename2 ...]
    对于指定的每个文件,请更新匹配别名的标记,并使用指定的格式写出每个文件。
    别名必须指定。

    fs

    “ 文件系统Shell指南”中介绍了此命令。当HDFS正在使用时,它是hdfs dfs的同义词。

    gridmix

    Gridmix是Hadoop集群的基准工具。可以在Gridmix指南中找到更多信息。

    jar

    用法:hadoop jar <jar> [mainClass] args ...

    运行一个jar文件。

    使用yarn jar 来代替启动YARN应用程序。

    jnipath

    用法:hadoop jnipath

    打印计算出的java.library.path。

    kerbname

    用法:hadoop kerbname principal

    通过auth_to_local规则将命名主体转换为Hadoop用户名。

    示例:hadoop kerbname user@EXAMPLE.COM

    kdiag

    用法:hadoop kdiag

    诊断Kerberos问题

    Key

    用法:hadoop key <subcommand> [options]

    命令选项 描述
    create keyname [-cipher cipher] [-size size] [-description description] [-attr attribute=value] [-provider provider] [-strict] [-help] 创建由指定的名称一个新的密钥键名由指定的提供者中的说法-provider说法。该-strict标志将导致如果提供商使用默认密码的命令失败。您可以使用-cipher参数指定密码。默认密码当前为“AES / CTR / NoPadding”。默认密钥大小为128.您可以使用-size参数指定请求的密钥长度。可以使用-attr参数指定任意属性=值样式属性。-attr可以多次指定,每个属性一次。
    roll keyname [ -provider provider ] [-strict] [-help] 使用-provider参数为指示的提供程序中的指定键创建新版本。该-strict标志将导致如果提供商使用默认密码的命令失败。
    delete keyname [-provider provider] [-strict] [-f] [-help] 从-provider指定的提供程序中删除keyname参数指定的所有密钥版本。该-strict标志将导致如果提供商使用默认密码的命令失败。除非指定了-f,否则该命令会要求用户确认。
    list [ -provider provider ] [-strict] [-metadata] [-help] 显示在core-site.xml中配置或使用-provider参数指定的特定提供程序中包含的键名。该-strict标志将导致如果提供商使用默认密码的命令失败。-metadata显示元数据。
    -help 打印此命令的用法

    通过KeyProvider管理密钥。有关KeyProviders的详细信息,请参阅“ 透明加密指南”

    提供商经常要求提供密码或其他秘密。如果提供程序需要密码但无法找到密码,它将使用默认密码并发出警告消息,指出正在使用默认密码。如果提供了-strict标志,则警告消息将成为错误消息,并且该命令将立即返回错误状态。

    注意:某些KeyProviders(例如org.apache.hadoop.crypto.key.JavaKeyStoreProvider)不支持大写键名称。

    注意:某些KeyProviders不直接执行密钥删除(例如,执行软删除,或延迟实际删除,以防止错误)。在这些情况下,删除后创建/删除具有相同名称的密钥时可能会遇到错误。有关详细信息,请查看基础KeyProvider。

    kms

    用法:hadoop kms

    运行密钥管理服务器KMS。

    trace

    查看和修改Hadoop跟踪设置。请参阅“ 跟踪指南”

    version

    用法:hadoop version

    打印版本。

    CLASSNAME

    用法:hadoop CLASSNAME

    运行名为CLASSNAME的类。该类必须是包的一部分。

    envvars

    用法:hadoop envvars

    显示计算的Hadoop环境变量。

    管理命令

    对hadoop集群的管理员命令。

    daemonlog

    用法:

    hadoop daemonlog -getlevel <host:port> <classname> [-protocol (http|https)]
    hadoop daemonlog -setlevel <host:port> <classname> <level> [-protocol (http|https)]
    命令选项 描述
    -getlevel host:port classname [-protocol(httphttps)] host:port运行的守护程序中打印由限定类名标识的日志的日志级别。所述-protocol标志指定用于连接的协议。
    -sevelvel host:port classname level [-protocol(httphttps)] 设置在host:port运行的守护程序中由限定类名标识的日志的日志级别。所述-protocol标志指定用于连接的协议。

    获取/设置守护程序中由限定类名称标识的日志的日志级别。默认情况下,该命令发送HTTP请求,但可以使用参数-protocol https来覆盖此请求以发送HTTPS请求。

    例:

    $ bin/hadoop daemonlog -setlevel 127.0.0.1:9870 org.apache.hadoop.hdfs.server.namenode.NameNode DEBUG
    $ bin/hadoop daemonlog -getlevel 127.0.0.1:9871 org.apache.hadoop.hdfs.server.namenode.NameNode DEBUG -protocol https

    请注意,该设置不是永久性的,并且会在重新启动守护程序时重置。此命令通过向守护程序的内部Jetty servlet发送HTTP / HTTPS请求来工作,因此它支持以下守护程序:

    • Common
      • key management server
    • HDFS
      • name node
      • secondary name node
      • data node
      • journal node
      • HttpFS server
    • YARN
      • resource manager
      • node manager
      • Timeline server
      •  

    文件

    etc/hadoop/hadoop-env.sh

    此文件存储所有Hadoop shell命令使用的全局设置。

    etc/hadoop/hadoop-user-functions.sh

    此文件允许高级用户覆盖某些shell功能。

    〜/ .hadooprc

    这为个人用户存储个人环境。它在hadoop-env.sh和hadoop-user-functions.sh文件之后处理,并且可以包含相同的设置。

     

     

     

     

    原文链接: https://hadoop.apache.org/docs/r3.2.0/

    展开全文
  • hadoop命令笔记

    千次阅读 2011-08-28 21:47:49
    查看文件内容(dfs 用fs替换可以) hadoop dfs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 hadoop dfs -cat file:///file3 /user/hado
  • hadoop命令——hdfs

    千次阅读 2015-07-11 17:11:32
    hdfs是hadoop大体系下的分布式文件管理系统,是英文Hadoop Distributed File System的简写,其常用命令如下: 一:fs命令(和Linux终端运行命令一致,也是hdfs最常用命令) 二:其他相关命令 1、hadoop 归档...
  • hadoop命令大全

    万次阅读 2018-01-17 16:21:16
    hdfs命令大全 hdfs常用命令: 第一部分:hdfs文件系统命令 第一类:文件路径增删改查系列: hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归...
  • hadoop命令手册

    2018-07-19 18:03:45
    hadoop命令手册 一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。H...
  • hadoop 命令scp

    千次阅读 2018-04-20 15:52:40
    1.在安装HBASE的过程中,需要把master的文件复制到slave1、slave2中。...在使用这条命令的过程中,刚开始出现的问题是:找不到目标文件,目录地址找不到,所以解决方法是可以进入到相应的目录文件 比如 cd hbase。...
  • hadoop 命令总结

    千次阅读 2017-04-19 21:52:13
    1. Hadoop是独立的文件系统,和linux文件系统独立,不能直接使用linux命令。 2. 登录hadoop服务器,先执行haoop的环境变量命令(在root用户下面登陆): hadoopc1h1:~ # . /opt/client/bigdata_env 执行hadoop启动...
  • 常用Hadoop命令

    2019-06-12 17:59:17
    官方文档:... 将自己工作中常用的Hadoop命令整理如下: 1. 查看hadoop文件 hadoop fs -ls / 2. 新建文件夹 hadoop dfs -mkdir /input 3. 上传本地文件 终端输入: vim test1.txt 键入内容保存:...
  • Hadoop命令手册

    千次阅读 2014-12-16 14:45:42
    Hadoop 命令手册   1、 用户命令   1.1 archive 1.1.1 什么是Hadooparchives Hadoop的归档文件,每个文件以块方式存储,块的元数据存储在名称节点的内存里,此时存储一些小的文件,HDFS会较低效。因此,大量的小...
  • Hadoop命令摘录

    千次阅读 2012-04-05 16:51:21
    一:文件操作 1、建立目录 [hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir 在HDFS中建立一个名为...[hadoop@hadoop1:hadoop]$bin/hadoop dfs -put /home/hadoop/test.zip testfile.zip 把本地文件large.z
  • Hadoop命令大全

    万次阅读 2011-03-01 15:04:00
    1、列出所有Hadoop Shell支持的命令  $ bin/hadoop fs -help 2、显示关于某个命令的详细信息  $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总...
  • Hadoop命令汇总

    2011-10-20 11:49:19
    Hadoop命令汇总   ============ 此贴系个人总结贴=============== 查看集群状况:hadoop dfsadmin -report 关闭安全模式:hadoop dfsadmin -safemode leave 进入安全模式:hadoop dfsadmin -safemode enter ...
  • hadoop命令详解

    2016-10-26 18:03:39
    一、用户命令 1、archive命令 ...(1).什么是Hadoop archives?...Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元

空空如也

1 2 3 4 5 ... 20
收藏数 17,587
精华内容 7,034
关键字:

hadoop命令