精华内容
下载资源
问答
  • HDFS常用Shell命令

    2021-01-07 09:35:42
    本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情 使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文中使用T表示target 基本命令 1.启动...
  • cloudera的hdfs文件上传命令

    千次阅读 2014-11-19 15:23:36
    命令hdfs dfs

    命令: hdfs  dfs


    使用:

    步骤:

          (1)mount命令加载nfs

          (2)mkdir  /root/device-report

          (3) 将日志目录文件拷贝到/root/device-report

           # cp  XXX/web-private-1_20141001*.gz  /root/device-report/

    #cp  XXX/web-private-2_20141001*.gz   /root/device-report/

    #cp  XXX/web-private-3_20141001*.gz     /root/device-report/

    #cp  XXX/web-private-4_20141001*.gz    /root/device-report/

       (4) 解压相关文件

         #  gzip -d    root/device-report/*gz


       (5)更改用户和用户组

            #chown hdfs:hdfs     /root/device-report/*.log

             #chown hdfs:hdfs   /root/device-report


       (6)将此文件夹移动到hdfs用户下

           # mkdir  /var/lib/hadoop-hdfs/device-report

          #  mv  /root/device-report/*.log     /var/lib/hadoop-hdfs/device-report

       (7)上传到hdfs文件系统

          su hdfs

         $ hadoop fs  -put  device-report/*.log  /user/hdfs/device-report

         如图:

           


        上传结果:

             





    常用的一些命令:

        hadoop fs -mkdir /device-report/input              在HDFS上新建文件夹

        hadoop fs -put input1.txt /device-report/input         把本地文件input1.txt传到HDFS的/device-report/input目录下

       hadoop fs -get  input1.txt device-report/input/input1.txt  把HDFS文件拉到本地

        hadoop fs -ls /device-report/output                  列出HDFS的某目录
        hadoop fs -cat /device-report/ouput/output1.txt  查看HDFS上的文件

        hadoop fs -rmr /home/less/hadoop/device-report/output  删除HDFS上的目录

        hadoop dfsadmin -report 查看HDFS状态,比如有哪些datanode,每个datanode的情况

       hadoop dfsadmin -safemode leave  离开安全模式

        hadoop dfsadmin -safemode enter  进入安全模式























    展开全文
  • 如何向hdfs上传文件

    千次阅读 2018-09-25 10:26:20
    比如向hdfs上传停用词文件(stopwords.txt): 登录hdfs的namenode节点,查看上面的文件夹; 新建一个文件夹,放置停用词资源; 查看是否建成功; 把停用词文件上传到服务器本地; 把停用词上传到hdfs上; 查看是否...

    比如向hdfs上传停用词文件(stopwords.txt):

    1. 登录hdfs的namenode节点,查看上面的文件夹;
    2. 新建一个文件夹,放置停用词资源;
    3. 查看是否建成功;
    4. 把停用词文件上传到服务器本地;
    5. 把停用词上传到hdfs上;
    6. 查看是否上传成功;
    7. 查看文件的详细内容;
    hadoop fs –ls
    
    hadoop fs -mkdir /aaa
    
    hadoop fs -ls /
    
    mkdir aaa
    通过ftp上传,如最终路径为:/home/hadoop/aaa/ stopwords.txt
    
    hadoop fs -put /home/hadoop/aaa/stopwords.txt /aaa
    
    hadoop fs -ls /aaa
    
    hadoop fs -cat /aaa/stopwords.txt
    
    

    删除hdfs上的文件可尝试用如下命令:

    hadoop fs -rm /aaa/stopwords.txt
    
    删除某一文件夹下的文件:hdfs dfs -rm -r /aaa/1.py
    
    
    展开全文
  • Linux下HDFS常用文件操作命令

    千次阅读 2019-04-17 15:44:29
    以下命令均需要在hadoop目录下运行:即当前所在目录下有bin目录,bin目录中有hdfs这个二进制文件。 1、ls bin/hdfs dfs -ls / 列出hdfs文件系统根目录下的目录和文件 bin/hdfs dfs -ls -R / 列出hdfs文件系统...

    以下命令均需要在hadoop目录下运行:即当前所在目录下有bin目录,bin目录中有hdfs这个二进制文件。

     

    1ls

    bin/hdfs dfs -ls /
    列出hdfs文件系统根目录下的目录和文件
    
    bin/hdfs dfs -ls -R /
    列出hdfs文件系统所有的目录和文件


    2put

    bin/hdfs dfs -put < local file > < hdfs file >
    hdfs file的父目录一定要存在,否则命令不会执行
    
    bin/hdfs dfs -put < local file or dir >…< hdfs dir >
    hdfs dir 一定要存在,否则命令不会执行
    
    bin/hdfs dfs -put < hdsf file>
    从键盘读取输入到hdfs file中,按Ctrl+D结束输入,hdfs file不能存在,否则命令不会执行。默认上传到hdfs文件系统的家目录(/user/hadoop)下


    2.1moveFromLocal

    bin/hdfs dfs -moveFromLocal < local src > … < hdfs dst >
    与put相类似,命令执行后源文件 local src 被删除,也可以从从键盘读取输入到hdfs file中


    2.2copyFromLocal

    bin/hdfs dfs -copyFromLocal < local src > … < hdfs dst >
    与put相类似,也可以从从键盘读取输入到hdfs file中


    3get

    bin/hdfs dfs -get < hdfs file > < local file or dir>
    local file不能和 hdfs file名字不能相同,否则会提示文件已存在,没有重名的文件会复制到本地
    
    bin/hdfs dfs -get < hdfs file or dir > … < local dir >
    拷贝多个文件或目录到本地时,本地要为文件夹路径
    注意:如果用户不是root, local 路径要为用户文件夹下的路径,否则会出现权限问题,


    3.1moveToLocal

    当前版本中还未实现此命令


    3.2copyToLocal

    bin/hdfs dfs -copyToLocal < local src > … < hdfs dst >
    与get相类似


    4rm

    bin/hdfs dfs -rm < hdfs file > …
    bin/hdfs dfs -rm -r < hdfs dir>…
    每次可以删除多个文件或目录


    5mkdir

    bin/hdfs dfs -mkdir < hdfs path>
    只能一级一级的建目录,父目录不存在的话使用这个命令会报错
    
    bin/hdfs dfs -mkdir -p < hdfs path>
    所创建的目录如果父目录不存在就创建该父目录


    6getmerge

    bin/hdfs dfs -getmerge < hdfs dir > < local file >
    将hdfs指定目录下所有文件排序后合并到local指定的文件中,文件不存在时会自动创建,文件存在时会覆盖里面的内容
    
    bin/hdfs dfs -getmerge -nl < hdfs dir > < local file >
    加上nl后,合并到local file中的hdfs文件之间会空出一行


    7cp

    bin/hdfs dfs -cp < hdfs file > < hdfs file >
    目标文件不能存在,否则命令不能执行,相当于给文件重命名并保存,源文件还存在
    
    bin/hdfs dfs -cp < hdfs file or dir >… < hdfs dir >
    目标文件夹要存在,否则命令不能执行


    8mv

    bin/hdfs dfs -mv < hdfs file > < hdfs file >
    目标文件不能存在,否则命令不能执行,相当于给文件重命名并保存,源文件不存在
    
    bin/hdfs dfs -mv < hdfs file or dir >… < hdfs dir >
    源路径有多个时,目标路径必须为目录,且必须存在。
    注意:跨文件系统的移动(local到hdfs或者反过来)都是不允许的


    9count

    bin/hdfs dfs -count < hdfs path >
    统计hdfs对应路径下的目录个数,文件个数,文件总计大小
    显示为目录个数,文件个数,文件总计大小,输入路径


    10du

    bin/hdfs dfs -du < hdsf path>
    显示hdfs对应路径下每个文件夹和文件的大小
    
    bin/hdfs dfs -du -s < hdsf path>
    显示hdfs对应路径下所有文件和的大小
    
    bin/hdfs dfs -du - h < hdsf path>
    显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示,例如用64M代替67108864


    11text

    bin/hdfs dfs -text < hdsf file>
    将文本文件或某些格式的非文本文件通过文本格式输出


    12setrep

    bin/hdfs dfs -setrep -R 3 < hdfs path >
    改变一个文件在hdfs中的副本个数,上述命令中数字3为所设置的副本个数,-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作


    13stat

    bin/hdfs dfs -stat [format] < hdfs path >
    返回对应路径的状态信息
    [format]可选参数有:%b(文件大小),%o(Block大小),%n(文件名),%r(副本个数),%y(最后一次修改日期和时间)
    可以这样书写bin/hdfs dfs -stat %b%o%n < hdfs path >,不过不建议,这样每个字符输出的结果不是太容易分清楚


    14tail

    bin/hdfs dfs -tail < hdfs file >
    在标准输出中显示文件末尾的1KB数据


    15dfsadmin

    bin/hdfs dfs dfsadmin -help
    管理员可以通过dfsadmin管理HDFS,用法可以通过上述命令查看
    
    bin/hdfs dfs dfsadmin -report
    显示文件系统的基本数据
    
    bin/hdfs dfs dfsadmin -safemode < enter | leave | get | wait >
    enter:进入安全模式;leave:离开安全模式;get:获知是否开启安全模式;
    wait:等待离开安全模式


    16、distcp

    用来在两个HDFS之间拷贝数据
    展开全文
  • 本地文件上传HDFS

    2018-04-14 23:55:30
    Hadoop HDFS的FileSystemAPI操作文件 将准备好的文件上传hdfs的user/hadoop/music文件
  • Hadoop hdfs上传文件报错解决

    千次阅读 2020-10-06 09:10:48
    无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等相关信息,Hadoop均存有日志文件以供分析。 报错命令: 该错误产生的原因: NameNode和DataNode的namespaceID不一致,这个错误是很多人在安装...

    如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。

    无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等相关信息,Hadoop均存有日志文件以供分析。

    报错命令:
    在这里插入图片描述
    该错误产生的原因:
    NameNode和DataNode的namespaceID不一致,这个错误是很多人在安装时会遇到的
    查看日志信息为:
    java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:
    NameNode namespaceID = 1201462299; DataNode namespaceID = 389958745

    hadoop 多次格式化format namenode 导致节点不能启动解决,出现这个问题的原因是多次格式化会导致节点的clusterID不一致

    解决方法:

    1. 先停止所有启动的服务
      切换到hadoop的目录下
    cd /usr/local/hadoop/sbin/stop-all.sh
    
    1. 删除core-site.xml 文件中配置的文件夹:注意如果集群操作则需要在每个机器上都要进行
    rm -r /usr/local/hadoop/tmp
    

    在这里插入图片描述

    1. 如果还没有成功 还可以进入hdfs文件夹下,删除name和data文件夹 命令和上面的一样

    在这里插入图片描述

    1. 重新格式化
    ./bin/hdfs namenode -format
    
    1. 启动服务
    ./sbin/start-dfs.sh
    

    在这里插入图片描述
    下面这两种方法在实际应用中也可能会用到。

    1)重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时,一般不必重启整个系统,只须重启这个节点,它会自动连入整个集群。
    在坏死的节点上输入如下命令即可:
    bin/Hadoop-daemon.sh start DataNode
    bin/Hadoop-daemon.sh start jobtracker

    2) 动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。
    bin/Hadoop-daemon.sh --config ./conf start DataNode
    bin/Hadoop-daemon.sh --config ./conf start tasktracker

    展开全文
  • hdfs上传文件报一下错误: 原因:三台虚拟机的防火墙没有关闭。 解决办法: systemctl stop firewalld.service
  • HDFS上传文件命令使用

    万次阅读 2015-11-10 16:03:47
    上传文件:bin/hadoop fs -put /home/xleer/1.txt /user/hadoop/input1/ 查看HDFS中的文件: bin/hadoop fs -ls /user/hadoop/input1/* 在hdfs中创建文件夹: bin/hadoop fs -mkdir -p /user/h
  • 1. 把linux中的文件上传HDFS个人目录中 # 前面为本地文件路径,后面为HDFS文件路径 hadoop fs -put /data/zz/aa.txt /user/zz/ 或 hdfs dfs -put /data/zz/aa.txt /user/zz/ # 上传文件夹 hadoop fs -put /...
  • 文件上传文件)流程: client端发送写文件请求,NameNode 检查文件是否存在,如果已存在,直接返回错误信息,否则,发送给client一些可用DataNode 节点 client将文件分块,并行存储到不同节点上的DataNode中,...
  • HDFS文件常用命令

    万次阅读 2018-06-02 19:20:17
    1、fs最常用命令bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path //删除HDFS上的文件 bin/hadoop fs -rmr hdfs_...
  • python操作hdfs模块上传文件HDFS

    千次阅读 2018-03-08 18:50:38
    因为公司需要,需要写一个脚本将Windows server上的部分日志文件同步到HDFS上,每天定时启动脚本上传。 大体思路是,首先对比Windows server和HDFS上的是否一样,不一样就证明产生了新的日志文件,然后上传。折腾了...
  • 通过调用hdfs的api,进行文件上传、创建、删除、重命名等操作的代码
  • HDFS文件夹上传和下载等命令

    万次阅读 多人点赞 2019-05-26 16:43:44
    目录 零、码仙励志 一、用浏览器查看hdfs目录下的文件夹和文件 二、HDFS命令 零、码仙励志 ...下面就是hdfs中的文件夹和文件,里面默认什么也没有,需要自己上传 二、HDFS命令 创建一...
  • HDFS上传流程以及操作命令

    千次阅读 2018-10-11 21:00:23
    HDFS文件上传流程 操作HDFS的基本命令 1) 打印文件列表 标准写法: hadoop fs -ls hdfs:/#hdfs: 明确说明是HDFS系统路径 简写: hadoop fs -ls /#默认是HDFS系统下的根目录 打印指定子目录: hadoop fs -ls ...
  • HDFS文件上传流程

    万次阅读 多人点赞 2018-04-15 15:34:22
    HDFS运行流程图(图是盗的) 首先用户即客户端想要上传文件,就先要给namenode发个请求,告诉它说我要上传文件了(即写数据),然后namenode会返回一个响应,这个响应是namenode根据自身情况,比如会先查一下...
  • HDFS上传文件大小为0问题

    千次阅读 2018-11-20 19:29:43
    在win主机上使用api向Linux的Hadoop集群上传文件时报错: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /wc/indata/data1.txt could only be replicated to 0 nodes instead of ...
  • hdfs是hadoop中分布式的文件存储系统;具有高容错、可扩展;广泛的用于大数据项目中(不仅仅是hadoop) 1 hdfs copyFromLocal 1.1 java API public static final String HDFS_PATH = "hdfs://192.168.72.160:8020...
  • 2.将本地的test.csv文件上传hdfs文件系统中 方法一:-put命令,其中/user/tmp/为hdfs中的路径 hdfs dfs -put test.csv /user/tmp/ 方法二:-moveFromLocal命令 hdfs dfs -moveFromLocal test.csv /user/tmp/ .....
  • hdfs dfs -ls /data/rosense-grid/ 查询 hdfs dfs -get /data/rosense-grid/cellcache.csv 下载 hdfs dfs -rm -r -skipTrash /data/rosense-grid/cellcache.csv 删除 hdfs dfs -ls /data/rosense-grid/ 查询 hdfs ...
  •  * 我们利用通配符和PathFilter 对象,将本地多种格式的文件上传HDFS文件系统,并过滤掉 txt文本格式以外的文件。  */ import java.io.IOException; importjava.net.URI; importjava.net....
  • 首先我们如果先用hadoop原生命令来操作hdfs(分布式文件系统)上传文件命令如下 hadoop fs -put /home/hadoop1/software/data/two.txt / 其中-put上传,本地路径/home/hadoop1/software/data/two.txt,上传在...
  • hdfs上传/下载文件过程详解

    千次阅读 2021-01-11 22:16:27
    hdfs上传文件过程详解 client端通知namenode要上传文件,namenode检查文件名是否已经存在,如果不存在通知可以上传,并且返回可以用于存储的datanode列表 client 切割文件为block块(默认大小128MB),向namenode请求...
  • 文件存档 案例实操 (1)需要启动YARN进程 [atguigu@hadoop102 hadoop-2.7.2]$ start-yarn.sh (2)归档文件 把/user/atguigu/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/...
  • hdfs上传文件大小为零问题解决

    千次阅读 2017-06-08 11:02:03
    完成后从客户端上传文件上传后,文件创建,但文件大小为0。Hadoop的log信息如下: java.io.IOException: File /uploadResource/Resource_103/20170607162133115video.mp4 could only be replicated to 0
  • 一、在用户的根目录下写配置文件(mypython) [root@hadoop-yarn-117 ~]# vi .hdfscli.cfg [global] default.alias = dev [dev.alias] url = http://hadoop-yarn-117:50070 user = root 二、使用python 连接from ...
  • 上传 首先启动HDFS,任意目录下输入命令...输入hdfs dfs -put test.txt hdfs:/命令,表示将当前路径下的test.txt文件上传hdfs根目录下(hdfs:/) 查看 输入hdfs dfs -cat /test.txt命令查看hdfs根目录下的test

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 44,016
精华内容 17,606
关键字:

hdfs上传文件命令