精华内容
下载资源
问答
  • 说明你从本地文件系统拷贝input目录到hdfs系统时候,不是采用hadoop用户,而是用root用户执行拷贝命令,你可能忘记切换用户了,可以删除现在input目录(采用root用户运行hadoop删除命令,或者不删除也没...

    从fs -ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。

    frostfish425说的是对的!/user/hadoop是安装目录,就是说你hadoop相关的配置和代码都是放在这个位置,这个你自己定就可以了,但是要注意你配置文件和环境变量中的相关配置都要相应的发生改变。而/tmp/hadoop-hadoop/dfs/name是你配置的hdfs目录,也就是数据存放目录,在hdfs-site.xml中配置的,当然你也可以改变这个目录!

    这个目录挂载的磁盘要足够大,不然数据存放不下,你初始化的时候报的这个Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted其实就是在/tmp/hadoop-hadoop/dfs这个目录下创建了name目录,意思就是告诉你,数据存放目录已经创建成功了!

    展开全文
  • pyspark保存rdd内存到文件时候,会遇到文件夹已经存在而失败,所以如果文件夹已经存在,需要先删除。 搜索了下资料,发现pyspark并没有提供直接管理hdfs文件系统功能。寻找到一个删除方法,是通过调用...

    在pyspark 中保存rdd的内存到文件的时候,会遇到文件夹已经存在而失败,所以如果文件夹已经存在,需要先删除。

    搜索了下资料,发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法,是通过调用shell命令 hadoop fs -rm -f 来删除,这个方法感觉不怎么好,所以继续找。

    后来通过查找hadoop hdfs 的源代码发现 hdfs是通过java 的包 org.appache.hadoop.fs 中的几个类来完成的,也有用java创建 hdfs对象再调用对象的删除方法可删除。

    所以下一步思路就是尝试是不是可以把 java的类在 python 中引用,最后得到的答案是肯定的,代码如下:

    def jPath(sc, filepath):

        jPathClass = sc._gateway.jvm.org.apache.hadoop.fs.Path

        return jPathClass(filepath)

     

    def jFileSystem(sc):

        jFileSystemClass = sc._gateway.jvm.org.apache.hadoop.fs.FileSystem

        hadoop_configuration = sc._jsc.hadoopConfiguration()

        return jFileSystemClass.get(hadoop_configuration)

     

    def write(sc, filepath, content, overwite=True):

        try:

            fs = jFileSystem(sc)

            out = fs.create(jPath(sc, filepath), overwrite)

            out.write(bytearray(content, "utf-8"))

            out.flush()

            out.close()

        except Exception as e:

            print(e)

        spark = spark_create()

        sc = spark._sc

        sc.setLogLevel("ERROR")

        sqc = SQLContext(sc)

    #

    #  删除HDFS目录主程序

    #

    def __name__ == "__main__":

        del_hdfs = "hdfs://host:port/del_filepath"

        fs = jFileSystem(sc)

        del_path_obj = jPath(sc, del_hdfs)

        if fs.exists(del_path_obj):

            fs.delete(del_path_obj)

            print(" del ok. hdfs=%s"%del_hdfs)

        else:

            print(" path not exists. hdfs=%s"%del_hdfs)

     可顺利在 pyspark 中使用 java 类,核心是 sc._gateway.jvm 来实现 ,代码中用到的

    org.apache.hadoop.fs.FileSystem

    org.apache.hadoop.fs.Path

    是在 hadoop 的 jar包 hadoop-common-2.10.1.jar中,所以SPARK在提交的时候要加上这个jar包

      spark-submit --jar= xxxx/hadoop-common-2.10.1.jar 

    即可,如果不加会报 java类找不到的ERROR

      

     

     

     

     

    展开全文
  • 大数据:Hadoop文件操作HDFS常用命令(一)?1、创建目录。在HDFS中创建一个文件目录:...如果查看具体某一个文件目录下文件层次,则为:hadoop fs -ls /mydirmydir是开发者在HDFS中创建的文件夹目录。?3、上传单...

    大数据:Hadoop文件操作HDFS常用命令(一)

    ?

    1、创建目录。在HDFS中创建一个文件目录:

    hadoop dfs -mkdir

    ?

    2、查看文件结构目录:

    hdfs dfs -ls -R /

    例如,在HDFS中创建一个test_dir的文件目录,然后查看:

    ?

    如果查看具体某一个文件目录下的文件层次,则为:

    hadoop fs -ls /mydir

    mydir是开发者在HDFS中创建的文件夹目录。

    ?

    3、上传单个文件。往test_dir上传一个文件,假设需要上传一个E:/hadoop/myfile/f1.txt的文件,到HDFS中的test_dir下面,则命令为:

    hadoop fs -put E:/hadoop/myfile/f1.txt /test_dir

    ?

    ?

    4、删除文件。如何删除文件呢?假设要删除刚才上传好的f1.txt文件,则为:

    hadoop fs -rm -r -skipTrash /test_dir/f1.txt

    如图:

    ?

    ?

    5、删除文件夹。如果是删除整个文件夹目录,则是:

    hadoop fs -rm -r -skipTrash /test_dir

    如图:

    ?

    ?

    6、上传整个目录文件夹。把计算机本地的一个文件夹目录全部上传到HDFS。假设本地有一个文件夹myfile,myfile下面有f1.txt,f2.txt,f3.txt。

    命令:

    hadoop dfs -put E:/hadoop/myfile /

    如图:

    ?

    ?

    7、重命名文件夹。假设现在需要把HDFS中的myfile文件夹名字改为mydir,则为:

    hdfs dfs -mv /myfile /mydir

    如图:

    ?

    8、把HDFS中整个文件夹目录下的文件合并并下载到本地。假设把之前前面已经上传到HDFS中mydir下的所有文件合并成一个完整的文件下载到本地的E:/hadoop下,名字叫temp,则命令:

    hdfs dfs -getmerge /mydir E:/hadoop/temp

    如图:

    本例中mydir下f1.txt , f2.txt , f3.txt里面仅仅只是文本字符。当把这些文件合并到一个temp文件中后,是把f1.txt , f2.txt , f3.txt中所有文本字符合并追加到temp中去。

    ?

    9、从HDFS中把文件下载到本地。假设把HDFS中的mydir/f1.txt文件下载到本地E:/hadoop下,则:

    hadoop dfs -get /mydir/f1.txt E:/hadoop/f1.txt

    ?

    ?

    10、查看HDFS中的文件内容。假设查看mydir下的f1.txt文件内容。命令为:

    hadoop dfs -text /mydir/f1.txt

    或者:

    hadoop dfs -cat /mydir/f1.txt

    如图:

    ?

    ?

    11、统计HDFS基本信息。命令:

    hdfs dfsadmin -report

    如图:

    ?

    ?

    附:

    展开全文
  • Hadoop hdfs基本操作命令

    千次阅读 2018-02-28 18:54:13
    列出HDFS文件: hadoop fs –ls [-R] a) –ls后面不跟任何内容话是列出HDFS"...目录下内容; b) -R 列出目录同时,列出子目录内容;...在HDFS中创建文件夹: hadoop fs –mk...

    列出HDFS文件:

    hadoop fsls [-R]
    a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容;
    b) -R 列出目录的同时,列出子目录的内容;
    c)如果要列出某个文件夹中的内容,则-ls后面跟该文件夹的路径,例如列出input中的内容:hadoop fs –ls input
    

    在HDFS中创建文件夹:

    hadoop fs –mkdir dirname

    例如:

    hadoop fs –mkdir input

    删除HDFS中的文件或文件夹

    hadoop fs –rm 文件夹名或者文件名

    上传文件到HDFS:

    hadoop fs –put ~/a.txt input

    查看HDFS下的某个文件:

     hadoop fs –cat 文件路径

    将HDFS中的文件复制到本地系统中:

    hadoop fs –get HDFS中的文件名本地系统中的文件名 本地存放地址

    进入/退出安全模式

    有时,在hadoop启动时不能对文件系统进行如创建文件,删除文件之类的操作,此时,文件系统所处的状 态叫做安全模式,用途大家可以到网上搜一搜,笔者不在这里赘述(由于笔者属于初学者,HDFS上的东西还不多,节点也不多,所以笔者一般开启Hadoop后,不管有没有在安全模式,先输退出安全模式的命令)。

    hadoop dfsadmin –safemode enter
    hadoop dfsadmin –safemode leave
    展开全文
  • hadoop fs -mkdir :创建文件夹 hadoop102:9870的hdfs页面查看创建成功 上传 hadoop fs -moveFromLocal:从本地移动(剪切)到HDFS hadoop fs -moveFromLocal 要上传hdfs的文件路径 要上传到hdfs的目标路径 ...
  • Hadoop安装配置 将hadoop压缩包上传到software ...opt下创建文件夹hadoopdata用于存放hadoop一些元数据 配置hadoop环境变量 (1)vim /etc/profile export HADOOP_HOME=/opt/hadoop-2.7.2/ ----
  • HDFS

    2016-01-24 11:21:05
    HDFS是Hadoop生态系统根基,也是Hadoop生态系统中的重要一员,大部分时候,我们都会使用Linux shell命令来管理HDFS,包括一些文件的创建,删除,修改,上传等等,因为使用shell命令操作HDFS的方式,相对比较简单,...
  • HDFS的shell操作

    2014-07-10 10:07:00
    既然HDFS 是存取数据...HDFS 操作命令类似于Linux shell 对文件操作,只是在HDFS中,hadoop fs是主命令,其他像ls,mv,cp都是被作为该命令的选项。 以下表格列出一些常用HDFS shell命令选项。 ...
  • HDFS shell基础操作

    2019-10-22 12:06:05
    HDFS的操作命令是以"hdfs dfs"开头的命令,其中hdfs是Hadoop系统Linux系统的主命令,dfs是子命令,用户通过命令可以完成hdfs文件的复制、移动、查找、删除等操作,HDFS Shell命令的一般格式如下: hdfs dfs ...
  • HDFS的常用操作

    千次阅读 2017-03-17 14:20:23
    如果Linux系统用户hdp使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是hdp。 HDFS权限目的:阻止好人错错事,而不是阻止坏人做坏事;HDFS相信,你告诉我你是谁,我就认为你是谁。 二、HD
  • Linuxhadoop配置hdfs

    2018-07-11 08:58:00
    .前提是hadoop已经安装配置成功 2.主要是修改core-site.xml和hdfs-site.xml这两个配置文件 ...5.首先要Linux建立存放name和data文件 进入Linux输入命令如下 创建三个文件夹 6.编辑core-site.xml 开...
  • Java API读写HDFS

    2016-04-10 20:34:47
    HDFS是Hadoop生态系统根基,也是Hadoop生态系统中的重要一员,大部分时候,我们都会使用Linux shell命令来管理HDFS,包括一些文件的创建,删除,修改,上传等等,因为使用shell命令操作HDFS的方式,相对比较简单,...
  • HDFS文件权限 POSIX

    2019-04-10 22:55:52
    2、如果Linux系统用户zhangsan使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是zhangsan。 3、HDFS权限目的:阻止好人错错事,而不是阻止坏人做坏事。HDFS相信,你告诉我你是谁,我就认为你是谁。 总结...
  • 2.使用命令 hadoop fs -mkdir /park02 在hdfs中创建/park02文件夹,如果有话,就不需要创建 3.使用命令 hadoop fs -put /opt/email_log.txt /park02 上传email_log.txt文件到/park02中 4.查看hdfs中是否...
  • HDFS是Hadoop生态系统根基,也是Hadoop生态系统中的重要一员,大部分时候,我们都会使用Linux shell命令来管理HDFS,包括一些文件的创建,删除,修改,上传等等,因为使用shell命令操作HDFS的方式,相对比较简单,...
  • 如果是空目录,或者说还没用此文件夹在hdfs上面,那么先创建文件夹后,在put数据就不要加 -f ,如果想要覆盖写入(强行覆盖之前文件),此时你已经之前上传过了文件,并且有文件夹了,所以你可以加-f ...
  • hadoop命令

    2012-09-21 21:52:05
    1)通过命令把文件放到hadoop文件系统中。 ./hadoop fs -put filename hdfs://localhost..../hadoop fs -put *.sh /input //把当前文件夹下所有.sh文件放到hdfsinput目录下.2)在hdfs中创建文件夹 ./hadoop fs -mk
  • 1、-mkdir 在HDFS文件系统上创建目录。 首先进入你hadoop目录下 之后在命令行行输入: 当你创建多个文件夹是 使用-p即可 [root@hadoop101 hadoop-2.7.2]# hadoop fs -mkdir -p /user/hadoop/testdect 2、-ls ...
  • spark进行运算时需要先将数据转换成RDD,然而很多数据是本地,textFile调用不方便...切换到hadoop 安装目录(如果bash设置过了,这步不是必须),启动hadoop(启用HDFS,yarn不是必要) 然后输入命令:bin/
  • 搭建了一个hadoop集群,用hdfs dfs -ls /命令,列出是本地系统根目录。 用hdfs dfs -ls hdfs://servicename/ 列出目录才是hdfs目录,可能是什么原因? 执行hive创建的目录也是本地系统目录上。 集群...
  • 1.使用MSCK命令导入输入...假设创建一个外部表,这个表在hdfs的order文件夹里,但是这个文件夹现在是空。所以用select * 是没有数据。 CREATE EXTERNAL TABLE order( order STRING , time STRING ) ROW FOR...
  • 第一,有可能是配置文件所配置的文件夹name、data、tmp未创建,或者路径错误所导致。 第二,有可能是因为你配置文件过程,未配置使用host,而直接使用IP地址。如果使用是IP地址,则需要namenode的hdfs-...
  • Hadoop集群验证三种方式

    千次阅读 2019-11-04 08:13:36
    1.使用 linux jps 命令 如果出现以下进程则是成功 2.在NameNode所在节点ip+50070端口查看HDFS...3.在HDFS系统中创建一个文件夹或文件,若能创建表示集群可以 hadoop fs -mkdir /csdn hadoop fs -ls / ...
  • 今天通过Hadoop来运行第一个程序,来统计一篇文章中不同英文单词个数。 1.创建一个 t1.txt 文件夹,并将你要统计文章粘贴进去。(这里是将txt文件创建在...3.准备输入、输出文件夹在HDFS文件系统中创建。 Ha...
  • 今天通过Hadoop来运行第一个程序,来统计一篇文章不同英文单词个数。1.创建一个 t1.txt 文件夹,并将你要统计文章粘贴进去。(这里是将txt文件创建在E盘,跟...准备输入、输出文件夹在HDFS文件系...
  • 该操作包括读取Hadoop文件系统上文件列表进行展示、可以Hadoop文件系统中创建目录、删除目录;下载或者上传文件;查看文件内容;运行Job作业、支持国际化语言设置等等。类似与 hadoop-eclipse-plugin插件。...
  • Haoop基本操作

    2017-05-09 11:03:00
    一.HDFS常用操作 (一... 如果Linux系统用户hdp使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是hdp。 HDFS权限目的:阻止好人错错事,而不是阻止坏人做坏事;HDFS相信,你告诉我你是谁,我就认为你...
  • #创建文件夹 mkdir /home/hadoop/app #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app 2.3将java添加到环境变量 vim /etc/profile #文件最后添加 export JAVA_HOME=/home/hadoop/app...
  • 当使用git把hera克隆到本地之后,首先hera/hera-admin/resources目录下找到hera.sql文件,自己数据库新建这些必要表,并插入初始化数据(如果你目前使用是低版本hera,那么你可以到 update 目录查看...
  • 12-1 Bucket管理模块开发 12-2 HDFS和HBASE操作类1 12-3 HDFS和HBASE操作类2 12-4 Hos文件管理模块实体类开发 12-5 Hos创建删除Bucket方法开发 12-6 Hos上传文件方法开发 12-7 Hos获取文件方法开发 12-8 Hos删除...

空空如也

空空如也

1 2
收藏数 31
精华内容 12
关键字:

在hdfs中创建文件夹的命令是