精华内容
下载资源
问答
  • 最近项目中需要从hdfs读取文件夹加密压缩到ftp服务器上,目前采用的方案是从hdfs下载文件到本地,后加密压缩,接着上传到ftp上。由于有三次io操作过程,效率和速度都不理想。目前想读取hdfs文件流的同时进行加密...
  • 关于HDFS创建文件夹失败

    千次阅读 2020-04-26 21:33:52
    关于HDFS创建文件夹失败hadoop fs -mkdir /wc报错查看命令手册 hadoop fs -mkdir /wc报错 进入虚拟机后首先输入命令:start-dfs.sh 开启Namenode和DataNode(可以用jps命令查看是否开启成功如图:) 正常情况下命令...

    hadoop fs -mkdir /wc报错

    进入虚拟机后首先输入命令:start-dfs.sh
    开启Namenode和DataNode(可以用jps命令查看是否开启成功如图:)
    正常情况下命令:hdoop fs -mkdir /wc(当前路径下创建wc文件夹)回车执行即可创建。
    我现在报了一个错误:mkdir :Cannot create directory /wc. Name node is in safe model
    这是说安全模式不允许创建。

    在这里插入图片描述

    查看相关命令手册

    链接[link](http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#dfsadmin)

    在这里插入图片描述
    显示安全模式不接受对名字空间的更改
    调整命令:在这里插入图片描述
    hdoop dfsadmin -safemode leave
    再输入创建命令就可以执行了。

    展开全文
  • hdfs删除文件夹

    2016-11-14 16:25:00
    hdfs dfs -rm -r /hxsyl

    hdfs dfs -rm  -r  /hxsyl

    展开全文
  • public static void Addline... // HDFS文件夹中 追加 一行内容 FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.111:8020"), new Configuration()); FSDataOutputStream append = fs.append(new Path
    
    1、配置集群(hdfs-site.xml),必须配置才可以
    
       <property>
            <name>dfs.support.append</name>
            <value>true</value>
       </property>
    
    
    public static void Addline() throws IOException, URISyntaxException {
    
            //  HDFS向文件夹中 追加 一行内容
            FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.111:8020"), new Configuration());
            FSDataOutputStream append = fs.append(new Path("/Test001/abc.txt"));
            append.write("222222".getBytes());
            
            append.close();
            fs.close();
    
        }
    
    展开全文
  • hdfs创建文件夹报错

    2019-03-18 20:21:27
    WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform 解决: export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native" 运行即可

    WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

    解决:
    export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
    运行即可

    展开全文
  • hadoop fs -rm -r -skipTrash /文件夹
  • hdfs创建文件夹及目录

    千次阅读 2020-09-28 17:02:43
    public class nkdirDemo { public static void main(String [] args) throws IOException, URISyntaxException { FileSystem fs = FileSystem.get(new URI("hdfs://Master:9000"), new Configuration());...
  • Hadoop学习三:Hadoop-Hdfs物理文件夹 博客分类:  Hadoop   一.NameNode物理文件夹     二.DataNode物理文件夹
  • 在pyspark中保存rdd的内存到文件的时候,会遇到文件夹已经存在而失败,所以如果文件夹已经存在,需要先删除。 搜索了下资料,发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法,是通过调用...
  • java API操作hdfs新建文件夹

    千次阅读 2019-02-05 23:53:03
    1.mkdirs可以在深度上新建多个文件夹。 2.在配置中已经定义了uri,所以mkdirs中可以不写hdfs://nodename/ package hadoop.hdfs; import java.io.FileInputStream; import java.io.FileOutputStream; import java....
  • JAVA 从HDFS下载文件和文件夹到网页

    千次阅读 2019-08-11 19:48:03
    //下载文件夹 @RequestMapping(value = "/downDir", method = {RequestMethod.POST, RequestMethod.GET}) public ResponseEntity[]> downDir(HttpServletRequest request) throws Exception { ...
  • JAVA调用HDFS 创建文件夹

    千次阅读 2017-03-27 09:31:32
    /** * 创建文件夹 * @author julong * @date 2016-11-24 下午04:35:24 */ public static void mkdir(){ try { //创建文件配置对象 Configuration configuration = new Configuration(); //定义URL URI ...
  • Hadoop 从HDFS中删除文件夹命令

    千次阅读 2020-02-27 08:17:40
    文件夹HDFS上的位置 执行删除命令 hadoop fs -rm -r /gulivideo_etl 成功删除hdfs上的文件夹
  • hadoop distcp hdfs://pc1:8020/user/uar/receive/click/ (文件夹hdfs://pc4:8020/user/uar/receive/click/(文件夹) 如果是同步文件,把文件夹换文件就好了  18/10/30 16:23:01 INFO tools.DistCp:...
  •  这里基于上一篇博客(https://blog.csdn.net/gaofengyan/article/details/85790825)进行学习,hadoop和开发工具eclipse都已经安装好并配置好了,接下来就简单的文件夹创建、文件上传、下载、更改等操作简单体验...
  • HDFS文件夹上传和下载等命令

    万次阅读 2019-05-26 16:43:44
    一、用浏览器查看hdfs目录下的文件夹和文件 二、HDFS命令 零、码仙励志 白茶清欢无别事,我在等风也等你 一、用浏览器查看hdfs目录下的文件夹和文件 在浏览器中输入IP地址+端口号50070就可以,如下: 然后...
  • 用python统计hdfs目录文件夹的大小

    千次阅读 2018-04-13 16:45:27
    conf_sql=''' select dom_id, dom_name, sub_dom_id, sub_dom_name, data_sch, hdfs_location from sch_sdq.conf_hdfs_location where is_valid=1''' result= cursor.query(conf_sql) try: for line in result: ...
  • 从HDFS复制一个文件夹HDFS

    千次阅读 2016-09-28 20:04:18
    从HDFS复制一个文件夹HDFS public class FileHandle { /** * 设置hadoop HDFS 初始化配置方法 * @throws IOException */ public static FileSystem init(){
  • #!/bin/sh ls=`hdfs dfs -ls /hdfsOutput/data/sysgroup/d1/*/*/*` dir="/hdfsOutput/data/sysgroup/d1" for i in ${ls[@]} do  if [[ $i == *$dir* ]]  then  d=".done"  ...
  • Hadoop 从HDFS中删除文件、文件夹命令

    万次阅读 2020-02-05 12:14:33
    Hadoop 从HDFS中删除文件命令: hadoop fs -rm -r -skipTrash /path_to_file/file_name 例如: hadoop fs -rm -r -skipTrash /user/examples/src/main/...Hadoop 从HDFS中删除文件夹命令: hadoop fs -rm -r...
  • HDFS文件夹删除

    2020-06-25 11:47:13
    * 文件夹删除 * @throws IOException * @throws InterruptedException * @throws URISyntaxException */ @Test public void testDelete() throws IOException, InterruptedException, URISyntaxException{ ...
  • 说明:java实现从HDFS下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下 1.下载xxx文件 “下载文件” 执行流程说明: 1.构建hdfs连接,初始化Configuration 2.获取文件输入流...
  • 从hdfs下载文件或文件夹到本地目录 当集群是高可用时,配置hdfs访问地址: 当集群是ha高可用时,namenode为多节点,当namenode为standby时是不能被访问hdfs的,需要灵活的指定namenode,不能使用普通的hdfs地址, 高...
  • hadoop fs -getmerge file/* output
  • Python 创建HDFS文件夹

    千次阅读 2018-08-01 18:52:06
    直接上代码 #! /usr/bin/python2.7 # -*- coding: utf8 -*- import os import sys reload(sys) sys.setdefaultencoding("utf-8") sys.path.append("../"...def hadoop_m...
  • Hdfs文件夹配额设置

    2019-07-24 10:30:58
    在load hdfs文件到hive时报错 The DiskSpace quota of is exceeded 首先用hdfs用户登录 清除配额上线 hadoop dfsadmin -clrSpaceQuota hdfs://chinacreator/apps/hive/warehouse/frk.db/ 设置配额 ...
  • 查看hdfs文件夹大小

    万次阅读 2018-06-19 16:26:11
    例如查看ods库大小:hadoop fs -du -s -h /user/hive/warehouse/ods.db如果要查看其他文件夹则改成该文件夹路径。去掉-h选项则按Byte单位显示。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 50,999
精华内容 20,399
关键字:

从hdfs下载文件夹