精华内容
下载资源
问答
  • import org.apache.hadoop.conf.... // HDFS path try { CopyToLocal.copyToLocal(conf, remoteFilePath, localFilePath); System.out.println("completes"); } catch (Exception e) { e.printStackTrace(); } } }
    import org.apache.hadoop.conf.Configuration;
    
    import org.apache.hadoop.fs.*;
    
    import org.apache.hadoop.fs.FileSystem;
    
     
    
    import java.io.*;
    
     
    
    public class CopyToLocal {
    
        public static void copyToLocal(Configuration conf, String remoteFilePath,
    
                String localFilePath) {
    
            Path remotePath = new Path(remoteFilePath);
    
            try (FileSystem fs = FileSystem.get(conf)) {
    
                File f = new File(localFilePath);
    
             
    
                if (f.exists()) {
    
                    System.out.println(localFilePath + " 已存在.");
    
                    Integer i = Integer.valueOf(0);
    
                    while (true) {
    
                        f = new File(localFilePath + "_" + i.toString());
    
                        if (!f.exists()) {
    
                            localFilePath = localFilePath + "_" + i.toString();
    
                            break;
    
                        } else {
    
                            i++;
    
                            continue;
    
                        }
    
                    }
    
                    System.out.println("rename: " + localFilePath);
    
                }
    
                // local
    
                Path localPath = new Path(localFilePath);
    
                fs.copyToLocalFile(remotePath, localPath);
    
            } catch (IOException e) {
    
                // TODO Auto-generated catch block
    
                e.printStackTrace();
    
            }
    
        }
    
     
    
        //main
    
        public static void main(String[] args) {
    
            Configuration conf = new Configuration();
    
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
    
            String localFilePath = "/usr/local/hadoop/20201010323/daixinyan20201010323.txt"; // local path
    
            String remoteFilePath = "/usr/local/hadoop/20201010323/daixinyan20201010323.txt"; // HDFS path
    
     
    
            try {
    
                CopyToLocal.copyToLocal(conf, remoteFilePath, localFilePath);
    
                System.out.println("completes");
    
            } catch (Exception e) {
    
                e.printStackTrace();
    
            }
    
        }
    
     
    
    }
    
    
    展开全文
  • import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop... * 下载文件到本地 判断本地路径是否已存在,若已存在,则自动进行重命名 */ public static void ...

    import org.apache.hadoop.conf.Configuration;

    import org.apache.hadoop.fs.*;

    import org.apache.hadoop.fs.FileSystem;

     

    import java.io.*;

     

    public class CopyToLocal {

         /**

         * 下载文件到本地 判断本地路径是否已存在,若已存在,则自动进行重命名

         */

        public static void copyToLocal(Configuration conf, String remoteFilePath,

                String localFilePath) {

            Path remotePath = new Path(remoteFilePath);

            try (FileSystem fs = FileSystem.get(conf)) {

                File f = new File(localFilePath);

                /* 如果文件名存在,自动重命名(在文件名后面加上 _0, _1 ...) */

                if (f.exists()) {

                    System.out.println(localFilePath + " 已存在.");

                    Integer i = Integer.valueOf(0);

                    while (true) {

                        f = new File(localFilePath + "_" + i.toString());

                        if (!f.exists()) {

                            localFilePath = localFilePath + "_" + i.toString();

                            break;

                        } else {

                            i++;

                            continue;

                        }

                    }

                    System.out.println("将重新命名为: " + localFilePath);

                }

                // 下载文件到本地

                Path localPath = new Path(localFilePath);

                fs.copyToLocalFile(remotePath, localPath);

            } catch (IOException e) {

                // TODO Auto-generated catch block

                e.printStackTrace();

            }

        }

     

        /**

         * 主函数

         */

        public static void main(String[] args) {

            Configuration conf = new Configuration();

            conf.set("fs.defaultFS", "hdfs://localhost:9000");

            String localFilePath = "/usr/local/hadoop/test.txt"; // 本地路径

            String remoteFilePath = "/user/hadoop/test.txt"; // HDFS路径

     

            try {

                CopyToLocal.copyToLocal(conf, remoteFilePath, localFilePath);

                System.out.println("下载完成");

            } catch (Exception e) {

                e.printStackTrace();

            }

        }

     

    }

    展开全文
  • 假如我有一个文件HDFS上分成了0~2,共三块,那么如何把它们下载到本地并且恢复成完整的文件呢? public class TestCustomUploadAndDownload { private FileSystem fs; private FileSystem localFs; private ...

    假如我有一个文件在HDFS上分成了0~3,共四块,那么如何把它们下载到本地并且恢复成完整的文件呢?

    public class TestCustomUploadAndDownload {
    
       private FileSystem fs;
       private FileSystem localFs;
       private Configuration conf = new Configuration();
    	
    	@Before
    	public void init() throws IOException, URISyntaxException {
    		//创建一个客户端对象
    		 fs=FileSystem.get(new URI("hdfs://hadoop101:9000"),conf);
    		 localFs=FileSystem.get(new Configuration());
    	}
    	
    	@After
    	public void close() throws IOException {
    		if (fs !=null) {
    			fs.close();
    		}
    	}
    	
    	//从HDFS中下载第一个块的文件,即0~128M
    	@Test
    	public void testFirstBlock() throws Exception {
    		//提供两个Path,和两个FileSystem
    		Path src=new Path("/sts.zip");
    		Path dest=new Path("e:/firstblock");
    		
    		// 使用HDFS的分布式文件系统中获取的输入流,读取HDFS上指定路径的数据
    		FSDataInputStream is = fs.open(src);
    		// 使用本地文件系统中获取的输出流写入本地文件
    		FSDataOutputStream os = localFs.create(dest, true);
    		
    		// 1k
    		byte [] buffer=new byte[1024];
    				
    		// 流中数据的拷贝
    		for (int i = 0; i < 1024 * 128; i++) {
    					
    			is.read(buffer);
    			os.write(buffer);
    					
    		}
    				
    		//关流
    		IOUtils.closeStream(is);
    		IOUtils.closeStream(os);
    	}
    	
    	//从HDFS中下载第二个块的文件,即128~256M
    	@Test
    	public void testSecondBlock() throws Exception {
    		//提供两个Path,和两个FileSystem
    		Path src=new Path("/sts.zip");
    		Path dest=new Path("e:/secondblock");
    		
    		// 使用HDFS的分布式文件系统中获取的输入流,读取HDFS上指定路径的数据
    		FSDataInputStream is = fs.open(src);
    		// 使用本地文件系统中获取的输出流写入本地文件
    		FSDataOutputStream os = localFs.create(dest, true);
    		
    		//定位到流的指定位置
    		is.seek(1024*1024*128*2);
    		
    		// 1k
    		byte [] buffer=new byte[1024];
    				
    		// 流中数据的拷贝
    		for (int i = 0; i < 1024 * 128; i++) {	
    			is.read(buffer);
    			os.write(buffer);		
    		}
    				
    		//关流
    		IOUtils.closeStream(is);
    		IOUtils.closeStream(os);
    	}
    //从HDFS中下载第三个块的文件,即256~384M
    	@Test
    	public void testSecondBlock() throws Exception {
    		//提供两个Path,和两个FileSystem
    		Path src=new Path("/sts.zip");
    		Path dest=new Path("e:/thirdblock");
    		
    		// 使用HDFS的分布式文件系统中获取的输入流,读取HDFS上指定路径的数据
    		FSDataInputStream is = fs.open(src);
    		// 使用本地文件系统中获取的输出流写入本地文件
    		FSDataOutputStream os = localFs.create(dest, true);
    		
    		//定位到流的指定位置
    		is.seek(1024*1024*128*2);
    		
    		// 1k
    		byte [] buffer=new byte[1024];
    				
    		// 流中数据的拷贝
    		for (int i = 0; i < 1024 * 128; i++) {	
    			is.read(buffer);
    			os.write(buffer);		
    		}
    				
    		//关流
    		IOUtils.closeStream(is);
    		IOUtils.closeStream(os);
    	}
    	
    	//从HDFS中下载最后一个块的文件
    	@Test
    	public void testFinalBlock() throws Exception {
    		//提供两个Path,和两个FileSystem
    		Path src=new Path("/sts.zip");
    		Path dest=new Path("e:/fourthblock");
    		
    		// 使用HDFS的分布式文件系统中获取的输入流,读取HDFS上指定路径的数据
    		FSDataInputStream is = fs.open(src);
    		// 使用本地文件系统中获取的输出流写入本地文件
    		FSDataOutputStream os = localFs.create(dest, true);
    		
    		//定位到流的指定位置
    		is.seek(1024*1024*128*3);
    		
    		//buffSize 默认不能超过4096
    		IOUtils.copyBytes(is, os, 4096, true);
    		//因为是最后一个块,所以直接使用流拷贝,拷贝剩下的所有文件
    	}
    

    这就是从HDFS下载在本地后每个块对应的文件了

    在这里插入图片描述

    那么,如何把这些零散的文件拼接成一个完整的文件呢?

    linux中,对文件的拼接使用的命令是cat
    例如,把文件1的内容追加到文件2中:

    cat file1 >> file2
    

    而在windows的cmd中,使用的命令是type
    把四个文件拼接在一起,分别执行:

    type secondblock >> firstblock
    type thirdblock >> firstblock
    type fourthblock >> firstblock
    

    最后恢复成原文件,只需要改后缀名即可!

    展开全文
  • 下载hdfs上的指定文件到本地

    千次阅读 2018-03-23 20:42:37
    package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...
    package com.yc.hadoop.hdfs;
    


    import java.net.URI;
    import java.util.Scanner;


    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileStatus;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.log4j.Logger;


    /**
     * 下载hdfs上的指定文件到本地
     * @company 源辰信息
     * @author navy
     */
    public class Hadoop_HdfsApi06 {
    private static Logger log = Logger.getLogger(Hadoop_HdfsApi06.class);  // 创建日志记录器


    @SuppressWarnings("resource")
    public static void main(String[] args) {
    Scanner input = new Scanner(System.in);
    FileSystem fs = null;
    try {
    Configuration conf = new Configuration(); // 加载配置文件
    URI uri = new URI("hdfs://192.168.30.130:9000/");  // 连接资源位置
    fs = FileSystem.get(uri, conf ,"navy");  // 创建文件系统实例对象


    FileStatus[] files = fs.listStatus(new Path("/input/"));  // 列出文件

    System.out.println("可以选择的文件名:");
    for (FileStatus f : files) {
    System.out.println("\t" + f.getPath().getName());
    }
    System.out.print("请输入要下载的文件名:");
    Path p= new Path("/input/"+input.next());

    System.out.print("下载文件存放目录:");
    Path dst=new Path(input.next());

    // 注意:此时必须在window里面配置hadoop环境,必须定位winutils.exe文件
    fs.copyToLocalFile(false,p,dst,true); // 最后一个参数表示不用原始的本地文件系统,改用java的io流 

    log.debug("下载成功....");

    } catch (Exception e) {
    log.error("hdfs操作失败!!!", e);
    }
    }
    }
    展开全文
  • 之前小白已经对shell调用Python...本篇主要介绍shell脚本如何从HDFS上获取文件,和文件的引用。 1.从HDFS获取文件到当前路径 这个步骤的前置步骤就是首先在HDFS上已经上传了文件,然后获取文件到当前路径。 hdfs...
  • 删除HDFS中指定文件

    2021-03-29 13:55:31
    conf.set("fs.defaultFS", "hdfs://master:9000"); String remoteFilePath = "/user/hadoop/dir/daixinyan20201010323.txt"; // HDFS path try { RemoveOrMake.rm(conf, remoteFilePath); System.out.println(...
  • 对于我这种刚开始学习Hadoop的人员,需要频繁的在本地电脑和HDFS之间上传下载以及删除文件,如果全部采用代码操作比较麻烦。 针对windows系统,有一些连接HDFS进行文档管理的工具,比如说HDFS+Explorer。 但是我的是...
  • import java.io.IOException; import java.util.Scanner; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; ... * 删除文件 */ public static ...
  • hdfs批量上传下载文件和删除指定目录下文件 一、hdfs批量下载文件 hdfs dfs -get s3a://com-nio-insight-stg/infrastructure/zeppelin/notebook/
  • 文件下载 @Test public void testCopyToLocalFile() throws Exception { //1 获取文件系统 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf...
  • // HDFS file String content = "ID: 20201010323\nname: daixinyan\nage: 23\n gender: female\nclasssID: 20203\nmajor: computer\n"; //String choice = "after"; // append end String choice = "before"; // ...
  • (2)从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;(3)将HDFS中指定文件的内容输出到终端;(4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;(5)给定HDFS...
  • import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.FileSystem; ...import java.io.*;...import java.text.SimpleDateFormat;... public static void ls...
  • 读取hdfs指定文件中的内容

    千次阅读 2018-03-23 20:42:03
    package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileStatus...
  • } else if (choice.equals("before")) { // 追加到文件开头 /* 没有相应的api可以直接操作,因此先把文件移动到本地,创建一个新的HDFS,再按顺序追加内容 */ String localTmpPath = "/usr/local/hadoop/tmp.txt";...
  • ---基于JAVA的HDFS文件操作一、准备文件数据二、编写程序1、向HDFS上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件2、从HDFS中下载指定文件,如果本地文件与...
  • copyFromLocal 本地copy到HDFS copyToLocal 从HDFScopy到本地 get 下载 put 上传 实战要求,在本地搭建一个NameNode和多个DataNode 测试文件的上传和下载 1,打开终端 sbin$ 目录下启动文件 进入bin$...
  • HDFS编程实践

    千次阅读 2019-11-02 23:33:06
    目录: 前提 在VMware查找虚拟机的IP地址​ 启动putty 启动Hadoop ...2、向HDFS中上传任意文本文件,如果指定文件HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件(第二种...
  • #!/bin/bash #========================================...#功能:下载hdfs文件到本地脚本 #调用方法: sh getfromfstolocal.sh YYYYMMDD SRC username HDFS_PATH #调用说明: sh getfromfstolocal.sh 日期 源系统 ...
  • 更多编程教程请到:菜鸟教程 ...友情链接: ... 当我们使用python的hdfs包进行上传和下载文件的时候,总会出现如下问题 requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.
  • 从hdfs下载文件或文件夹到本地目录 当集群是高可用时,配置hdfs访问地址: 当集群是ha高可用时,namenode为多节点,当namenode为standby时是不能被访问hdfs的,需要灵活的指定namenode,不能使用普通的hdfs地址, 高...
  • import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.FileSystem; ...import java.io.*;... * 显示指定文件的信息 */ public static...
  • conf.set("fs.defaultFS","hdfs://localhost:9000"); String localFilePath="/usr/local/hadoop/20201010323/daixinyan20201010323.txt"; String remoteFilePath="/user/hadoop/20201010323/daixinyan...
  • spark 输出文件的默认文件名 : part-000xxx part-000xxx 比如: 代码: import org.apache.spark._ import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat /** 第一步: * 自定义类继承...
  • 删除hdfs指定文件

    千次阅读 2018-03-23 20:41:24
    package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...
  • HDFS常用Shell命令

    2021-01-07 09:35:42
    本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发可使用 bin/hadoop fs查看命令详情 使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文使用T表示target 基本命令 1.启动...
  • HDFS 上传和下载文件

    千次阅读 2019-05-25 11:48:29
    * 上传文件或目录到HDFS指定路径下 * @param localPath 本地文件或目录路径 * @param dstDir hdfs指定路径 * @throws IOException */ public static void uploadLocalFile(String localPath, String ...
  • // to HDFS path try { if (MoveFile.mv(conf, remoteFilePath, remoteToFilePath)) { System.out.println("file " + remoteFilePath + " move to " + remoteToFilePath); } else { System.out.println("Operation ...
  • Linux 删除hdfs上的指定文件夹

    千次阅读 2019-05-22 15:37:53
    Linux 删除hdfs上的指定文件夹 知识点1:用 cat … | while read line 循环文件的每一行 知识点2:用 =~ 判断左边字符串是否包含右边字符串 batchid=20190520202202 hdfs dfs -ls /Data/beforeMerge/$batchid/JON* |...
  • hdfs上传/下载文件过程详解

    千次阅读 2021-01-11 22:16:27
    hdfs上传文件过程详解 client端通知namenode要上传文件,namenode检查文件名是否已经存在,如果不存在通知可以上传,并且返回可以用于存储的datanode列表 client 切割文件为block块(默认大小128MB),向namenode请求...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 94,441
精华内容 37,776
关键字:

从hdfs中下载指定文件