import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.*;

import org.apache.hadoop.fs.FileSystem;

 

import java.io.*;

 

public class CopyToLocal {

    public static void copyToLocal(Configuration conf, String remoteFilePath,

            String localFilePath) {

        Path remotePath = new Path(remoteFilePath);

        try (FileSystem fs = FileSystem.get(conf)) {

            File f = new File(localFilePath);

         

            if (f.exists()) {

                System.out.println(localFilePath + " 已存在.");

                Integer i = Integer.valueOf(0);

                while (true) {

                    f = new File(localFilePath + "_" + i.toString());

                    if (!f.exists()) {

                        localFilePath = localFilePath + "_" + i.toString();

                        break;

                    } else {

                        i++;

                        continue;

                    }

                }

                System.out.println("rename: " + localFilePath);

            }

            // local

            Path localPath = new Path(localFilePath);

            fs.copyToLocalFile(remotePath, localPath);

        } catch (IOException e) {

            // TODO Auto-generated catch block

            e.printStackTrace();

        }

    }

 

    //main

    public static void main(String[] args) {

        Configuration conf = new Configuration();

        conf.set("fs.defaultFS", "hdfs://localhost:9000");

        String localFilePath = "/usr/local/hadoop/20201010323/daixinyan20201010323.txt"; // local path

        String remoteFilePath = "/usr/local/hadoop/20201010323/daixinyan20201010323.txt"; // HDFS path

 

        try {

            CopyToLocal.copyToLocal(conf, remoteFilePath, localFilePath);

            System.out.println("completes");

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

 

}

import org.apache.hadoop.conf.Configuration;
 
import org.apache.hadoop.fs.*;
 
import org.apache.hadoop.fs.FileSystem;
 
 
 
import java.io.*;
 
 
 
public class CopyToLocal {
 
     /**
 
     * 下载文件到本地 判断本地路径是否已存在，若已存在，则自动进行重命名
 
     */
 
    public static void copyToLocal(Configuration conf, String remoteFilePath,
 
            String localFilePath) {
 
        Path remotePath = new Path(remoteFilePath);
 
        try (FileSystem fs = FileSystem.get(conf)) {
 
            File f = new File(localFilePath);
 
            /* 如果文件名存在，自动重命名(在文件名后面加上 _0, _1 ...) */
 
            if (f.exists()) {
 
                System.out.println(localFilePath + " 已存在.");
 
                Integer i = Integer.valueOf(0);
 
                while (true) {
 
                    f = new File(localFilePath + "_" + i.toString());
 
                    if (!f.exists()) {
 
                        localFilePath = localFilePath + "_" + i.toString();
 
                        break;
 
                    } else {
 
                        i++;
 
                        continue;
 
                    }
 
                }
 
                System.out.println("将重新命名为: " + localFilePath);
 
            }
 
            // 下载文件到本地
 
            Path localPath = new Path(localFilePath);
 
            fs.copyToLocalFile(remotePath, localPath);
 
        } catch (IOException e) {
 
            // TODO Auto-generated catch block
 
            e.printStackTrace();
 
        }
 
    }
 
 
 
    /**
 
     * 主函数
 
     */
 
    public static void main(String[] args) {
 
        Configuration conf = new Configuration();
 
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
 
        String localFilePath = "/usr/local/hadoop/test.txt"; // 本地路径
 
        String remoteFilePath = "/user/hadoop/test.txt"; // HDFS路径
 
 
 
        try {
 
            CopyToLocal.copyToLocal(conf, remoteFilePath, localFilePath);
 
            System.out.println("下载完成");
 
        } catch (Exception e) {
 
            e.printStackTrace();
 
        }
 
    }
 
 
 
}

 
 
假如我有一个文件在HDFS上分成了0~3，共四块，那么如何把它们下载到本地并且恢复成完整的文件呢？
 
 
public class TestCustomUploadAndDownload {

   private FileSystem fs;
   private FileSystem localFs;
   private Configuration conf = new Configuration();
	
	@Before
	public void init() throws IOException, URISyntaxException {
		//创建一个客户端对象
		 fs=FileSystem.get(new URI("hdfs://hadoop101:9000"),conf);
		 localFs=FileSystem.get(new Configuration());
	}
	
	@After
	public void close() throws IOException {
		if (fs !=null) {
			fs.close();
		}
	}
	
	//从HDFS中下载第一个块的文件，即0~128M
	@Test
	public void testFirstBlock() throws Exception {
		//提供两个Path，和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/firstblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		// 1k
		byte [] buffer=new byte[1024];
				
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 128; i++) {
					
			is.read(buffer);
			os.write(buffer);
					
		}
				
		//关流
		IOUtils.closeStream(is);
		IOUtils.closeStream(os);
	}
	
	//从HDFS中下载第二个块的文件，即128~256M
	@Test
	public void testSecondBlock() throws Exception {
		//提供两个Path，和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/secondblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		//定位到流的指定位置
		is.seek(1024*1024*128*2);
		
		// 1k
		byte [] buffer=new byte[1024];
				
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 128; i++) {	
			is.read(buffer);
			os.write(buffer);		
		}
				
		//关流
		IOUtils.closeStream(is);
		IOUtils.closeStream(os);
	}
//从HDFS中下载第三个块的文件，即256~384M
	@Test
	public void testSecondBlock() throws Exception {
		//提供两个Path，和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/thirdblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		//定位到流的指定位置
		is.seek(1024*1024*128*2);
		
		// 1k
		byte [] buffer=new byte[1024];
				
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 128; i++) {	
			is.read(buffer);
			os.write(buffer);		
		}
				
		//关流
		IOUtils.closeStream(is);
		IOUtils.closeStream(os);
	}
	
	//从HDFS中下载最后一个块的文件
	@Test
	public void testFinalBlock() throws Exception {
		//提供两个Path，和两个FileSystem
		Path src=new Path("/sts.zip");
		Path dest=new Path("e:/fourthblock");
		
		// 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据
		FSDataInputStream is = fs.open(src);
		// 使用本地文件系统中获取的输出流写入本地文件
		FSDataOutputStream os = localFs.create(dest, true);
		
		//定位到流的指定位置
		is.seek(1024*1024*128*3);
		
		//buffSize 默认不能超过4096
		IOUtils.copyBytes(is, os, 4096, true);
		//因为是最后一个块，所以直接使用流拷贝，拷贝剩下的所有文件
	}
 
这就是从HDFS下载在本地后每个块对应的文件了
 
 
 
 
那么，如何把这些零散的文件拼接成一个完整的文件呢？
 
 
在linux中，对文件的拼接使用的命令是cat
 例如，把文件1的内容追加到文件2中：
 
cat file1 >> file2
 
而在windows的cmd中，使用的命令是type
 把四个文件拼接在一起，分别执行：
 
type secondblock >> firstblock
type thirdblock >> firstblock
type fourthblock >> firstblock
 
最后恢复成原文件，只需要改后缀名即可!

package com.yc.hadoop.hdfs;





import java.net.URI;

import java.util.Scanner;





import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.log4j.Logger;





/**

 * 下载hdfs上的指定文件到本地

 * @company 源辰信息

 * @author navy

 */

public class Hadoop_HdfsApi06 {


 private static Logger log = Logger.getLogger(Hadoop_HdfsApi06.class);  // 创建日志记录器






 @SuppressWarnings("resource")


 public static void main(String[] args) {


 Scanner input = new Scanner(System.in);


 FileSystem fs = null;


 try {


 Configuration conf = new Configuration(); // 加载配置文件


 URI uri = new URI("hdfs://192.168.30.130:9000/");  // 连接资源位置


 fs = FileSystem.get(uri, conf ,"navy");  // 创建文件系统实例对象






 FileStatus[] files = fs.listStatus(new Path("/input/"));  // 列出文件


 


 System.out.println("可以选择的文件名：");


 for (FileStatus f : files) {


 System.out.println("\t" + f.getPath().getName());


 }


 System.out.print("请输入要下载的文件名：");


 Path p= new Path("/input/"+input.next());


 


 System.out.print("下载文件存放目录：");


 Path dst=new Path(input.next());


 


 // 注意：此时必须在window里面配置hadoop环境，必须定位winutils.exe文件


 fs.copyToLocalFile(false,p,dst,true); // 最后一个参数表示不用原始的本地文件系统，改用java的io流 


 


 log.debug("下载成功....");


 


 } catch (Exception e) {


 log.error("hdfs操作失败!!!", e);


 }


 }

}