精华内容
下载资源
问答
  • HDFS——如何将文件从HDFS复制到本地

    万次阅读 2018-09-28 08:42:18
    下面两个命令是把文件从HDFS上下载到本地的命令。 get 使用方法:Hadoop fs -get [-ignorecrc] [-crc] 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。 ...

    下面两个命令是把文件从HDFS上下载到本地的命令。

    get

    使用方法:Hadoop fs -get [-ignorecrc] [-crc]

    复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

    示例:

    hadoop fs -get /user/hadoop/file localfile

    hadoop fs -get hdfs://host:port/user/hadoop/file localfile

    返回值:

    成功返回0,失败返回-1。

    copyToLocal

    使用方法:hadoop fs -copyToLocal [-ignorecrc] [-crc] URI

    除了限定目标路径是一个本地文件外,和get命令类似。

    也可以用如下的程序可实现将HDFS上的文件下载到本地。

    import java.net.URI;
    import java.io.OutputStream;
    import java.io.BufferedInputStream;
    import java.io.FileInputStream;
    import java.io.FileOutputStream;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    public class FileCopy2Local
    {
     public static void main(String[] args) throws Exception
     {
      String dest = "hdfs://localhost:9000/user/laozhao0/cite2.txt";
      String local = "/home/laozhao0/cite2.txt";
      Configuration conf = new Configuration();
      FileSystem fs = FileSystem.get(URI.create(dest),conf);
      FSDataInputStream fsdi = fs.open(new Path(dest));
      OutputStream output = new FileOutputStream(local);
      IOUtils.copyBytes(fsdi,output,4096,true);
     }
    }

    --------------------- 本文来自 mishidemudong 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/u010159842/article/details/71630268?utm_source=copy

    展开全文
  • hadoop fs -get hdfs://host:port/user/hadoop/file localfile
    hadoop fs -get hdfs://host:port/user/hadoop/file localfile
    
    展开全文
  • HDFS:如何将文件从HDFS复制到本地

    千次阅读 2018-04-12 16:52:31
    下面两个命令是把文件从HDFS上下载到本地的命令。 get 使用方法:Hadoop fs -get [-ignorecrc] [-crc] 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。 ...

    下面两个命令是把文件从HDFS上下载到本地的命令。

    get

    使用方法:Hadoop fs -get [-ignorecrc] [-crc]

    复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

    示例:

    hadoop fs -get /user/hadoop/file localfile

    hadoop fs -get hdfs://host:port/user/hadoop/file localfile

    返回值:

    成功返回0,失败返回-1。

    copyToLocal

    使用方法:hadoop fs -copyToLocal [-ignorecrc] [-crc] URI

    除了限定目标路径是一个本地文件外,和get命令类似。

    也可以用如下的程序可实现将HDFS上的文件下载到本地。

    import java.net.URI;
    import java.io.OutputStream;
    import java.io.BufferedInputStream;
    import java.io.FileInputStream;
    import java.io.FileOutputStream;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    public class FileCopy2Local
    {
     public static void main(String[] args) throws Exception
     {
      String dest = "hdfs://localhost:9000/user/laozhao0/cite2.txt";
      String local = "/home/laozhao0/cite2.txt";
      Configuration conf = new Configuration();
      FileSystem fs = FileSystem.get(URI.create(dest),conf);
      FSDataInputStream fsdi = fs.open(new Path(dest));
      OutputStream output = new FileOutputStream(local);
      IOUtils.copyBytes(fsdi,output,4096,true);
     }
    }

    转载自:https://blog.csdn.net/u010159842/article/details/71630268

    展开全文
  • 使用get指令将文件从HDFS复制到本地

    万次阅读 2016-06-21 20:15:06
    复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。 示例: hadoop fs -get /user/hadoop/file localfile hadoop fs -gethdfs://host:port/user/hadoo

    get

    使用方法:Hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

    复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

    示例:

    hadoop fs -get /user/hadoop/file localfile

    hadoop fs -gethdfs://host:port/user/hadoop/file localfile

    hadoop fs –get /user/t/ok.txt /home/t

    返回值:

    成功返回0,失败返回-1。


    copyToLocal

    使用方法:hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

    除了限定目标路径是一个本地文件外,和get命令类似。


     


    展开全文
  • 1. hdfs复制数据到本地服务器 hdfs dfs -copyToLocal hdfs://IP地址:8020/user/用户名/数据 /home/用户名/ 这里使用-copyToLocal 将hdfs数据复制到本地服务器。 2. 从本地服务器复制数据远程服务器 scp 你...
  • public static void main(String[] args) throws Exception { String localSrc = "/home/ganliang/test_fileCopyWithProgress.txt";//本地文件 ...hdfs://localhost:9000/user/ganliang/ha...
  • 通过NFSv3挂载HDFS到本地目录

    千次阅读 2014-01-14 10:27:29
    1.1 配置 编辑$HADOOP_HOME/etc/hadoop/hdsf-site.xml文件,增加如下配置:  dfs.access.time.precision ... The access time for HDFS file is precise upto thisvalue.  The default value is 1 hour
  • 使用NFSv3将HDFS挂载到本地

    千次阅读 2015-09-03 09:33:00
    centos7,使用NFSv3将HDFS挂载到本地
  • HDFS复制一个文件夹HDFS

    千次阅读 2016-09-28 20:04:18
    HDFS复制一个文件夹HDFS public class FileHandle { /** * 设置hadoop HDFS 初始化配置方法 * @throws IOException */ public static FileSystem init(){
  • hdfs拷贝文件到本地 使用 get命令 hdfs dfs -get -hdfsDirFile -localDir的格式 如: hdfs dfs -get /data/warehouse/1.log /data/user/ 或 hadoop fs -get /data/warehouse/1.log /data/user/ 使用 copyToLocal...
  • hdfs copyToLocalFile拷贝文件到本地

    千次阅读 2018-11-15 18:43:38
    有时候需要将集群上的文件拷贝执行机工作目录里,常使用copyToLocalFile函数 代码如下: public static void getFileFromHDFS(String hdfssrc, String localdst) { Log.info("copy file from hdfs to ...
  • HDFS基础】HDFS文件目录详解

    万次阅读 2017-07-28 16:09:26
    HDFS的文件目录图分析:从上图可以看出,HDFS的文件目录主要由NameNode、SecondaryNameNode和DataNode组成,而NameNode和DataNode之间由心跳机制通信。注: HDFS(Hadoop Distributed File System)默认的存储单位是...
  • eclipse中连接HDFS,上传本地文件夹

    千次阅读 2018-03-27 14:25:08
    连接HDFS的步骤// 准备连接HDFS的操作支持类Configuration conf = new Configuration();// 所要写入的路径,path要用于创建文件系统和创建连接hadoop的create路径Path path = new Path("hdfs://192.168.43....
  • 下面两个命令是把文件从HDFS上下载到本地的命令。get使用方法:Hadoop fs -get [-ignorecrc] [-crc]复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。示例:...
  • Hadoop 文件API的起点是...存在不同的具体实现子类来处理HDFS本地文件系统。 HDFS接口的FileSystem对象: Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(conf); package com.HDFSMe
  • Linux本地上传文件到HDFS文件系统

    千次阅读 2018-12-17 11:22:05
    上传 切换用户 su hdfs 查看hdfs文件系统目录文件 hdfs dfs -ls /user/tgm 上传文件 hdfs dfs -put 本地文件目录 HDFS文件目录 删除文件 hdfs dfs -rm -r HDFS文件路径 ...
  • HDFS——如何将文件复制到HDFS

    千次阅读 2014-04-18 08:33:22
    在Hadoop中用作文件操作的主类位于org.apache.hadoop.fs包中...Hadoop文件API的起点是FileSystem类,这是一个与文件系统交互的抽象类,存在不同的具体实现子类来处理HDFS本地文件系统,可以通过调用factory方法FileSy
  • HDFS本地文件系统文件互导

    千次阅读 2017-10-21 15:18:10
    一、从本地文件系统到HDFS 使用hdfs自带的命令 命令:hdfs dfs -copyFromLocal inputPath outputPath inputPath:本地文件目录的路径 outputPath:hdfs文件目录路径,即存储路径 二、从HDFS到本地文件系统 ...
  • 可以user-》右键 upload window 本地一个文件, 但是像这种要执行的jar 包 直接在hdfs 文件系统上 使用 hadoop jar 命令是无法正确执行的, 上面的文件上传成功后: 执行命令: hadoop fs ...
  • 本地文件上传 HDFS 的shell执行脚本

    千次阅读 2019-03-19 10:16:48
    实现:分两步进行,第一步将文件复制到待上传目录,第二步将文件设置标志(copy)循环逐条复制hdfs中,并更改标志(done) 3.代码及结果展示 1.功能: 将本地日志上传到hdfs中。 2.实现: 分两步进行, 第一步...
  • HDFS- 数据复制

    千次阅读 2020-08-06 15:16:49
    复制文件的块以实现容错,且一般复制出的文件块会存储不同的 DataNode 中。每个文件的Block大小和Replication因子都是可配置的。。 Replication因子在文件创建的时候会默认读取客户端的HDFS配置,然后创建(可改变)...
  • fuse挂载hadoop2.0.0文件系统hdfs到本地

    千次阅读 2014-04-01 17:38:15
    ),然后将其目录下的库文件全部复制到$HADOOP_HOME/src/hadoop-mapreduce1-project/build/c++/Linux-amd64-64/lib再创建软连接如下  注意:一定要按照hadoop版本去找到对应的目录,再创建链接:   ln ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 36,309
精华内容 14,523
关键字:

hdfs复制到本地目录