精华内容
下载资源
问答
  • HDFS本地文件系统文件互导

    千次阅读 2017-10-21 15:18:10
    一、从本地文件系统HDFS 使用hdfs自带的命令 命令:hdfs dfs -copyFromLocal inputPath outputPath inputPath:本地文件目录的路径 outputPath:hdfs文件目录路径,即存储路径 二、从HDFS本地文件系统 ...

    一、从本地文件系统到HDFS
    使用hdfs自带的命令
    命令:hdfs dfs -copyFromLocal inputPath outputPath
    inputPath:本地文件目录的路径
    outputPath:hdfs文件目录路径,即存储路径
    二、从HDFS到本地文件系统
    命令:hdfs dfs -copyToLocal inputPath outputPath
    inputPath:hdfs文件目录
    outputPath:本地文件文件目录,即本地存储路径
    因为Hbas和Hive都在存储在HDFS中,所以可以通过该条命令可以把Hbase和Hive存储在HDFS中的文件复制出来。但是经过实践,通过这种方式复制出来的Hbase文件是乱码。Hive里的文件有时候也会乱码,这取决于Hive数据的插入方式。
    三、文件在HDFS内的移动
    1、从Hbase表导出数据到HDFS
    命令:hbase org.apache.hadoop.hbase.mapreduce.Export tableName outputPaht
    例子:hbase org.apache.hadoop.hbase.mapreduce.Export test /user/data
    test为需要从Hbase中导出的表,/user/data为hdfs上的路径,即存储路径,如果最后一个参数有前缀file:// 则为本地上的文件存储系统
    2、从HDFS导入到Hbase表中,需要事先建立好表结构
    命令:hbase org.apache.hadoop.hbase.mapreduce.Export tableName inputPaht
    例子:hbase org.apache.hadoop.hbase.mapreduce.Import test1 /temp/part-m-00000

    通过前面的上篇博客,通过Hive的外部表和托管表的运用可以将Hbase中表导出,并且不会乱码。

    展开全文
  • 可以user-》右键 upload window 本地一个文件, 但是像这种要执行的jar 包 直接在hdfs 文件系统上 使用 hadoop jar 命令是无法正确执行的, 上面的文件上传成功后: 执行命令: hadoop fs ...

    window 系统  linux 系统 hdfs 文件系统  相互转移

     

     

    eclipse 安装插件成功后: 会出现如下

     

    可以user-》右键  upload  window 本地一个文件, 但是像这种要执行的jar 包 直接在hdfs 文件系统上 使用 hadoop jar 命令是无法正确执行的,

     

    上面的文件上传成功后:

    执行命令:

     

    hadoop fs -ls /user

     

     

     

     

     

    可以看到有上传的文件
     

    需要如下操作, 将这个在文件系统上文件到linu 本地:

     

    执行如下命令:

    localfile 是你linux 本地地址   file是你的文件

     

    hadoop fs -get hdfs://host:port/user/file localfile

     

     

     

     

     

    上图所示 可以将文件转移到 linux 本地, 现在执行 

     

    hadoop jar   *.jar

     

     

    可以运行jar包

     

    可能出现问题:

     

    hadoop fs-copyToLocal /user/cpcn-StatementExternalBatchHadoop-1.0.0.1-SNAPSHOT.jar /usr/

    copyToLocal:/usr/cpcn-StatementExternalBatchHadoop-1.0.0.1-SNAPSHOT.jar._COPYING_ (权限不够) 

     

    解决办法: 

     如果  chmod 777   /usr/     chown   -r  用户名  /usr   还是不能解决  那么久不要放在这个目录下了

     

    在当前用户下执行命令

    新建文件夹

     

    mkdir file


    把localfile  改成 file/ 即可 执行。

     

     

    也可以用如下代码:

     

    import java.io.FileOutputStream;
    import java.io.OutputStream;
    import java.net.URI;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    
    public class HadoopToLocal {
        public static void main(String[] args) throws Exception {
            String dest = "hdfs://192.168.233.128:9000/user/cpcn-StatementExternalBatchHadoop-1.0.0.1-SNAPSHOT.jar";
            String local = "/file/";
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(URI.create(dest), conf);
            FSDataInputStream fsdi = fs.open(new Path(dest));
            OutputStream output = new FileOutputStream(local);
            IOUtils.copyBytes(fsdi, output, 4096, true);
        }
    }
    

     

     

     

     

     

     

     

     

     

     

    展开全文
  • 本篇文章主要介绍使用shell命令在xhsell工具上操作HDFS分布式文件系统。   1、fs最常用命令 hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 ...

    本篇文章主要介绍使用shell命令在xhsell工具上操作HDFS分布式文件系统。

     

    1、fs最常用命令

    hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录

    hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹

    hadoop fs -rm hdfs_path //删除HDFS上的文件

    hadoop fs -rmr hdfs_path //删除HDFS上的文件夹

    hadoop fs -put local_file hdfs_path //将本地文件copy到HDFS上

    hadoop fs -get hdfs_file local_path //复制HDFS文件到本地

    hadoop fs -cat hdfs_file //查看HDFS上某文件的内容

     

    2、查看目录下文件(夹)大小

    //单位Byte:

    bin/hadoop fs -du / | sort -n

    //单位MB:

    bin/hadoop fs -du / | awk -F ' ' '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' | sort -n

    //单位GB,大于1G:

    bin/hadoop fs -du / | awk -F ' ' '{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num, $2} }' | sort -n

     

    常用基本命令操作:

    官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

     

    常用基本命令操作:

    官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

    1、查看版本

    • hdfs version

     

    2、查看目录 hdfs dfs -ls

    • hadoop fs -get /user/hadoop/file localfile
    • hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile
    • hadoop fs -ls /

     

    3、添加文件夹 hadoop fs -mkdir /test

    • hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
    • hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir

     

    4、删除文件

    • hadoop fs -rmdir /user/hadoop/emptydir

     

    5、修改文件 put

    • hadoop fs -put localfile /user/hadoop/hadoopfile
    • hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
    • hadoop fs -put -d localfile hdfs://nn.example.com/hadoop/hadoopfile
    • hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.

     

    6、移动文件

    • hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
    • hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2
    • hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1

     

    7、复制文件

    • hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

     

    8、文件写入

    • hadoop fs -truncate -w 127 hdfs://nn1.example.com/user/hadoop/file1
    • hadoop fs -truncate 55 /user/hadoop/file1 /user/hadoop/file2

     

    9、查看

    • hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
    • hadoop fs -cat file:///file3 /user/hadoop/file4

     

    展开全文
  • Linux上传本地文件到Hadoop的HDFS文件系统

    万次阅读 多人点赞 2018-06-12 21:24:36
    记录如何将本地文件上传至HDFS中 前提是已经启动了hadoop成功(nodedate都成功启动) ①先切换到HDFS用户 ②创建一个input文件夹 zhangsf@hadoop1:~$ hdfs dfs -mkdir /input 多级创建的时候 hdfs dfs -mkdir ...

    记录如何将本地文件上传至HDFS中

    前提是已经启动了hadoop成功(nodedate都成功启动)

    ①先切换到HDFS用户

    ②创建一个input文件夹

    zhangsf@hadoop1:~$ hdfs dfs -mkdir /input

    多级创建的时候  hdfs dfs -mkdir -p /wifi/classify

    查看创建的文件夹在 hadoop1:50070中查看(我自己的对应的是:  http://192.168.5.130:50070)

    ③将本地文件上传到HDFS,前面为 服务器中的文件路径,后面为HDFS中路径

    zhangsf@hadoop1:~$ hdfs dfs -put /home/zhangsf/aaa.txt  /input
    zhangsf@hadoop1:~$ hdfs dfs  -ls /input
    Found 1 items
    -rw-r--r--   2 zhangsf supergroup         89 2018-06-12 06:03 /input/aaa.txt

          其中 aaa.txt 是本地文件

    zhangsf@hadoop1:~$ ls
    aaa.txt  data  hadoop  hadoop2  opt  package
    zhangsf@hadoop1:~$ pwd
    /home/zhangsf

          查看自己上传成功了,也可以进入hadoop1:7077的

       Browse Directory中查看

    查看

    上传成功ok!

    方法二: 使用moveFromLocal指令

    zhangsf@hadoop1:~$ hadoop fs -moveFromLocal aaa.txt  /data
    

     

     

     

    展开全文
  • 关键字:hadoop hdfs文件、appendToFile、getmerge 众所周知,HDFS中过多的小文件,会给NameNode造成...本文以TextFile为例,介绍一下从本地–>HDFSHDFS–>本地、以及HDFS–>HDFS文件上传下载移动过程中,对小
  • Linux本地上传文件到HDFS文件系统

    千次阅读 2018-12-17 11:22:05
    上传 切换用户 su hdfs 查看hdfs文件系统目录文件 hdfs dfs -ls /user/tgm 上传文件 hdfs dfs -put 本地文件目录 HDFS文件目录 删除文件 hdfs dfs -rm -r HDFS文件路径 ...
  • Hadoop支持通过NFSv3挂载HDFS文件系统到本地目录,允许用户像访问本地文件系统一样访问HDFS,对于普通用户来说大大的简化了HDFS的使用。该功能通过引入NFS Gateway服务实现,将NFS协议转换为HDFS访问协议。本篇文章...
  • HDFS分布式文件系统

    2014-02-28 01:16:56
    温馨提示:欢迎加入hadoop技术交流QQ群:338485052. 一、HDFS的简介 1、相关概念 (1)Block HDFS中的块Block是个抽象的...HDFS分布式文件系统的文件也被分成块进行存储,这是文件存储处理 的基本逻辑单元。 HDF
  • Hadoop中HDFS存储的文件到底存储在哪里1.前言HDFS存储机制ClientNameNode 与 DataNode2. Hdfs存储具体对应的计算机存储位置实践...这个put命令的作用是把本地的 example.file文件上传到HDFS分布式文件系统当中。那么有
  • Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统HDFS是一个高度容错性的系统,适合部署在廉价的机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。要理解HDFS的...
  • 配置hdfs映射本地文件系统 mount 1.在namenode上安装tomcat6 然后下载hdfs-webdav.war 拷贝到webapp下,2.进入webapp目录hdfs-webdav/linux_mount_lib 将fuse-2.7.4.tar.gz neon-0.28.3.tar.gz 解压,然后重新下载...
  • 一、文件系统 1. 概念 所谓文件系统,是操作系统用于明确磁盘...这里的本地文件系统指的是操作系统层面的文件系统,譬如Linux支持的文件系统,ext3,ext4及XFS等。 3. HDFS 我们知道HDFS的全称是Hadoop Distrib...
  • 【Hadoop】HDFS分布式文件系统

    千次阅读 2018-10-25 23:06:23
    HDFS-分布式文件系统基本知识简介HDFS相关概念块(Block)名称节点(NameNode)数据节点(DataNode)第二名称节点(Secondary NameNode)HDFS体系结构HDFS存储原理 基本知识 简介 1. 分布式文件系统是Hadoop两大核心组成...
  • 使用Spark读取HDFS文件时没有什么问题,只要把读取的路径设置为HDFS文件系统中文件的位置即可,可是在读取本地文件时(比如读取E:/file/user.json,E盘中的user.json文件时却总是报错)。 先展示正确的操作方法, ...
  • 本地文件存储到Hadoop中的hdfs中去,uploadPath问本地文件的路径,hdfsFileName为存入hdfs中的文件名, 一般路径的格式为: String hdfsPath="hdfs://192.168.248.129:9000/"+hfdsFileName 具体代码:...
  • HDFS分布式文件系统常用命令
  • HDFS分布式文件系统简介

    千次阅读 2018-03-27 14:18:36
    HDFS(Hadoop Distributed File System)Hadoop 分布式文件系统 基于流数据模式访问 就是可以字节序列化的数据,java.io.Serializable接口 分布式文件系统处理的数据必须是流数据,可以写IO操作的数据 以128MB的...
  • Hadoop 文件API的起点是...存在不同的具体实现子类来处理HDFS本地文件系统HDFS接口的FileSystem对象: Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(conf); package com.HDFSMe
  • 我是nodejs初学者,现在项目需要使用node.js去访问hdfs文件系统中的文件,查阅相关资料,说推荐使用webhdfs模块,创建client后读取数据流,再pipe到本地文件系统,code如下: demo.js ``` var WebHDFS = require...
  • 递归的拷贝本地文件hdfs文件系统中 //递归的拷贝本地文件hdfs文件系统中 @Test public static void copyFileToLocal(String filename) throws URISyntaxException, IOException, InterruptedException { ...
  • 引言:通过Java本地把windows里的文件资源上传到centOs环境下的 hdfs文件系统里,中间遇到了很多问题,不过最终还是把文件上传到了hdfs里了 环境:centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse 1、下载hadoop.2.8.5...
  • 分布式文件系统HDFS二.HDFS的特点及适用场景2.1 HDFS的高容错性2.2 HDFS的适用场景三.HDFS架构3.1 HDFS集群中的主要角色3.2 NameNode和Secondary Namenode的工作原理FsImage和EditsNameNode和Secondary Namenode的...
  • HDFS本地文件系统的关系

    千次阅读 2016-02-02 15:50:00
    HDFS是建立在本地文件系统之上的,HDFS是通过操作本地文件系统来存储数据的。 hadoop是在现有的文件系统上抽象了一层,但不全是本地文件系统。 为提供对不同数据访问的一致接口,hadoop借鉴了Linux的虚拟文件系统...
  • //获取本地文件系统对象 LocalFileSystem local = FileSystem . getLocal ( configuration ) ; FileStatus [ ] fileStatuses = local . listStatus ( new Path ( "file:/H:\\网易云音乐" ) ) ; for ...
  • HDFS文件系统

    千次阅读 2017-08-18 16:01:15
    HDFS文件系统 Hadoop 附带了一个名为 HDFS(hadoop分布式文件系统)的分布式文件系统,专门存储超大数据文件,为整个Hadoop生态圈提供了基础的存储服务。 本章内容: 1) HDFS文件系统的特点,以及不适用的场景 ...
  • 关于hadoop中HDFS本地文件系统的一些操作 FileSystem是HDFS文件系统,LocalFileSystem是本地文件系统 LocalFileSystem local = FileSystem.getLocal(conf); 对FileSystem进行读写操作 文件在本地有HDFS文件系统...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 71,327
精华内容 28,530
关键字:

hdfs本地文件系统