精华内容
下载资源
问答
  • window 系统 linux 系统 hdfs 文件系统 相互转移 eclipse 安装插件成功后: 会出现如下 可以user-》右键 upload window 本地一个文件, 但是像这种要执行的jar 包 直接在hdfs 文件系统上 使用 hadoop jar...

    window 系统  linux 系统 hdfs 文件系统  相互转移

     

     

    eclipse 安装插件成功后: 会出现如下

     

    可以user-》右键  upload  window 本地一个文件, 但是像这种要执行的jar 包 直接在hdfs 文件系统上 使用 hadoop jar 命令是无法正确执行的,

     

    上面的文件上传成功后:

    执行命令:

     

    hadoop fs -ls /user

     

     

     

     

     

    可以看到有上传的文件
     

    需要如下操作, 将这个在文件系统上文件到linu 本地:

     

    执行如下命令:

    localfile 是你linux 本地地址   file是你的文件

     

    hadoop fs -get hdfs://host:port/user/file localfile

     

     

     

     

     

    上图所示 可以将文件转移到 linux 本地, 现在执行 

     

    hadoop jar   *.jar

     

     

    可以运行jar包

     

    可能出现问题:

     

    hadoop fs-copyToLocal /user/cpcn-StatementExternalBatchHadoop-1.0.0.1-SNAPSHOT.jar /usr/

    copyToLocal:/usr/cpcn-StatementExternalBatchHadoop-1.0.0.1-SNAPSHOT.jar._COPYING_ (权限不够) 

     

    解决办法: 

     如果  chmod 777   /usr/     chown   -r  用户名  /usr   还是不能解决  那么久不要放在这个目录下了

     

    在当前用户下执行命令

    新建文件夹

     

    mkdir file


    把localfile  改成 file/ 即可 执行。

     

     

    也可以用如下代码:

     

    import java.io.FileOutputStream;
    import java.io.OutputStream;
    import java.net.URI;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    
    public class HadoopToLocal {
        public static void main(String[] args) throws Exception {
            String dest = "hdfs://192.168.233.128:9000/user/cpcn-StatementExternalBatchHadoop-1.0.0.1-SNAPSHOT.jar";
            String local = "/file/";
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(URI.create(dest), conf);
            FSDataInputStream fsdi = fs.open(new Path(dest));
            OutputStream output = new FileOutputStream(local);
            IOUtils.copyBytes(fsdi, output, 4096, true);
        }
    }
    

     

     

     

     

     

     

     

     

     

     

    展开全文
  • 记录如何将本地文件上传至HDFS中前提是已经启动了hadoop成功(nodedate都成功启动)①先切换到HDFS用户②创建一个input文件夹zhangsf@hadoop1:~$ hdfs dfs -mkdir /input查看创建的文件夹在 hadoop1:50070中查看(我...

    记录如何将本地文件上传至HDFS中

    前提是已经启动了hadoop成功(nodedate都成功启动)

    ①先切换到HDFS用户

    ②创建一个input文件夹

    zhangsf@hadoop1:~$ hdfs dfs -mkdir /input

    查看创建的文件夹在 hadoop1:50070中查看(我自己的对应的是:  http://192.168.5.130:50070)

    c130ad13da6fd4e815a64a22b88cd905.png

    ③将本地文件上传到HDFS,前面为 服务器中的文件路径,后面为HDFS中路径

    zhangsf@hadoop1:~$ hdfs dfs -put /home/zhangsf/aaa.txt /input

    zhangsf@hadoop1:~$ hdfs dfs -ls /input

    Found 1 items

    -rw-r--r-- 2 zhangsf supergroup 89 2018-06-12 06:03 /input/aaa.txt

    其中 aaa.txt 是本地文件

    zhangsf@hadoop1:~$ ls

    aaa.txt data hadoop hadoop2 opt package

    zhangsf@hadoop1:~$ pwd

    /home/zhangsf

    查看自己上传成功了,也可以进入hadoop1:7077的

    Browse Directory中查看

    b271576755f626e06f6146a417752126.png

    查看

    c33e485dce16934e86902e9d2e2fe290.png

    上传成功ok!

    方法二: 使用moveFromLocal指令

    zhangsf@hadoop1:~$ hadoop fs -moveFromLocal aaa.txt /data

    4e41272cb3a1e32cbbe4e35fe2c00bb9.png

    展开全文
  • 记录如何将本地文件上传至HDFS中前提是已经启动了hadoop成功(nodedate都成功启动)①先切换到HDFS用户②创建一个input文件夹zhangsf@hadoop1:~$ hdfs dfs -mkdir /input多级创建的时候 hdfs dfs -mkdir -p /wifi/...

    记录如何将本地文件上传至HDFS中

    前提是已经启动了hadoop成功(nodedate都成功启动)

    ①先切换到HDFS用户

    ②创建一个input文件夹

    zhangsf@hadoop1:~$ hdfs dfs -mkdir /input

    多级创建的时候  hdfs dfs -mkdir -p /wifi/classify

    查看创建的文件夹在 hadoop1:50070中查看(我自己的对应的是:  http://192.168.5.130:50070)

    603637871a1dd88beb3b1dc2ac3b29bf.png

    ③将本地文件上传到HDFS,前面为 服务器中的文件路径,后面为HDFS中路径

    zhangsf@hadoop1:~$ hdfs dfs -put /home/zhangsf/aaa.txt /input

    zhangsf@hadoop1:~$ hdfs dfs -ls /input

    Found 1 items

    -rw-r--r-- 2 zhangsf supergroup 89 2018-06-12 06:03 /input/aaa.txt

    其中 aaa.txt 是本地文件

    zhangsf@hadoop1:~$ ls

    aaa.txt data hadoop hadoop2 opt package

    zhangsf@hadoop1:~$ pwd

    /home/zhangsf

    查看自己上传成功了,也可以进入hadoop1:7077的

    Browse Directory中查看

    0e2a2d6fe4add12f3111e93aa18a2ccb.png

    查看

    1c88b7e2d9aa0710334c37e23f17550d.png

    上传成功ok!

    方法二: 使用moveFromLocal指令

    zhangsf@hadoop1:~$ hadoop fs -moveFromLocal aaa.txt /data

    7392e14ae36a121eba223b3e61da6524.png

    展开全文
  • Linux本地上传文件到HDFS文件系统

    千次阅读 2018-12-17 11:22:05
    上传 切换用户 su hdfs 查看hdfs文件系统目录文件 hdfs dfs -ls /user/tgm 上传文件 hdfs dfs -put 本地文件目录 HDFS文件目录 删除文件 hdfs dfs -rm -r HDFS文件路径 ...

    上传

    切换用户

    su hdfs
    

    在这里插入图片描述

    • 查看hdfs文件系统目录文件
    hdfs dfs -ls /user/tgm
    

    在这里插入图片描述
    在这里插入图片描述

    • 上传文件
    hdfs dfs -put 本地文件目录  HDFS文件目录
    

    在这里插入图片描述
    在这里插入图片描述

    • 删除文件
    hdfs dfs -rm -r HDFS文件路径
    

    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • Linux上传本地文件到HDFS

    万次阅读 多人点赞 2018-01-15 16:02:37
    上一篇文章记录了如何使用java代码将本地文件上传到HDFS中,之后我又尝试了直接使用Linux命令上传文件,过程如下。 su hdfs //切换到HDFS用户 cd /home/hdfs/files //进入服务器中文件所在目录 ls //查看此目录...
  • Linux上传本地文件Hadoop的HDFS文件系统

    万次阅读 多人点赞 2018-06-12 21:24:36
    记录如何将本地文件上传至HDFS中 前提是已经启动了hadoop成功(nodedate都成功启动) ①先切换到HDFS用户 ②创建一个input文件夹 zhangsf@hadoop1:~$ hdfs dfs -mkdir /input 多级创建的时候 hdfs dfs -mkdir ...
  • 1、软件下载 hdfs-webdav.war ... 把war包放tomcat下面,启动tomcat会自动解压该war包,在/usr/tomcat6/webapps/hdfs-webdav/linux_mount_lib/目录下有fuse-2.7.4.tar.gz和neon-0.28.3.tar...
  • 使用虚拟机创建了3个节点服务器,想在本地使用python操作hdfs,可以使用安装hdfs模块进行操作 一、安装hdfs ...把服务器节点信息也配置本地hosts文件 10.10.10.100 master 10.10.10.101 slave01
  • Hadoop支持通过NFSv3挂载HDFS文件系统本地目录,允许用户像访问本地文件系统一样访问HDFS,对于普通用户来说大大的简化了HDFS的使用。该功能通过引入NFS Gateway服务实现,将NFS协议转换为HDFS访问协议。本篇文章...
  • 通过参考网络文章,这里进行对比一下Hadoop 分布式文件系统(HDFS)与 传统文件系统之间的关系: Linux 文件系统 分布式文件系统 块 块对应物理磁盘的block 块对应linux 文件 读写单位 一个...
  • 每个磁盘都有默认的数据块大小,这是磁盘进行数据读/写的最小单位。 而构建于单个磁盘之上的文件系统(linux文件系统)通过磁盘块来管理该文件系统中的块,该文件...HDFS同样也有块的概念,HDFS文件系统中的块指的...
  • #!/bin/bash #========================================...#功能:下载hdfs文件到本地脚本 #调用方法: sh getfromfstolocal.sh YYYYMMDD SRC username HDFS_PATH #调用说明: sh getfromfstolocal.sh 日期 源系统 ...
  • 一、windows上传文件到 linuxhdfs 1、先在 centos 上开启 hdfs, 用 jps 可以看到下面信息, 说明完成开启 2、在win上配置 hadoop (https://www.cnblogs.com/Jomini/p/11432484.html) 后, 要在 hadoop 的...
  • 前言 在文件系统的使用中,在某些场合我们往往会有这样一个需求点:我们想对某个文件/目录进行事件监听,监听的事件包括在目标目录下新增文件了,又或者说是删除了...那么在目前现有的Linux操作系统中,是否有这样的一
  • 2.将本地的test.csv文件上传至hdfs文件系统中 方法一:-put命令,其中/user/tmp/为hdfs中的路径 hdfs dfs -put test.csv /user/tmp/ 方法二:-moveFromLocal命令 hdfs dfs -moveFromLocal test.csv /user/tmp/ .....
  •  结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs.   1.Webdav协议介绍: WebDAV(W...
  •   使用hadoop的shell命令进行hdfs的... 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用...
  • Apache-->hadoop的官网文档命令学习:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI...对HDFS文件
  • 如何在hdfs上将文件下载In the screen, copying the history of the window output is quite hard. How to save the screen easily to a file? 在screen ,很难复制窗口输出的历史记录。 如何轻松地将屏幕保存到文件...
  • # 展示文件和文件夹列表 $ bin/hdfs dfs -ls / # 创建文件夹 # 在用户目录下创建 $ bin/hdfs dfs -mkdir AAA/ # 在根目录下创建 $ bin/hdfs dfs -mkdir /AAA/ # 递归层级创建多个文件夹 $ bin/hdfs dfs -m...
  • currtDate=`date "+%H%M%S"` ftpDest=${ftpPath}/${srvDate}${currtDate} function ftp() { echo "ftp start" # clear path info rm -rf ${localTmpFile} ...lftp一次只能上传一个文件
  • 背景:现项目从外围数据接收到文件通过Flume-ng同步到hdfs上,但Flume只能根据sink配置指定目录,无法根据文件名生成相应的hdfs目录。例如: 文件2018070304112301859017101.txt.gz要放到HDFS的路径/home/hadoop/...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 62,754
精华内容 25,101
关键字:

下载hdfs文件到linux

linux 订阅