精华内容
下载资源
问答
  • 本地文件上传到HDFS

    2018-04-14 23:55:30
    Hadoop HDFS的FileSystemAPI操作文件 将准备好的文件上传到hdfs的user/hadoop/music文件下
  • 从本地上传文件到HDFS上的代码!使用hadoop的API操作,使本地文件的代码上传到HDFS上!!!
  • 本地文件上传到 HDFS 的shell执行脚本

    千次阅读 2019-03-19 10:16:48
    1.功能:将本地日志上传到hdfs中。 2.实现:分两步进行,第一步将文件复制上传目录,第二步将文件设置标志(copy)循环逐条复制hdfs中,并更改标志(done) 3.代码及结果展示 1.功能: 将本地日志上传到hdfs...

    目录

    • 1.功能:将本地日志上传到hdfs中。
    • 2.实现:分两步进行,第一步将文件复制到待上传目录,第二步将文件设置标志(copy)循环逐条复制hdfs中,并更改标志(done)
    • 3.代码及结果展示

    1.功能:

    将本地日志上传到hdfs中。

    2.实现:

    分两步进行,

    • 第一步将文件复制到待上传目录,
    • 第二步将文件设置标志(copy)循环逐条复制hdfs中,并更改标志(done)

    3.代码及结果展示

    #!/bin/bash

     

    #导入系统环境

    #set java env

    export JAVA_HOME=/home/hadoop/app/jdk1.7.0_45

    export JRE_HOME=${JAVA_HOME}/jre

    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

    export PATH=${JAVA_HOME}/bin:$PATH

     

    #set hadoop env

    export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4

    export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

     

     

    #     本地文件上传到hdfs脚本流程说明(按照两步进行)

    #     1、先将需要上传的文件移动到待上传目录

    #     2、在讲文件移动到待上传目录时,将文件按照一定的格式重名名

     

     

     

    #日志文件存放的目录

    log_src_dir=/home/hadoop/logs/log/

     

    #待上传文件存放的目录

    log_toupload_dir=/home/hadoop/logs/toupload/

     

     

    #日志文件上传到hdfs的根路径

    hdfs_root_dir=/data/clickLog/20151226/

     

    #打印环境变量信息

    echo "envs: hadoop_home: $HADOOP_HOME"

     

     

    #读取日志文件的目录,判断是否有需要上传的文件

    echo "log_src_dir:"$log_src_dir

    ls $log_src_dir | while read fileName

    do

           if [[ "$fileName" == access.log.* ]]; then

           # if [ "access.log" = "$fileName" ];then

                  date=`date +%Y_%m_%d_%H_%M_%S`

                  #将文件移动到待上传目录并重命名

                  #打印信息

                  echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date"

                  mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date

                  #将待上传的文件path写入一个列表文件willDoing

                  echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date

           fi

          

    done

    #找到列表文件willDoing

    ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line

    do

           #打印信息

           echo "toupload is in file:"$line

           #将待上传文件列表willDoing改名为willDoing_COPY_

           mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"

           #读列表文件willDoing_COPY_的内容(一个一个的待上传文件名)  ,此处的line 就是列表中的一个待上传文件的path

           cat $log_toupload_dir$line"_COPY_" |while read line

           do

                  #打印信息

                  echo "puting...$line to hdfs path.....$hdfs_root_dir"

                  hadoop fs -put $line $hdfs_root_dir

           done     

           mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"

    done

     

     

    结果展示:

    执行脚本 bash uploadFile2Hdfs.sh 

    待上传目录结果

    hdfs 目录结果

    展开全文
  • 使用IDEA通过flume上传本地文件到Hdfs-附件资源
  • 今天在windows连接虚拟机的hdfs,通过IDEA上传文件到虚拟机的hdfs上,出现了权限不足问题,原因是以windows的用户上传文件,所以出错,原代码如下: package cn.edu.lingnan.hdfsclient; import org.apache.hadoop....
  • Linux本地上传文件到HDFS文件系统

    千次阅读 2018-12-17 11:22:05
    上传 切换用户 su hdfs 查看hdfs文件系统目录文件 hdfs dfs -ls /user/tgm 上传文件 hdfs dfs -put 本地文件目录 HDFS文件目录 删除文件 hdfs dfs -rm -r HDFS文件路径 ...

    上传

    切换用户

    su hdfs
    

    在这里插入图片描述

    • 查看hdfs文件系统目录文件
    hdfs dfs -ls /user/tgm
    

    在这里插入图片描述
    在这里插入图片描述

    • 上传文件
    hdfs dfs -put 本地文件目录  HDFS文件目录
    

    在这里插入图片描述
    在这里插入图片描述

    • 删除文件
    hdfs dfs -rm -r HDFS文件路径
    

    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 本地上传文件到HDFS目录 hdfs dfs -put 本地目录 hdfs目录

    从本地上传文件到HDFS目录

    hdfs dfs -put 本地目录 hdfs目录
    
    展开全文
  • 如何将本地数据上传到hdfs

    千次阅读 2020-01-20 09:59:01
    直接将要上传本地文件拖动对应的服务器位置即可。(要传输的服务器文件夹需要有读写权限) 方法二: 使用rz。在xshell操作界面输入rz会弹出一个选择上传文件的窗口,选择对应的文件即可。 2.解压gz压缩包 ...

    一、将数据传输到服务器

    使用xshell将本地数据传到服务器并解压

    1.上传:

    方法一:连接Xftp上传
    在这里插入图片描述
    xftp操作界面
    在这里插入图片描述
    直接将要上传的本地文件拖动到对应的服务器位置即可。(要传输的服务器文件夹需要有读写权限)

    方法二:
    使用rz。在xshell操作界面输入rz会弹出一个选择上传文件的窗口,选择对应的文件即可。
    在这里插入图片描述

    2.解压gz压缩包

    进入文件所在位置,输入gunzip xxx.gz,要解压该文件夹下所有的文件可以 gunzip *.gz。

    二、文件上传到hdfs

    hdfs dfs -put /home/xxx.csv /input_local

    在这里插入图片描述

    展开全文
  • 上传本地文件到HDFS

    千次阅读 2019-03-18 17:26:06
    本地文件目录 (待上传目录) hdfs远程文件备份目录(hdfs备用目录) hdfs远程文件归档目录(hdfs正式路径) hdfs的文件操作封装成工具类,随时供调用 public class HDFSUtil { protected static ...
  • 本地上传文件到hdfs

    千次阅读 2018-06-29 12:00:01
    //将源文件copyhadoop文件系统   hdfs.copyFromLocalFile(src, dst);   System.out.println( "上传到" +conf.get( "fs.default.name" ));   FileStatus files[] = hdfs.listStatus(dst);   for ( int i= 0 ;...
  • 1. 把linux中的文件上传到HDFS个人目录中 # 前面为本地文件路径,后面为HDFS中文件路径 hadoop fs -put /data/zz/aa.txt /user/zz/ 或 hdfs dfs -put /data/zz/aa.txt /user/zz/ # 上传文件夹 hadoop fs -put /...
  • HDFS API详解:https://www.cnblogs.com/alisande/archive/2012/06/06/2537903.html Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法:...
  • Linux上传本地文件到HDFS

    万次阅读 多人点赞 2018-01-15 16:02:37
    上一篇文章记录了如何使用java代码将本地文件上传到HDFS中,之后我又尝试了直接使用Linux命令上传文件,过程如下。 su hdfs //切换到HDFS用户 cd /home/hdfs/files //进入服务器中文件所在目录 ls //查看此目录...
  • public class File { /** * @param args * @throws IOException * 从本地把文件上传到hdfs */ public static void main(String[] args) throws Exception { String localSrc = "e:\\myhadoop.txt";//本地文件 ...
  • 记录如何将本地文件上传HDFS中前提是已经启动了hadoop成功(nodedate都成功启动)①先切换到HDFS用户②创建一个input文件夹zhangsf@hadoop1:~$ hdfs dfs -mkdir /input查看创建的文件夹在 hadoop1:50070中查看(我...
  • ubuntu下上传本地文件到hdfs

    千次阅读 2019-12-08 15:05:03
    首先,启动hadoop 创建一个文件夹 打开haddopweb界面查看(主机名:50070) 右下角可以看到之前创建好的work文件夹(ubuntu中...将之前创建的wujiang.txt上传到hdfs中 web中查看,work中出现了则上传文件成功 ...
  • Linux上传本地文件到Hadoop的HDFS文件系统

    万次阅读 多人点赞 2018-06-12 21:24:36
    记录如何将本地文件上传HDFS中 前提是已经启动了hadoop成功(nodedate都成功启动) ①先切换到HDFS用户 ②创建一个input文件夹 zhangsf@hadoop1:~$ hdfs dfs -mkdir /input 多级创建的时候 hdfs dfs -mkdir ...
  • Hadoop上传文件到hdfs

    万次阅读 多人点赞 2018-08-27 00:02:31
    hdfs dfs -copyFromLocal /local/data /hdfs/data:将本地文件上传到 hdfs 上(原路径只能是一个文件) hdfs dfs -put /tmp/ /hdfs/ :和 copyFromLocal 区别是,put 原路径可以是文件夹等 hadoop fs -ls / :查看...
  • JAVA 上传本地文件到HDFS

    千次阅读 2020-08-28 15:57:53
    上传文件 上传的时候加个一个文件夹路径ypp 读取文件 步入正题(代码) 本地安装的hadoop版本为3.1.3 pom.xml <properties> <java.version>1.8</java.version> <spark.version>...
  • 自己在使用spark MLlib的时候,在单机下反而比分布式下更快,所以猜测是从本地读数据比较慢,所以想把数据从本地到hdfs上传数据到hdfs 查看hdfs 根目录/下文件,发现有两种 hadoop fs -ls / hdfs dfs -ls / ...
  • 引言:通过Java本地把windows里的文件资源上传centOs环境下的 hdfs文件系统里,中间遇到了很多问题,不过最终还是把文件上传到hdfs里了 环境:centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse 1、下载hadoop.2.8.5...
  • 2.将本地的test.csv文件上传hdfs文件系统中 方法一:-put命令,其中/user/tmp/为hdfs中的路径 hdfs dfs -put test.csv /user/tmp/ 方法二:-moveFromLocal命令 hdfs dfs -moveFromLocal test.csv /user/tmp/ .....
  • 用shell命令上传到HDFS中之后出现中文乱码,在shell命令窗口查看如图: 在eclipse中的文件HDFS查看工具查看如图: 原因:上传HDFS文件系统的文本文件(这里是A.txt)的编码格式是ISO-8859,与hdfs文件系统...
  • Spark之本地文件上传HDFS

    千次阅读 2018-04-09 09:37:45
    例子:上传本地文件file.txt至HDFSHDFS上创建文件夹hadoop fs -mkdir /work进入master:50070Utilities-&gt;Browse the file system,可以看到新建的文件夹:上传文件(本地Downloads文件夹中的file.txt)至HDFS...
  • 上传本地文件到hdfs

    千次阅读 2018-03-23 20:43:29
    package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...
  • 当使用 JAVA API 时提示...put: Permission denied: user=root, access=MrBlackWhite, inode=”/user/shijin”:hdfs:supergroup:drwxr-xr-x 解决办法: 另外关于使用命令时遇到权限的问题,可以参考这篇文章 ...
  • hadoop idea 本地上传文件到hdfs

    千次阅读 2019-04-02 10:09:16
    最近在学习hadoop编程,其中需要将数据上传到hafs仓库,但是要先复制centos下再上传上去,比较麻烦,所以直接写了一个上传的程序,这个代码不能实现循环上传多个文件,有相应的函数,你可以试一下,也不是很难。...
  • 上传文件到HDFS

    2015-10-30 19:43:35
    上传文件到HDFS的java代码实现。已经测试了,可以直接运行。
  • @Test public void uploadFile() throws Exception { FileSystem fileSystem = getFileSystem(); fileSystem.copyFromLocalFile(false,true,new Path("D:\\桌面资料\\...使用notepad++更改文本文件的编码格式 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 39,742
精华内容 15,896
关键字:

本地文件上传到hdfs