精华内容
下载资源
问答
  • 本地文件上传到HDFS

    2018-04-14 23:55:30
    Hadoop HDFS的FileSystemAPI操作文件 准备好的文件上传到hdfs的user/hadoop/music文件下
  • 从本地上传文件到HDFS上的代码!使用hadoop的API操作,使本地文件的代码上传到HDFS上!!!
  • 本地文件上传到 HDFS 的shell执行脚本

    千次阅读 2019-03-19 10:16:48
    1.功能:将本地日志上传到hdfs中。 2.实现:分两步进行,第一步将文件复制上传目录,第二步将文件设置标志(copy)循环逐条复制hdfs中,并更改标志(done) 3.代码及结果展示 1.功能: 将本地日志上传到hdfs...

    目录

    • 1.功能:将本地日志上传到hdfs中。
    • 2.实现:分两步进行,第一步将文件复制到待上传目录,第二步将文件设置标志(copy)循环逐条复制hdfs中,并更改标志(done)
    • 3.代码及结果展示

    1.功能:

    将本地日志上传到hdfs中。

    2.实现:

    分两步进行,

    • 第一步将文件复制到待上传目录,
    • 第二步将文件设置标志(copy)循环逐条复制hdfs中,并更改标志(done)

    3.代码及结果展示

    #!/bin/bash

     

    #导入系统环境

    #set java env

    export JAVA_HOME=/home/hadoop/app/jdk1.7.0_45

    export JRE_HOME=${JAVA_HOME}/jre

    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

    export PATH=${JAVA_HOME}/bin:$PATH

     

    #set hadoop env

    export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4

    export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

     

     

    #     本地文件上传到hdfs脚本流程说明(按照两步进行)

    #     1、先将需要上传的文件移动到待上传目录

    #     2、在讲文件移动到待上传目录时,将文件按照一定的格式重名名

     

     

     

    #日志文件存放的目录

    log_src_dir=/home/hadoop/logs/log/

     

    #待上传文件存放的目录

    log_toupload_dir=/home/hadoop/logs/toupload/

     

     

    #日志文件上传到hdfs的根路径

    hdfs_root_dir=/data/clickLog/20151226/

     

    #打印环境变量信息

    echo "envs: hadoop_home: $HADOOP_HOME"

     

     

    #读取日志文件的目录,判断是否有需要上传的文件

    echo "log_src_dir:"$log_src_dir

    ls $log_src_dir | while read fileName

    do

           if [[ "$fileName" == access.log.* ]]; then

           # if [ "access.log" = "$fileName" ];then

                  date=`date +%Y_%m_%d_%H_%M_%S`

                  #将文件移动到待上传目录并重命名

                  #打印信息

                  echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date"

                  mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date

                  #将待上传的文件path写入一个列表文件willDoing

                  echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date

           fi

          

    done

    #找到列表文件willDoing

    ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line

    do

           #打印信息

           echo "toupload is in file:"$line

           #将待上传文件列表willDoing改名为willDoing_COPY_

           mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"

           #读列表文件willDoing_COPY_的内容(一个一个的待上传文件名)  ,此处的line 就是列表中的一个待上传文件的path

           cat $log_toupload_dir$line"_COPY_" |while read line

           do

                  #打印信息

                  echo "puting...$line to hdfs path.....$hdfs_root_dir"

                  hadoop fs -put $line $hdfs_root_dir

           done     

           mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"

    done

     

     

    结果展示:

    执行脚本 bash uploadFile2Hdfs.sh 

    待上传目录结果

    hdfs 目录结果

    展开全文
  • HDFS API详解:https://www.cnblogs.com/alisande/archive/2012/06/06/2537903.html Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法:...

    HDFS API详解:https://www.cnblogs.com/alisande/archive/2012/06/06/2537903.html

    Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法:https://blog.csdn.net/bikun/article/details/25506489?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

    Name node is in safe mode 解决办法:离开safe mode就可以

    执行一下:hadoop dfsadmin -safemode leave

    pom.xml:

    <?xml version="1.0" encoding="UTF-8"?>
    
    <project xmlns="http://maven.apache.org/POM/4.0.0"
    
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    
    <modelVersion>4.0.0</modelVersion>
    
    
    
    <groupId>HDFS0519</groupId>
    
    <artifactId>HDFSUpload</artifactId>
    
    <version>1.0-SNAPSHOT</version>
    
    
    
    <repositories>
    
    <repository>
    
    <id>apache</id>
    
    <url>http://maven.apache.org</url>
    
    </repository>
    
    </repositories>
    
    
    
    <dependencies>
    
    <!--<dependency>-->
    
    <!--<groupId>org.apache.hadoop</groupId>-->
    
    <!--<artifactId>hadoop-core</artifactId>-->
    
    <!--<version>1.2.1</version>-->
    
    <!--</dependency>-->
    
    <dependency>
    
    <groupId>org.apache.hadoop</groupId>
    
    <artifactId>hadoop-common</artifactId>
    
    <version>2.7.1</version>
    
    </dependency>
    
    <dependency>
    
    <groupId>org.apache.hadoop</groupId>
    
    <artifactId>hadoop-hdfs</artifactId>
    
    <version>2.7.1</version>
    
    </dependency>
    
    
    
    
    
    <dependency>
    
    <groupId>org.apache.hadoop</groupId>
    
    <artifactId>hadoop-client</artifactId>
    
    <version>2.7.1</version>
    
    
    
    </dependency>
    
    </dependencies>
    
    </project>

    代码:

    package com.xy.uploadfile;
    
    
    
    import java.io.IOException;
    
    import java.net.URI;
    
    import java.net.URISyntaxException;
    
    
    
    
    
    
    
    import org.apache.hadoop.conf.Configuration;
    
    import org.apache.hadoop.fs.FileStatus;
    
    import org.apache.hadoop.fs.FileSystem;
    
    import org.apache.hadoop.fs.Path;
    
    
    
    
    
    /**
    
    * @ClassName s
    
    * @Description
    
    * @Date 2020-05-19 19:44
    
    * @Create By XinYan
    
    */
    
    
    
    
    
    
    
    public class UploadFile{
    
    
    
    public static void main(String[] args) throws IOException, URISyntaxException {
    
    
    
    Configuration conf = new Configuration();
    
    
    
    URI uri = new URI("hdfs://hadoop:9000");
    
    
    
    FileSystem fs = FileSystem.get(uri, conf);
    
    
    
    // 本地文件
    
    
    
    Path src = new Path("E:/工作学习/学习/java-code/HDFSUpload/uploadfiletext.txt");
    
    
    
    //HDFS存放位置
    
    
    
    Path dst = new Path("/");
    
    
    
    fs.copyFromLocalFile(src, dst);
    
    
    
    System.out.println("Upload to " + conf.get("fs.defaultFS"));
    
    
    
    //相当于hdfs dfs -ls /
    
    
    
    FileStatus files[] = fs.listStatus(dst);
    
    
    
    for (FileStatus file:files) {
    
    
    
    System.out.println(file.getPath());
    
    
    
    }
    
    
    
    }
    
    }
    
    

     

     

    展开全文
  • 今天在windows连接虚拟机的hdfs,通过IDEA上传文件到虚拟机的hdfs上,出现了权限不足问题,原因是以windows的用户上传文件,所以出错,原代码如下: package cn.edu.lingnan.hdfsclient; import org.apache.hadoop....
  • 使用IDEA通过flume上传本地文件到Hdfs-附件资源
  • 本地上传文件到HDFS目录 hdfs dfs -put 本地目录 hdfs目录

    从本地上传文件到HDFS目录

    hdfs dfs -put 本地目录 hdfs目录
    
    展开全文
  • 如何将本地数据上传到hdfs

    千次阅读 2020-01-20 09:59:01
    直接将要上传本地文件拖动对应的服务器位置即可。(要传输的服务器文件夹需要有读写权限) 方法二: 使用rz。在xshell操作界面输入rz会弹出一个选择上传文件的窗口,选择对应的文件即可。 2.解压gz压缩包 ...

    一、将数据传输到服务器

    使用xshell将本地数据传到服务器并解压

    1.上传:

    方法一:连接Xftp上传
    在这里插入图片描述
    xftp操作界面
    在这里插入图片描述
    直接将要上传的本地文件拖动到对应的服务器位置即可。(要传输的服务器文件夹需要有读写权限)

    方法二:
    使用rz。在xshell操作界面输入rz会弹出一个选择上传文件的窗口,选择对应的文件即可。
    在这里插入图片描述

    2.解压gz压缩包

    进入文件所在位置,输入gunzip xxx.gz,要解压该文件夹下所有的文件可以 gunzip *.gz。

    二、文件上传到hdfs

    hdfs dfs -put /home/xxx.csv /input_local

    在这里插入图片描述

    展开全文
  • 上传本地文件到HDFS

    千次阅读 2019-03-18 17:26:06
    本地文件目录 (待上传目录) hdfs远程文件备份目录(hdfs备用目录) hdfs远程文件归档目录(hdfs正式路径) hdfs的文件操作封装成工具类,随时供调用 public class HDFSUtil { protected static ...
  • 1. 把linux中的文件上传到HDFS个人目录中 # 前面为本地文件路径,后面为HDFS中文件路径 hadoop fs -put /data/zz/aa.txt /user/zz/ 或 hdfs dfs -put /data/zz/aa.txt /user/zz/ # 上传文件夹 hadoop fs -put /...
  • Linux本地上传文件到HDFS文件系统

    千次阅读 2018-12-17 11:22:05
    上传 切换用户 su hdfs 查看hdfs文件系统目录文件 hdfs dfs -ls /user/tgm 上传文件 hdfs dfs -put 本地文件目录 HDFS文件目录 删除文件 hdfs dfs -rm -r HDFS文件路径 ...
  • Linux上传本地文件到HDFS

    万次阅读 多人点赞 2018-01-15 16:02:37
    上一篇文章记录了如何使用java代码将本地文件上传到HDFS中,之后我又尝试了直接使用Linux命令上传文件,过程如下。 su hdfs //切换到HDFS用户 cd /home/hdfs/files //进入服务器中文件所在目录 ls //查看此目录...
  • public class File { /** * @param args * @throws IOException * 从本地把文件上传到hdfs */ public static void main(String[] args) throws Exception { String localSrc = "e:\\myhadoop.txt";//本地文件 ...
  • Linux上传本地文件到Hadoop的HDFS文件系统

    万次阅读 多人点赞 2018-06-12 21:24:36
    记录如何将本地文件上传HDFS中 前提是已经启动了hadoop成功(nodedate都成功启动) ①先切换到HDFS用户 ②创建一个input文件夹 zhangsf@hadoop1:~$ hdfs dfs -mkdir /input 多级创建的时候 hdfs dfs -mkdir ...
  • ubuntu下上传本地文件到hdfs

    千次阅读 2019-12-08 15:05:03
    首先,启动hadoop 创建一个文件夹 打开haddopweb界面查看(主机名:50070) 右下角可以看到之前创建好的work文件夹(ubuntu中...之前创建的wujiang.txt上传到hdfs中 web中查看,work中出现了则上传文件成功 ...
  • Hadoop上传文件到hdfs

    万次阅读 多人点赞 2018-08-27 00:02:31
    hdfs dfs -copyFromLocal /local/data /hdfs/data:将本地文件上传到 hdfs 上(原路径只能是一个文件) hdfs dfs -put /tmp/ /hdfs/ :和 copyFromLocal 区别是,put 原路径可以是文件夹等 hadoop fs -ls / :查看...
  • 自己在使用spark MLlib的时候,在单机下反而比分布式下更快,所以猜测是从本地读数据比较慢,所以想把数据从本地到hdfs上传数据到hdfs 查看hdfs 根目录/下文件,发现有两种 hadoop fs -ls / hdfs dfs -ls / ...
  • JAVA 上传本地文件到HDFS

    千次阅读 2020-08-28 15:57:53
    上传文件 上传的时候加个一个文件夹路径ypp 读取文件 步入正题(代码) 本地安装的hadoop版本为3.1.3 pom.xml <properties> <java.version>1.8</java.version> <spark.version>...
  • 引言:通过Java本地把windows里的文件资源上传centOs环境下的 hdfs文件系统里,中间遇到了很多问题,不过最终还是把文件上传到hdfs里了 环境:centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse 1、下载hadoop.2.8.5...
  • 用shell命令上传到HDFS中之后出现中文乱码,在shell命令窗口查看如图: 在eclipse中的文件HDFS查看工具查看如图: 原因:上传HDFS文件系统的文本文件(这里是A.txt)的编码格式是ISO-8859,与hdfs文件系统...
  • 本地上传文件到hdfs

    2021-09-08 17:12:15
    本地上传文件到hdfs 使用javaApi上传文件 本地上传文件到hdfs 使用javaApi上传文件 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs....
  • 1.本地文本文件上传前的准备 文本保存为"uft-8"格式,并用"|"进行字段间的分割(个人习惯,可以选用其它符号,但要避免和编程语言产生冲突)。 2.文本文件通过Xshell上传到HDFS上 (1)首先要新建(Alt+N)一个...
  • 上传本地文件到hdfs

    千次阅读 2018-03-23 20:43:29
    package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...
  • Spark之本地文件上传HDFS

    千次阅读 2018-04-09 09:37:45
    例子:上传本地文件file.txt至HDFSHDFS上创建文件夹hadoop fs -mkdir /work进入master:50070Utilities-&gt;Browse the file system,可以看到新建的文件夹:上传文件(本地Downloads文件夹中的file.txt)至HDFS...
  • 当使用 JAVA API 时提示...put: Permission denied: user=root, access=MrBlackWhite, inode=”/user/shijin”:hdfs:supergroup:drwxr-xr-x 解决办法: 另外关于使用命令时遇到权限的问题,可以参考这篇文章 ...
  • 将本地文件上传HDFS

    千次阅读 2013-04-07 14:20:38
    将本地文件上传HDFS   [日期:2012-11-15] 来源:Linux社区 作者:...//将本地文件上传到hdfs。  String target="hdfs://localhost:9000/user/Administrator/geoway_portal/tes2.dmp";  FileInputStream f
  • hadoop idea 本地上传文件到hdfs

    千次阅读 2019-04-02 10:09:16
    最近在学习hadoop编程,其中需要数据上传到hafs仓库,但是要先复制centos下再上传上去,比较麻烦,所以直接写了一个上传的程序,这个代码不能实现循环上传多个文件,有相应的函数,你可以试一下,也不是很难。...
  • 记录如何将本地文件上传HDFS中前提是已经启动了hadoop成功(nodedate都成功启动)①先切换到HDFS用户②创建一个input文件夹zhangsf@hadoop1:~$ hdfs dfs -mkdir /input查看创建的文件夹在 hadoop1:50070中查看(我...
  • 上传文件到HDFS

    2015-10-30 19:43:35
    上传文件到HDFS的java代码实现。已经测试了,可以直接运行。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 39,774
精华内容 15,909
关键字:

将本地文件上传到hdfs