精华内容
下载资源
问答
  • 本地文件上传到HDFS

    2018-04-14 23:55:30
    Hadoop HDFS的FileSystemAPI操作文件 准备好的文件上传到hdfs的user/hadoop/music文件下
  • 从本地上传文件到HDFS上的代码!使用hadoop的API操作,使本地文件的代码上传到HDFS上!!!
  • 今天在windows连接虚拟机的hdfs,通过IDEA上传文件到虚拟机的hdfs上,出现了权限不足问题,原因是以windows的用户上传文件,所以出错,原代码如下: package cn.edu.lingnan.hdfsclient; import org.apache.hadoop....
  • 可以实现与hdfs之间全部数据的同步,只需操作本地文件夹即可数据同步到hdfs上。在学习阶段还是非常好用的。 后面打算开发第二个版本,不再直接进行完全的数据同步,而是针对需要的数据进行上传下载。 项目地址在:...
  • 从本地上传文件到HDFS目录 hdfs dfs -put 本地目录 hdfs目录

    从本地上传文件到HDFS目录

    hdfs dfs -put 本地目录 hdfs目录
    
    展开全文
  • 上传文件到HDFS

    2015-10-30 19:43:35
    上传文件到HDFS的java代码实现。已经测试了,可以直接运行。
  • kettle本机文件上传到HDFS **1、**NODE02的core-site.xml、hdfs-site.xml放入 data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510 data-integration——Kettle的安装路径 **2、**...

    kettle将本机文件上传到HDFS

    如果用的是apache的Hadoop的话选择Cloudera Hadoop

    **1、**将NODE02的core-site.xmlhdfs-site.xml放入
    data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510
    data-integration——Kettle的安装路径

    **2、**启动Kettle(即Spoon.bat)新建一个作业

    新建作业

    3、点击主对象树,并添加一个Hadoop clusters

    添加Hadoop cluster

    **4、**输入对应的参数
    这里需要对hosts(C:\Windows\System32\drivers\etc\hosts)进行过修改才可以输入NODE02
    配置参数

    点击测试如果结果是下面这样就成功连上HDFS
    测试链接

    **5、**在HDFS上创建一个kettle文件夹并给予权限

    hdfs dfs -mkdir /kettle
    hdfs dfs -chmod 777 /kettle
    

    6、点击核心对象里的Big Data在主页面上拖入Hadoop Copy Files

    右键Hadoop Copy Files并点击编辑作业入口

    拖控件

    **7、**进行一些配置

    • 源文件/目录这一项配置的是想要上传的文件的路径
    • 配置完成点击确定

    简单配置

    8、核心对象通用下拖入START,然后按住Shift连接到Hadoop Copy Files,执行即可

    START执行成功效果

    展开全文
  • 1. 把linux中的文件上传到HDFS个人目录中 # 前面为本地文件路径,后面为HDFS中文件路径 hadoop fs -put /data/zz/aa.txt /user/zz/ 或 hdfs dfs -put /data/zz/aa.txt /user/zz/ # 上传文件夹 hadoop fs -put /...

    1. 查看文件

    hadoop fs -ls <path>

    2.  显示文件大小

    hadoop fs -du -h <path>
    
    # 显示文件大小,s代表显示只显示总计(列出最后的和)。
    hadoop fs -du -s -h <path>

    3.  移动文件

    # 将目标文件移动到指定路径下,当src为多个文件,dst必须为目录
    hadoop fs -mv <src> <dst>
    

    4. 拷贝文件

    # 拷贝文件到目标位置,src为多个文件时,dst必须是个目录
    hadoop fs -cp <src> <dst>

    5. 删除文件

    hadoop fs -rm <src>
    
    # 递归删除文件目录及文件
    hadoop fs -rmr <src>

    6. 创建文件

     hadoop fs -mkdir <path>

    7. 把linux中的文件上传到HDFS个人目录中

    # 前面为本地文件路径,后面为HDFS中文件路径
    hadoop fs -put /data/zz/aa.txt /user/zz/
    # hdfs dfs -put /data/zz/aa.txt  /user/zz/  
    # hadoop fs -copyFromLocal <localsrc>...<dst>
    # 若hdfs上已经存在文件,要强制覆盖,用 -f 命令
    hadoop fs -put -f aa.txt /user/zz/
    
    # 上传文件夹
    hadoop fs -put /data/zz/test /user/zz/
    
    # 从本地系统拷贝文件到dfs中,拷贝完删除源文件
    hadoop fs -moveFromLocal <localsrc>...<dst>

    8. 把hdfs目录中文件夹拉到本地

    hadoop fs -get /user/zz/test /data/zz/
    
    # 从dfs中拷贝多个文件合并排序为一个文件到本地文件系统
    hadoop fs -getmerge  <src> <localdst>

    9. 输出文件内容

    hadoop fs -cat <src>

    10. 创建文件

    # 在指定目录创建一个新文件,如果文件存在,则创建失败
    hadoop fs -touchz /user/zz/_SUCCESS
    展开全文
  • HDFS API详解:https://www.cnblogs.com/alisande/archive/2012/06/06/2537903.html Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法:...

    HDFS API详解:https://www.cnblogs.com/alisande/archive/2012/06/06/2537903.html

    Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法:https://blog.csdn.net/bikun/article/details/25506489?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

    Name node is in safe mode 解决办法:离开safe mode就可以

    执行一下:hadoop dfsadmin -safemode leave

    pom.xml:

    <?xml version="1.0" encoding="UTF-8"?>
    
    <project xmlns="http://maven.apache.org/POM/4.0.0"
    
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    
    <modelVersion>4.0.0</modelVersion>
    
    
    
    <groupId>HDFS0519</groupId>
    
    <artifactId>HDFSUpload</artifactId>
    
    <version>1.0-SNAPSHOT</version>
    
    
    
    <repositories>
    
    <repository>
    
    <id>apache</id>
    
    <url>http://maven.apache.org</url>
    
    </repository>
    
    </repositories>
    
    
    
    <dependencies>
    
    <!--<dependency>-->
    
    <!--<groupId>org.apache.hadoop</groupId>-->
    
    <!--<artifactId>hadoop-core</artifactId>-->
    
    <!--<version>1.2.1</version>-->
    
    <!--</dependency>-->
    
    <dependency>
    
    <groupId>org.apache.hadoop</groupId>
    
    <artifactId>hadoop-common</artifactId>
    
    <version>2.7.1</version>
    
    </dependency>
    
    <dependency>
    
    <groupId>org.apache.hadoop</groupId>
    
    <artifactId>hadoop-hdfs</artifactId>
    
    <version>2.7.1</version>
    
    </dependency>
    
    
    
    
    
    <dependency>
    
    <groupId>org.apache.hadoop</groupId>
    
    <artifactId>hadoop-client</artifactId>
    
    <version>2.7.1</version>
    
    
    
    </dependency>
    
    </dependencies>
    
    </project>

    代码:

    package com.xy.uploadfile;
    
    
    
    import java.io.IOException;
    
    import java.net.URI;
    
    import java.net.URISyntaxException;
    
    
    
    
    
    
    
    import org.apache.hadoop.conf.Configuration;
    
    import org.apache.hadoop.fs.FileStatus;
    
    import org.apache.hadoop.fs.FileSystem;
    
    import org.apache.hadoop.fs.Path;
    
    
    
    
    
    /**
    
    * @ClassName s
    
    * @Description
    
    * @Date 2020-05-19 19:44
    
    * @Create By XinYan
    
    */
    
    
    
    
    
    
    
    public class UploadFile{
    
    
    
    public static void main(String[] args) throws IOException, URISyntaxException {
    
    
    
    Configuration conf = new Configuration();
    
    
    
    URI uri = new URI("hdfs://hadoop:9000");
    
    
    
    FileSystem fs = FileSystem.get(uri, conf);
    
    
    
    // 本地文件
    
    
    
    Path src = new Path("E:/工作学习/学习/java-code/HDFSUpload/uploadfiletext.txt");
    
    
    
    //HDFS存放位置
    
    
    
    Path dst = new Path("/");
    
    
    
    fs.copyFromLocalFile(src, dst);
    
    
    
    System.out.println("Upload to " + conf.get("fs.defaultFS"));
    
    
    
    //相当于hdfs dfs -ls /
    
    
    
    FileStatus files[] = fs.listStatus(dst);
    
    
    
    for (FileStatus file:files) {
    
    
    
    System.out.println(file.getPath());
    
    
    
    }
    
    
    
    }
    
    }
    
    

     

     

    展开全文
  • Hadoop上传文件到hdfs

    万次阅读 多人点赞 2018-08-27 00:02:31
    hdfs dfs -copyFromLocal /local/data /hdfs/data:本地文件上传到 hdfs 上(原路径只能是一个文件) hdfs dfs -put /tmp/ /hdfs/ :和 copyFromLocal 区别是,put 原路径可以是文件夹等 hadoop fs -ls / :查看...
  • csv文件上传到hdfs集群详细步骤 xshell连接数据库 scv文件上传到服务器:rz 回车; 从本地选择需要上传的csv文件,如下图,一起瞅瞅吧! 刚刚上传服务器的文件,放到hdfs集群(hive目录下):hdfs ...
  • 使用IDEA通过flume上传本地文件到Hdfs-附件资源
  • 主要介绍了使用hadoop的API对HDFS上的文件访问,其中包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下
  • 记录如何本地文件上传HDFS中前提是已经启动了hadoop成功(nodedate都成功启动)①先切换到HDFS用户②创建一个input文件夹zhangsf@hadoop1:~$ hdfs dfs -mkdir /input查看创建的文件夹在 hadoop1:50070中查看(我...
  • 1. 目标 通过hadoop hive或spark等数据计算框架完成数据清洗后的数据在HDFS上 爬虫和机器学习在Python中容易实现 在Linux环境下编写Python没有pyCharm便利...res=client.open('/sy.txt')#hdfs文件路径,根目录/ for r in
  • 一、什么是HDFS文件系统 文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。即:为用户建立文件、存入、读出、修改、转储文件,控制文件的存取,当用户不再使用时...
  • 如何上传文件到hdfs

    万次阅读 2019-08-08 16:19:31
    发现错误之后,决定按照文件夹,上传文件到hdfs上。 打开hadoop 所在的文件目录 查看当前目录信息 hdfs dfs -ls / 运行后产生下面的效果: 3 在hdfs上创建新的文件夹 这里创建的为aaa hdfs dfs -mkdir /aaa 4 ...
  • 上传本地文件到HDFS

    千次阅读 2019-03-18 17:26:06
    本地文件目录 (待上传目录) hdfs远程文件备份目录(hdfs备用目录) hdfs远程文件归档目录(hdfs正式路径) hdfs文件操作封装成工具类,随时供调用 public class HDFSUtil { protected static ...
  • Linux本地上传文件到HDFS文件系统

    千次阅读 2018-12-17 11:22:05
    上传 切换用户 su hdfs 查看hdfs文件系统目录文件 hdfs dfs -ls /user/tgm 上传文件 hdfs dfs -put 本地文件目录 HDFS文件目录 删除文件 hdfs dfs -rm -r HDFS文件路径 ...
  • 如何本地数据上传到hdfs

    千次阅读 2020-01-20 09:59:01
    使用xshell本地数据传到服务器并解压 1.上传: 方法一:连接Xftp上传 xftp操作界面 直接将要上传的本地文件拖动对应的服务器位置即可。(要传输的服务器文件夹需要有读写权限) 方法二: 使用rz。在...
  • /** * @author 550894211@qq.com * @version v 1.0 * @date 2019/11/7 * * 本地的多个小文件拼接成大文件 */ public class Test02 { //HDFS文件系统的地址 private static final String HDFS_PATH = "hdfs://192....
  • 因在公司业务上遇到一个需求,需要指定服务器上的指定路径下的所有文件,例如:test.csv 上传到hdfs上,参考了网上的一些大佬的帖子实现了需求,故做个笔记方便以后查看,参考地址:... import os ...
  • 本地上传文件到服务器HDFS系统上

    千次阅读 2019-02-19 17:14:18
    在网上搜集了很久,找到一套能上传文件的java代码 package com.data.sysatem.crawler; import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream; import java.io.InputStrea...
  • 引言:通过Java本地把windows里的文件资源上传centOs环境下的 hdfs文件系统里,中间遇到了很多问题,不过最终还是把文件上传到hdfs里了 环境:centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse 1、下载hadoop.2.8.5...
  • 2.本地的test.csv文件上传hdfs文件系统中 方法一:-put命令,其中/user/tmp/为hdfs中的路径 hdfs dfs -put test.csv /user/tmp/ 方法二:-moveFromLocal命令 hdfs dfs -moveFromLocal test.csv /user/tmp/ .....
  • 本实例依托于springmvc框架,采用maven作为jar包管理仓库,通过引用hadoop相关jar包,编写了hdfs操作工具类,能够在web端实现文件远程上传hdfs
  • flume:如何使用flume将文件到hdfs

    千次阅读 2018-06-09 16:42:03
    一、如何使用flume将文件到hdfs简单例子:#set nameagent1.sources = source1agent1.channels = channel1agent1.sinks = sink1#link sources and sinksagent1.sources.source1.channels = channel1agent1.sinks....
  • JAVA上传文件到HDFS

    2018-01-08 16:37:26
    //本地上传文件路径 Path dstPath = new Path(dst); //hdfs目标路径 //调用文件系统的文件复制函数,前面参数是指是否删除原文件,true为删除,默认为false fs.copyFromLocalFile(false, srcPath, dstPath); //...
  • 当前内容主要为本人学习和复习,当前内容为上传文件到HDFS中 2.原因 使用以前的方式上传文件出现了错误 通过详细查看发现已经没有-input命令了 不知道什么原因就使用了-cp,发现也报错了 然后又尝试了moveFromLocal...
  • Linux上传本地文件到Hadoop的HDFS文件系统

    万次阅读 多人点赞 2018-06-12 21:24:36
    记录如何本地文件上传HDFS中 前提是已经启动了hadoop成功(nodedate都成功启动) ①先切换到HDFS用户 ②创建一个input文件夹 zhangsf@hadoop1:~$ hdfs dfs -mkdir /input 多级创建的时候 hdfs dfs -mkdir ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 70,513
精华内容 28,205
关键字:

将文件上传到hdfs