精华内容
下载资源
问答
  • Hadoop上传文件到hdfs

    万次阅读 多人点赞 2018-08-27 00:02:31
    hdfs dfs -copyFromLocal /local/data /hdfs/data:将本地文件上传到 hdfs 上(原路径只能是一个文件hdfs dfs -put /tmp/ /hdfs/ :和 copyFromLocal 区别是,put 原路径可以是文件夹等 hadoop fs -ls / :查看...

    Hadoop上传文件到hdfs中

    hadoop常见指令:

    • hdfs dfs -copyFromLocal /local/data /hdfs/data:将本地文件上传到 hdfs
      上(原路径只能是一个文件)
    • hdfs dfs -put /tmp/ /hdfs/ :和 copyFromLocal 区别是,put 原路径可以是文件夹等
    • hadoop fs -ls / :查看根目录文件
    • hadoop fs -ls /tmp/data:查看/tmp/data目录
    • hadoop fs -cat /tmp/a.txt :查看 a.txt,与 -text 一样
    • hadoop fs -mkdir dir:创建目录dir
    • hadoop fs -rmr dir:删除目录dir

    出现 Call From master to localhost:9000 failed on connection exception…的错误:
    原因没有打开权限:

    修改 /hadoop/etc/hadoop/hdfs.site.xml
    

    找到dfs.permissions属性修改为false(默认为true)OK了
    这里写图片描述

    出现hdfs.DFSClient: DataStreamer Exception的问题:
    原因:在进行namenode格式化时多次造成那么spaceID不一致。

    1.删除core.site.xml中临时文件指定的目录
    这里写图片描述

    2.重新进行格式化

    hadoop name -formate 
    

    3.启动集群

    start-all.sh
    

    4.创造目录

    hadoop fs -mkdir /user
    hadoop fs -mkdir /user/root
    

    5上传文件

    hdfs dfs -put movie.csv /user/root/
    

    这里写图片描述

    在这里插入图片描述

    展开全文
  • 主要介绍了使用hadoop的API对HDFS上的文件访问,其中包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下
  • 错误提示: ...INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route to host at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)...

    错误提示:

    INFO hdfs.DFSClient: Exception in createBlockOutputStream
    java.net.NoRouteToHostException: No route to host
            at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
            at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
            at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
            at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
            at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1702)
            at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1432)
            at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1385)
            at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:554)

    看了这篇文章解决了问题

    点击打开链接

    总结如下:

    1、关闭所有主机包括slave节点的防火墙

     sudo systemctl stop firewalld.service//关闭防火墙
    
     sudo systemctl disable firewalld.service
    
    firewall-cmd --state
    
     
     





    转载于:https://www.cnblogs.com/flyingcr/p/10326996.html

    展开全文
  • hadoop上传文件到hdfs出错

    千次阅读 2014-12-12 17:21:35
    通过命令: Hadoop fs -put /opt/program/userall20140828 hdfs://localhost:9000/...上传文件到hdfs是出现错误 14/12/11 17:57:49 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteE

    通过命令:

    Hadoop fs  -put  /opt/program/userall20140828  hdfs://localhost:9000/tmp/tvbox/

    上传文件到hdfs是出现错误


    14/12/11 17:57:49 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/tvbox/behavior_20141210.log could only be replicated to 0 nodes, instead of 1
            at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422) purpose
            at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
            at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
            at java.lang.reflect.Method.invoke(Method.java:606)
            at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
            at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
            at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
            at java.security.AccessController.doPrivileged(Native Method)
            at javax.security.auth.Subject.doAs(Subject.java:415)
            at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
    
            at org.apache.hadoop.ipc.Client.call(Client.java:740)
            at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
            at com.sun.proxy.$Proxy0.addBlock(Unknown Source)
            at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
            at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
            at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
            at java.lang.reflect.Method.invoke(Method.java:606)
            at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
            at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
            at com.sun.proxy.$Proxy0.addBlock(Unknown Source)
            at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2937)
            at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2819)
            at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102)
            at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)
    
    14/12/11 17:57:49 WARN hdfs.DFSClient: Error Recovery for block null bad datanode[0] nodes == null
    14/12/11 17:57:49 WARN hdfs.DFSClient: Could not get block locations. Source file "/tmp/tvbox/behavior_20141210.log" - Aborting...
    put: java.io.IOException: File /tmp/tvbox/behavior_20141210.log could only be replicated to 0 nodes, instead of 1
    14/12/11 17:57:49 ERROR hdfs.DFSClient: Exception closing file /tmp/tvbox/behavior_20141210.log : org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/tvbox/behavior_20141210.log could only be replicated to 0 nodes, instead of 1
            at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
            at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
            at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
            at java.lang.reflect.Method.invoke(Method.java:606)
            at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
            at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
            at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
            at java.security.AccessController.doPrivileged(Native Method)
            at javax.security.auth.Subject.doAs(Subject.java:415)
            at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
    
    org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/tvbox/behavior_20141210.log could only be replicated to 0 nodes, instead of 1
            at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
            at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
            at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
            at java.lang.reflect.Method.invoke(Method.java:606)
            at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
            at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
            at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
            at java.security.AccessController.doPrivileged(Native Method)
            at javax.security.auth.Subject.doAs(Subject.java:415)
            at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
    
            at org.apache.hadoop.ipc.Client.call(Client.java:740)
            at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
            at com.sun.proxy.$Proxy0.addBlock(Unknown Source)
            at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
            at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
            at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
            at java.lang.reflect.Method.invoke(Method.java:606)
            at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
            at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
            at com.sun.proxy.$Proxy0.addBlock(Unknown Source)
            at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2937)
            at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2819)
            at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102)
            at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)
    

    网上找了一圈,大概由以下原因造成:

    1、  防火墙问题(排除

    查看iptables状态:

    serviceiptables status

    iptables开机自动启动:

    开启: chkconfigiptables on

    关闭: chkconfigiptables off

    iptables关闭服务:

    开启: service iptablesstart

    关闭: service iptables stop


    2、  添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker(排除)

    1.   重新启动namenode

    # hadoop-daemon.sh start namenode

    starting namenode, logging to/usr/hadoop-0.21.0/bin/../logs/hadoop-root-namenode-www.keli.com.out

    2.   重新启动datanode

    # hadoop-daemon.sh start datanode

    starting datanode, logging to/usr/hadoop-0.21.0/bin/../logs/hadoop-root-datanode-www.keli.com.out

             start-all.sh中的启动顺序是对的。

     

    3、  磁盘空间问题(命中!!!)

    解决步骤:

    1.      通过命令df –ah查看空间使用情况,

    [root@localhost hadoop]# df -ah
    Filesystem            Size  Used Avail Use% Mounted on
    /dev/sda2              18G   15G  12M  100% /
    proc                     0     0     0   -  /proc
    sysfs                    0     0     0   -  /sys
    devpts                   0     0     0   -  /dev/pts
    tmpfs                 937M  224K  937M   1% /dev/shm
    /dev/sda1             291M   37M  240M  14% /boot
    none                     0     0     0   -  /proc/sys/fs/binfmt_misc
    .host:/               196G  209M  196G   1% /mnt/hgfs
    vmware-vmblock           0     0     0   -  /var/run/vmblock-fuse
    gvfs-fuse-daemon         0     0     0   -  /root/.gvfs
    

    2.      备份清空hadoop/logs中的日志

    再次查看空间使用情况,再次上传文件,ok,成功!


    关于清空空间大小,清空logs后,还是使用了15G,应该还有其他地方可以继续清空,欢迎指教!


    [root@localhost hadoop]# df -ah
    Filesystem            Size  Used Avail Use% Mounted on
    /dev/sda2              18G   15G  2.1G  88% /
    proc                     0     0     0   -  /proc
    sysfs                    0     0     0   -  /sys
    devpts                   0     0     0   -  /dev/pts
    tmpfs                 937M  224K  937M   1% /dev/shm
    /dev/sda1             291M   37M  240M  14% /boot
    none                     0     0     0   -  /proc/sys/fs/binfmt_misc
    .host:/               196G  209M  196G   1% /mnt/hgfs
    vmware-vmblock           0     0     0   -  /var/run/vmblock-fuse
    gvfs-fuse-daemon         0     0     0   -  /root/.gvfs
    



    展开全文
  • 本地文件上传到HDFS

    2018-04-14 23:55:30
    Hadoop HDFS的FileSystemAPI操作文件 将准备好的文件上传到hdfs的user/hadoop/music文件
  • hadoop 上传文件到HDFS报错

    千次阅读 2017-10-23 22:25:23
    上传文件时报错: could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation. 解决办法: ...

    上传文件时报错:

    could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and no node(s) are excluded in this operation.

    解决办法:

    hdfs-site.xml配置增加内存:

    dfs.datanode.max.xcievers:该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256,这里设置为4096

    <property>  
                    <name>dfs.datanode.max.xcievers</name>  
                    <value>4096</value>  
     </property>

    展开全文
  • http://f.dataguru.cn/hadoop-208802-1-1.html 将问题一步一步排除后仍没有解决的话,可以试试我这个方法。如果还是不行,那就我也无能为力了,革命道路还很漫长,你仍需努力啊!!(笑哭) 问题描述: 它没...
  • Hadoop上传文件到HDFS时异常处理步骤

    千次阅读 2013-10-01 13:28:54
    Hadoop环境搭建主要参考如下两篇博客 参考如下: http://blog.csdn.net/hitwengqi/article/details/8008203 http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html 本人环境如下:  VM 9.0  ...
  • 当前内容主要为本人学习和复习,当前内容为上传文件到HDFS中 2.原因 使用以前的方式上传文件出现了错误 通过详细查看发现已经没有-input命令了 不知道什么原因就使用了-cp,发现也报错了 然后又尝试了moveFromLocal...
  • [Hadoop]Hadoop上传本地文件到HDFS

    千次阅读 2015-04-13 23:35:33
    代码如下,需要注意标红处,要不然会出现FileNotFound(permission deny)得错误。 ... import java.io.IOException;...import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem;
  • 本实例依托于springmvc框架,采用maven作为jar包管理仓库,通过引用hadoop相关jar包,编写了hdfs操作工具类,能够在web端实现文件远程上传hdfs
  • java操作Hadoop源码之HDFS Java API操作-上传文件,附带所需全部jar包,欢迎下载学习。
  • 今天在windows连接虚拟机的hdfs,通过IDEA上传文件到虚拟机的hdfs上,出现了权限不足问题,原因是以windows的用户上传文件,所以出错,原代码如下: package cn.edu.lingnan.hdfsclient; import org.apache.hadoop....
  • 引言:通过Java本地把windows里的文件资源上传到centOs环境下的 hdfs文件系统里,中间遇到了很多问题,不过最终还是把文件上传到hdfs里了 环境:centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse 1、下载hadoop.2.8.5...
  • 搭建好Hadoop集群之后使用hdfs命令上传文件到hdfs报错: hdfs dfs -put jn_gaj_lgxx.csv /input 报错内容如下所示: [root@master local]# hdfs dfs -put jn_gaj_lgxx.csv /input 19/08/21 15:55:40 WARN util....
  • 上传文件到HDFS

    2015-10-30 19:43:35
    上传文件到HDFS的java代码实现。已经测试了,可以直接运行。
  • //上传文件到hadoop uploadFile(); createFile(); createDir(); fileRename(); deleteFile(); readFile(); isFileExists(); //判断文件的最后修改的信息 fileLastModify(); //文件的位置信息 file...
  • package com.hadoop.worldcount; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream;...import org.apache.hadoop.fs.File
  • Hadoop本地操作HDFS不能上传文件

    千次阅读 2019-10-12 19:16:52
    org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/a.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and 2 node(s) ....
  • 一、hadoop简介  Hadoop是一个由Apache基金会所开发的分布式系统基础... Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFSHDFS有高容错性的特点,并且设计用来部署在低廉的(low-c...
  • 本文主要参考了Hadoop HDFS文件系统通过java FileSystem 实现上传下载等,并实际的做了一下验证。代码与引用的文章差别不大,现列出来作为备忘。 import java.io.*; import java.net.URI; import org.apache....
  • 本文结合HDFS的副本和分块从宏观上描述HDFS存入文件的整个流程。HDFS体系中包含Client、NameNode、DataNode、SeconderyNameode四个角色,其中Client是客户端,NN负责管理,DN负责存储、SN协助管理。 先来看一个官网...
  • Hadoop分布式文件系统HDFS配置及示例运行。 作者使用的是hadoop3.2.1的版本,以下示例都是以hadoop-3.2.1为基础目录进行介绍的。 1、文件配置 进入hadoop配置目录*./etc/hadoop* $ cd etc/hadoop/ (1) 配置core-...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 62,185
精华内容 24,874
关键字:

hadoop上传文件到hdfs