精华内容
下载资源
问答
  • hadoop优质链接

    2014-05-05 18:57:03
  • 2016-04-10 20:45:04,761 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.1.10:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries...
  • 检测基于Hadoop链接社区
  • hadoop开发视频,精品推荐。视频很多,大家慢慢下载
  • hadoop视频下载链接

    2014-09-27 16:47:57
    链接是百度网盘的下载链接,提供了3.16G的hadoop视频
  • eclipse链接hadoop

    千次阅读 2014-11-16 15:07:10
    三、配置Eclipse、Hadoop开发环境 第一步:安装Eclipse-Hadoophadoop集成插件 把hadoop-eclipse-plugin-1.1.1.jar插件放到/home/eclipse/plugins中,然后重新启动Eclipse如下图。 细心的你从上图左侧“Project ...

    三、配置Eclipse、Hadoop开发环境
    第一步:安装Eclipse-Hadoophadoop集成插件
    把hadoop-eclipse-plugin-1.1.1.jar插件放到/home/eclipse/plugins中,然后重新启动Eclipse如下图。

    细心的你从上图左侧“Project Explorer”下面发现“DFS Locations”,说明Eclipse已经识别刚才放入的Hadoop Eclipse插件了。

    第二步:在Eclipse中指定Hadoop的安装目录
    选择“Window”菜单下的“Preference”,然后弹出一个窗体,在窗体的左侧中找到“Hadoop Map/Reduce”选项,点击此选项,选择Hadoop的安装目录(如我的Hadoop目录:/home/hadoop/hadoop-1.1.1)。结果如下图:

    第三步:切换“Map/Reduce”工作目录
    有两种方法:
    1)、选择“Window”菜单下选择“Open Perspective–>Other”,弹出一个窗体,从中选择“Map/Reduce”选项即可进行切换。

    2)、在Eclipse软件的右上角,点击图标“41 在ubuntu下使用Eclipse搭建Hadoop开发环境”中的“5 在ubuntu下使用Eclipse搭建Hadoop开发环境”,从中选择“Map/Reduce”,然后点击“OK”即可确定。

    切换到“Map/Reduce”工作目录下的界面如下图所示。

    第四步:配置DFS Locations
    建立与Hadoop集群的连接,在Eclipse软件下面的“Map/Reduce Locations”进行右击,弹出一个选项,选择“New Hadoop Location ”,然后弹出一个窗体。

    注意上图中的红色标注的地方,是需要我们关注的地方。
    Location Name:可以任意填,标识一个“Map/Reduce Location”
    Map/Reduce Master
    Host:xx.xx.xx.xx(Master.Hadoop的IP地址,即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中ip)
    Port:xx(即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中端口)
    DFS Master
    Use M/R Master host:前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。)
    Host:xx.xx.xx.xx(/home/hadoop/hadoop-1.1.1/conf/core-site.xml中ip)
    Port:xxxx (/home/hadoop/hadoop-1.1.1/conf/core-site.xml中端口)
    User name:hadoop(操作hadoop的用户)

    接着点击“Advanced parameters”从中找到“hadoop.tmp.dir”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“/home/hadoop/hadoop-datastore/”,这个参数在“core-site.xml”进行了配置。

    再从中找到“fs.default.name”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“hdfs://localhost:54310”,这个参数在“core-site.xml”进行了配置。

    点击“finish”之后,会发现Eclipse软件下面的“Map/Reduce Locations”出现一条信息, 就是我们刚才建立的“Map/Reduce Location ”。

    第五步:查看HDFS文件系统
    查看HDFS文件系统,点击Eclipse软件左侧的“DFS Locations”下面的“localhost”,就会展示出HDFS上的文件结构(记得要先启动hadoop,不然看不到效果)。

    到此为止,我们的Hadoop Eclipse开发环境已经配置完毕。



    在Ubuntu下使用Eclispe连接hadoop时拒绝链接解决方案总结,eclispehadoop

    用eclipse连接集群查看文件信息提示9000端口拒绝连接的错误
    Cannot connect to the Map/Reduce location: hadoop1.0.3

    Call to ubuntu/192.168.1.111:9000 failed on connection exception: java.net.ConnectException: 拒绝连接

    1.常见解决办法:配置都很正常,就是连接不了。后来重新配置hadoop location,把Map/Reduce Master 和 DFS Master中的Host由localhost改成了ip地址(192.168.1.111),然后问题就解决了。奇怪,localhost不就是本机嘛,而namenode主机(192.168.1.111)也是本机。

    2.eclipse的hadoop插件与hadoop的版本号不一致导致的,你最好使用下载的hadoop包解压后的contri文件中的eclipse插件

    3.hadoop-site.xml文件配置错误

    <property>
    <name>fs.default.name</name>
    <value>hdfs://你的用户名:9000</value>
    </property>
    <property>
    <name>mapred.job.tracker</name>
    <value>hdfs://用户名:9001</value>
    </property>

    4.关闭hdfs权限:hdfs-site.xml中
    <property>    
        <!-- 是否对DFS中的文件进行权限控制(测试中一般用false)-->    
        <name>dfs.permissions</name>    
        <value>false</value>    
    </property>
    5.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹,然后指定hadoop插件目录,插件目录在preferences的map/reduce的hadoop installation location
    6.在windows的hosts文件中添加hadoop所有节点的ip和主机名
    7.关闭linux系统防火墙
    8.把hadoop三个配置文件中涉及到的主机名全部改成ip地址,master和salves文件也改成ip
    9/etc/hosts出错
    



    Window下使用eclipse连接Ubuntu上部署的hadoop

    HADOOP_HOME路径下的hadoop-0.20.*-core.jar,hadoop-0.20.*-ant.jar,hadoop-0.20.*-tools.jar等包也复制了吗? 很重要滴
     

    Eclipse连接Hadoop出错:

    eclipse的hadoop插件与hadoop的版本号不一致导致的,你最好使用下载的hadoop包解压后的contri文件中的eclipse插件
    展开全文
  • 一般来说,节点之间链接失败不外乎以下几个错误:1、之前配置过ssh,信任hosts冲突删除 ~/.ssh/konwn_host 文件# rm /root/.ssh/konwn_host因为保不齐有其他问题,实际推荐的是删除.ssh下的所有内容,然后ssh-keygen...

    datanode启动失败很可能是节点连通问题
    一般来说,节点之间链接失败不外乎以下几个错误:

    1、之前配置过ssh,信任hosts冲突

    删除 ~/.ssh/konwn_host 文件

    # rm /root/.ssh/konwn_hosts

    因为保不齐有其他问题,实际推荐的是删除.ssh下的所有内容,然后ssh-keygen重新生成

    rm -rf /root/.ssh/*

    2、防火墙未关闭

    CentOS 7开始改用firewall控制防火墙

    # systemctl stop firewalld.service
    # systemctl disable firewalld.service

    也可以用老方法,安装iptables,利用iptables关闭

    # yum install iptables

    立即生效重启后失效

    # service iptables stop

    重启后生效:

    # chkconfig iptables off 

    3、ssh权限问题

    ssh对文件权限有明确的要求: .ssh文件夹700 authorized_keys 600,此错误一般会显示:Read from socket failed: Connection reset by peer

    改正

    # chmod 700 /root/.ssh
    
    # chmod 600 /root/.ssh/authorized_keys

    4、使用了DSA秘钥

    这也是我第一次ssh失败发现的错误,当时系统是ubuntu16.04,后来查看/etc/ssh/sshd_config 的时候发现竟然没有DSA相关配置信息,当然这里你可以加上配置信息,或者直接就换成RSA秘钥,CentOS是默认有DSA的配置信息的,如果用的CentOS应该没有这个问题

    展开全文
  • 学习hadoop-远程链接 HDFS

    千次阅读 2018-01-15 11:09:37
    使用javaAPI的方式远程链接HDFS 首先项目进行maven管理 我这边使用的hadoop是2.5.0 进行学习 ...远程在win上面使用ide开发工具进行链接hadoop 首先创建maven工程 xmlns:xsi="http://www.w3.org/20
    使用javaAPI的方式远程链接HDFS
    首先项目进行maven管理
    我这边使用的hadoop是2.5.0 进行学习
    远程在win上面使用ide开发工具进行链接hadoop

    首先创建maven工程
    <?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>hadoop-demo</groupId>
        <artifactId>hadoop-hdfs-demo</artifactId>
        <version>1.0-SNAPSHOT</version>
    
        <dependencies>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-common</artifactId>
                <version>2.5.0</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>2.5.0</version>
            </dependency>
        </dependencies>
    
    </project>



    然后在resources 导入在 hadoop-2.5.0/etc/hadoop/目录下面的  core-site.xml文件和hdfs-site.xml文件
    core-site.xml
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.1.129:8020</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/modules/hadoop-2.5.0/data/tmp</value>
        </property>
        <property>
            <name>fs.trash.interval</name>
            <value>420</value>
        </property>
    
    </configuration>
    hdfs-site.xml
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>





    创建类
    package com.ibeifeng.hadoop.senior.hdfs;
    
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    
    
    /**
     * HDFS 远程
     * @author DavidGHS
     */
    public class HdfsApp {
    
        public static void main(String[] args) throws Exception {
            //默认加载 core-site.xml core-defult.xml hdfs-site.xml hdfs-defult.xml
            Configuration configuration = new Configuration();
            //获取文件系统
            FileSystem fileSystem = FileSystem.get(configuration);
    
            System.out.println(fileSystem);
        }
    }
    

    在运行后 正常是可以输出
    DFS[DFSClient[clientName=DFSClient_NONMAPREDUCE_2112275376_1, ugi=Administrator (auth:SIMPLE)]]
    这种参数的
    如果输出来那么就是获取了文件系统
    如果没有 那么就是可能你的配置文件配置错误

    希望可以帮助到你 




    展开全文
  • 这个 Hadoop 项目可以在 Wikipedia 中找到所有链接。 它解析完整的维基百科100 Go转储 XML。 如何使用 1-导入转储简单 /wikidump 文件夹中提供了维基百科转储示例。 解压缩并将xml导入hadoop。 $ cd wikidump $ ...
  • Eclipse链接Hadoop集群配置,图文说明
  • Hadoop

    千次阅读 2020-01-08 16:32:15
    Hadoop大数据生态系统 实验教程 第1章 欢迎来到大数据的世界 1.1 拥抱大数据 当今的社会,是一个信息大爆炸的社会,社会在高速发展,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大量的数据在...
  • 学习hadoop的URL链接

    千次阅读 2010-11-01 21:38:00
    http://caibinbupt.javaeye.com/ 蔡斌,hadoop源码分析 http://www.oschina.net/p/hive/recomm HIVE的详细教程 http://www.tbdata.org/archives/category/hive 淘宝数据平台团队 ...
  • 前一段时间,在上一篇博文中描述了自己抽时间在构建的完全分布式Hadoop环境过程中遇到的一些问题以及构建成功后,通过Eclipse操作HDFS的时候遇到的一些问题,最近又想进一步学习学习Hadoop操作Mysql数据库的一些知识...
  • hadoop视频教程下载链接汇总

    千次阅读 2015-04-05 00:42:01
    为方便大家搜索hadoop视频教程并下载,现将相关链接整理如下: 炼数成金hadoop视频教程: http://dl.vmall.com/c0ba3va3te Hadoop视频教程下载完整版(共计30讲)  http://pan.baidu.com/s/1bnlcoJP 密码: 6vje...
  • 对在windows上进行远程链接ubuntu hadoop平台进行介绍,并对提交任务中遇到的问题进行介绍。主要是包括路径找不到,压缩编码错误,java版本不一致等。
  • Spring Tool Suite 已经链接hadoop,在project下的DFS locations 可以显示HDFS中的文件,但是编写好的Mapreduce程序,无法执行,run as >>run on hadoop 总是让选择main类型,而且程序执行一致没有反省,有时回报...
  • Hadoop通过路径和和链接访问HDFS

    万次阅读 多人点赞 2016-12-10 16:46:50
    如果既想在Hadoop服务器本地可以通过绝对路径如"/user/hadoop"方式访问hdfs,也想通过"hdfs://local host:9000/user/hadoop的方式访问hdfs,此时做需要配置core-site.xml: fs.defaultFS hdfs://master.domain....
  • spark_hadoop视频教程,本人自学java大数据时收集到的最好最全的spark_hadoop视频教程。
  • hadoop链接和操作hdfs 增删追加

    千次阅读 2017-01-20 09:24:02
    学习hadoop的经典实例,网上找了好多代码,自己做了些修改,这个例子有hadoop的wordcount和操作hdfs的全过程,已跑通。 1.RunJob。java package com.dinfo.hadoop; import java.io.IOException; import org....
  • 适用于想要学习hadoop的初学者需要做的前期准备
  • hadoop视频教程下载链接

    万次阅读 2013-03-05 22:25:39
    炼数成金hadoop视频教程: http://dl.vmall.com/c0ba3va3te Easyhadoop技术大学hadoop实践视频教程: http://pan.baidu.com/share/link?shareid=492484&uk=1124363056#dir
  • hadoop编译C++的openssl链接问题

    千次阅读 2015-03-26 22:04:14
    hadoop的工程是我在电脑上重新编译成32位的,但是直接使用hadoop权威指南的C++文件以及makefile会报错。makefile:cc = g++ CPPFLAGS = -m32 -I$(HADOOP_DEV_HOME)/includemaxTemperature:MaxTemperature.cpp $(cc)...
  • hadoop mapred-site配置问题。  在服务器运行历史违约,所以您需要添加你的配置的主机。 mapreduce.jobhistory.address 10.11.149.123:10020 配置主机/客户端,并在主机上启动historyserver ./mr-job...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 71,020
精华内容 28,408
关键字:

hadoop半链接