精华内容
下载资源
问答
  • 使用eclipse配置windows本地hadoop环境,使用的是hadoop-2.8.5第1步:解压hadoo压缩在windows下解压缩hadoop压缩包(和Linux下的hadoop版本相同)第2步:配置eclipse将hadoop-eclipse-plugin-2.8.5.jar放入eclipse...

    第1步:解压hadoo压缩

    在windows下解压缩hadoop压缩包(和Linux下的hadoop版本相同),下载链接如下:

    https://download.csdn.net/download/weixin_46028577/12445863

    在这里插入图片描述

    第2步:配置eclipse

    将hadoop-eclipse-plugin-2.8.5.jar放入eclipse(下载链接如下:)

    https://download.csdn.net/download/weixin_46028577/12445863

    在这里插入图片描述

    删除platform.xml文件


    遇到的问题和解决方案:
    这里保留了以前打开eclipse的信息,没有办法实时更新,删了重打开好让它配置加载hadoop-eclipse-plugin-2.8.5.jar的信息。不这样操作,可能会导致eclipse没有Hadoop Map/Reduce这个选项。

    设置本地hadoop路径

    在这里插入图片描述

    增加Map/Reduceg功能区(详细操作链接如下)

    https://blog.csdn.net/weixin_46028577/article/details/106453160

    在这里插入图片描述

    第3步:建立远程连接

    先在Linux下打开hadoop进程(伪分布式)

    在这里插入图片描述

    创建并填入连接信息

    在这里插入图片描述
    在这里插入图片描述
    Host填入的是Linux主机名(可用其ip地址等替代):端口可在mapred-site.xml文件里面的mapreduce.jobtracker.address可查看(若没有,自己配置)
    DFS Master端口:可在core-site.xml文件下的fs.defaultFS下查看

    遇到的问题和解决方案:
    这里发现Host(mapreduce.jobtracker.address)的端口号是local,这是因为没有配置的原因,系统默认为local了,但eclipse又需要使用,可自己配置。(mapred-site.xml—>mapreduce.jobtracker.address)。

    查看是否连接成功

    在这里插入图片描述

    配置成功了!!!

    (码字不易,有用的话给点积分吧)

    展开全文
  • 本地配置Hadoop环境

    2019-01-09 11:36:33
    2.配置HADOOP_HOME ,即下图蓝色的部分   3.配置HADOOP_USER_NAME   4.配置path path里面有两个变量 ,一个是JAVA_HOME/bin ; 一个是HADOOP_HOME/bin;XXXXXXXXXX 不能修改JAVA_HOME,会导致eclipse无法...

    1.首先将压缩包解压到C盘usr目录下

    2.配置HADOOP_HOME ,即下图蓝色的部分

     

    3.配置HADOOP_USER_NAME

     

    4.配置path
    path里面有两个变量 ,一个是JAVA_HOME/bin ; 一个是HADOOP_HOME/bin;XXXXXXXXXX

    不能修改JAVA_HOME,会导致eclipse无法运行,修改一个即可。

    展开全文
  • hadoop环境配置与搭建

    2018-07-27 09:07:10
    hadoop配置学习,本地版、伪分布式、完全分布式模式的环境搭建。全面讲解。
  • 配置开发者本地hadoop-3.0.0环境

    千次阅读 2018-04-15 22:14:40
    1 配置开发者本地hadoop环境 参考网址:https://blog.csdn.net/songhaifengshuaige/article/details/79575308 1.1.下载hadoop3.0.0并配置环境变量 1.2.集成支持windows下运行的hadoop的bin 关于winutils:...

    1 配置开发者本地hadoop环境

    参考网址:https://blog.csdn.net/songhaifengshuaige/article/details/79575308

    1.1.下载hadoop3.0.0并配置环境变量

    这里写图片描述

    1.2.集成支持windows下运行的hadoop的bin

    关于winutils:除了Hadoop安装包和JDK外,还要下载的一个第三方工具是名为winutils的一套类库,下载地址:https://github.com/steveloughran/winutils
    注意:如果使用是hadoop-3.0.0,也要将winutils中的所有的dll等文件都覆盖到hadoop目录的bin子目录中去。
    解压后的winutils目录结构如下:
    这里写图片描述

    这里写图片描述
    将上面的bin中的内容放到hadoop-3.0.0\bin中

    1.3.配置hadoop-env.cmd

    关于hadoop的配置,在hadoop目录下的etc/hadoop下找到大量配置文件,文件后缀为sh的是Linux环境用的,cmd的就是windows的脚本,先要配置hadoop-env.cmd,这个文件(笔者电脑上的文件比如:D:\Installed\hadoop-3.0.0\etc\hadoop\hadoop-env.cmd)唯一要配置的地方是:
    
    set JAVA_HOME=D:\Installed\jdk1.8.0_144

    注意:
    1、 这里的JAVA_HOME地址中不能有空格。否则会报错。
    这里写图片描述

    1.4.配置core-site.xml

    文件位置:D:\Installed\hadoop-3.0.0\etc\hadoop\core-site.xml,配置的文件内容是:

    <configuration>
        <property>
           <name>fs.default.name</name>
           <value>hdfs://localhost:9000</value>
       </property>
    </configuration>

    1.5.配置hdfs-site.xml

    该文件是一些与hdfs有关的配置项,这里别忘了预先建立好datanode 和 namenode两个目录,本例中它们在hadoop所在盘符下的本例中他们在hadoop所在盘符下的hadoop/data/dfs/目录下。修改D:\Installed\hadoop-3.0.0\etc\hadoop\hdfs-site.xml。具体内容是:

    <configuration>
        <!-- 这个参数设置为1,因为是单机版hadoop -->  
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
         <name>dfs.permissions</name>
         <value>false</value>
      </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/D:/Installed/hadoop-3.0.0/data/namenode</value>
       </property>
       <property>
            <name>fs.checkpoint.dir</name>
            <value>/D:/Installed/hadoop-3.0.0/data/snn</value>
        </property>
        <property>
            <name>fs.checkpoint.edits.dir</name>
            <value>/D:/Installed/hadoop-3.0.0/data/snn</value>
        </property>
           <property>
           <name>dfs.datanode.data.dir</name>
           <value>/D:/Installed/hadoop-3.0.0/data/datanode</value>
       </property>
    </configuration>

    1.6.配置mapred-site.xml

    配置的文件是:D:\Installed\hadoop-3.0.0\etc\hadoop\mapred-site.xml,具体内容是:
    
    <configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
    </configuration>

    1.7.配置yarn-site.xml

    配置的文件是:D:\Installed\hadoop-3.0.0\etc\hadoop\yarn-site.xml

    <configuration>  
    <!-- Site specific YARN configuration properties -->  
        <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
       </property>  
       <property>  
            <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>    
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
       </property>  
    </configuration>

    1.8.运行hadoop

    以管理员方式打开cmd,运行hadoop:
    
    cd D:\Installed\hadoop-3.0.0\bin  (或者:进入hadoop的这个bin目录,然后按着shift + 右键,点击在此处打开命令,然后弹出cmd窗口)
    hadoop namenode –format    #一定要先格式化hdfs

    执行之后的效果是:
    这里写图片描述
    执行完成之后,在D盘下出现:
    这里写图片描述
    说明已经初始化完成了

    启动dfs和yarn,命令:

    cd D:\Installed\hadoop-3.0.0\sbin
    
    start-dfs.cmd   #先启动dfs
    start-yarn.cmd  #再启动yarn
    
    start-all.cmd  #等于上面两条命令的组合  
    
    stop-dfs.cmd
    stop-yarn.cmd

    运行完成之后,访问地址:http://localhost:8088/
    这里写图片描述

    访问:http://localhost:9870/dfshealth.html#tab-overview
    这里写图片描述

    展开全文
  • Hadoop环境配置与测试

    2019-11-15 10:10:32
    Hadoop环境配置与测试 Hadoop的安装方式有三种,分别是单机模式,伪分布式模式,分布式模式。 • 单机模式:Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便...
    							Hadoop环境配置与测试
    

    Hadoop的安装方式有三种,分别是单机模式,伪分布式模式,分布式模式。
    • 单机模式:Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
    • 伪分布式模式:Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
    • 分布式模式:使用多个节点构成集群环境来运行Hadoop。
    • 本实验采取单机伪分布式模式进行安装。

    重要知识点提示:

    1. Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件
    2. Hadoop 的配置文件位于 hadoop/etc/hadoop/ 中,伪分布式需要修改5个配置文件hadoop-env.sh、 core-site.xml 、 hdfs-site.xml 、mapred-site.xml和yarn-site.xml
    3. Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现
      实验步骤:
    4. 修改配置文件:hadoop-env.sh、core-site.xml,hdfs-site.xml,mapred-site.xml、yarn-site.xml
    5. 初始化文件系统hadoop namenode -format
    6. 启动所有进程start-all.sh或者start-dfs.sh、start-yarn.sh
    7. 访问web界面,查看Hadoop信息
    8. 运行实例
    9. 停止所有实例:stop-all.sh

    提示:红色代表在终端所使用的命令,蓝色代表要修改的内容。
    第一步:配置Hadoop环境
    1.配置Hadoop(伪分布式),修改其中的5个配置文件即可

    1. 进入到Hadoop的etc目录下
    cd /bigdata/hadoop-3.1.1/etc/hadoop
    

    在这里插入图片描述
    在这里插入图片描述
    2) 修改第1个配置文

    sudo vi hadoop-env.sh
    

    找到第54行,修改JAVA_HOME如下:

    export JAVA_HOME=/opt/java/jdk1.8.0_181
    

    在这里插入图片描述

    1. 修改第2个配置文件
    sudo vi core-site.xml
    
    <configuration>
      <!-- 配置hdfs的namenode的地址 -->
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
    
      <!-- 配置Hadoop运行时产生数据的存储目录,不是临时的数据 -->
      <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/bigdata/hadoop-3.1.1/tmp</value>
      </property>
    </configuration>
    
    1. 修改第3个配置文件
    sudo vi hdfs-site.xml
    
    <configuration>
     <!-- 指定HDFS存储数据的副本数据量 -->
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
    <property>
            <name>dfs.namenode.http-address</name>
            <value>localhost:50070</value>
    </property>
    
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/bigdata/hadoop-3.1.1/tmp/dfs/name</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/bigdata/hadoop-3.1.1/tmp/dfs/data</value>
     </property>
    
    </configuration>
    

    此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

    1. 修改第4个配置文件:
    sudo vi mapred-site.xml
    
    <configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>
    
    1. 修改第5个配置文件
    sudo vi yarn-site.xml
    
    <configuration>
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
      </property>
      
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    </configuration>
    
    1. 对hdfs进行初始化(格式化HDFS)
    cd /bigdata/hadoop-3.1.1/bin/
    sudo ./hdfs namenode -format
    
    1. 如果提示如下信息,证明格式化成功:
      在这里插入图片描述

    第五步:启动并测试Hadoop
    1)
    cd /bigdata/hadoop-3.1.1/sbin/

    在这里插入代码片
    

    sbin/start-dfs.sh或者./start-dfs.sh
    sbin/start-yarn.sh或者./start-yarn.sh
    在这里插入图片描述
    如果报以下错误,请修改下面4个文件如下
    在这里插入图片描述
    在/hadoop/sbin路径下:
    将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数

    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_DATANODE_SECURE_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    

    还有,start-yarn.sh,stop-yarn.sh顶部也需添加以下参数:

    #!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    

    修改后重启 ./start-dfs.sh,成功!

    1. 使用jps命令检查进程是否存在,总共5个进程(jps除外),每次重启,进程ID号都会不一样。如果要关闭可以使用 stop-all.sh命令。
      6532 DataNode
      6708 SecondaryNameNode
      6998 ResourceManager
      5081 org.eclipse.equinox.launcher_1.3.201.v20161025-1711.jar
      6410 NameNode
      7117 NodeManager

    在这里插入图片描述
    3) 访问hdfs的管理界面

    localhost:50070
    

    在这里插入图片描述

    1. 访问yarn的管理界面
    localhost:8088
    

    在这里插入图片描述
    在这里插入图片描述

    1. 如果想停止所有服务,请输入sbin/stop-all.sh

    针对 DataNode 没法启动的解决方法

    ./sbin/stop-dfs.sh # 关闭
    rm -r ./tmp # 删除 tmp 文件,注意这会删除 HDFS 中原有的所有数据
    ./bin/hdfs namenode -format # 重新格式化 NameNode
    ./sbin/start-dfs.sh # 重启

    Hadoop环境搭建参考:http://dblab.xmu.edu.cn/blog/install-hadoop/

    展开全文
  • 很多人喜欢用Windows本地开发Hadoop程序,这里是一个在Windows下配置Hadoop的教程。 首先去官网下载hadoop,这里需要下载一个工具winutils,这个工具是编译hadoop用的,下载完之后解压hadoop文件,然后把winutils....
  • windows本地hadoop环境配置,需要的文件hadoop.dll和winutil.exe,亲测可用,里边包含了我写的配置方法,需要的拿去!
  • 在Windows 上调试MapReduce 下载hadoop-&amp;amp;amp;amp;amp;...三方镜像地址:...添加环境变量,将Hadoop的bin目录添加到环境变量 右键“计算机”-&amp;amp;amp;amp;amp;amp;gt; 高级系统设置
  • 首先声明,由于课程需要搭建hadoop环境而本人又不太懂这些,在多个教程的结合下才搭建完成,以下内容用来总结如何搭建(可能存在一些不太确定的小问题)。 我使用的版本为hadoop-3.1.3版本,安装路径为E:\QQ\文件\...
  • 百度网盘相关文件: hadoop-2.6.0-cdh5.14.2.tar.gz hadoopBin.rar 1.下载hadoop-2.6.0-cdh5.14.2.tar.gz并解压到相应文件夹中 2.将hadoopBin.rar解压,并将所有文件复制到hadoop文件夹下面的bin目录里...4.配置hadoop
  • 配置环境Hadoop-2.7.1,MyEclipse10,redhat 6.5 在redhat6.5环境下搭建了hadoop2.7.1集群环境,那么如何在本地eclipse环境下开发map/reduce业务呢? 网上查了下,主要是安装hadoop-eclipse-plugin,在这里将...
  • Windows本地配置hadoop运行环境

    千次阅读 2019-06-19 11:22:43
    windows本地配置hadoop运行环境,可以帮助我们更好进行开发或者hadoop学习。 本文介绍了如何搭建一个hadooop伪运行环境。 一、下载安装包并配置环境变量 下载hadoop binary安装安装包: ...
  • 一.问题描述:windows本地调试Hadoop程序时报错 ... //通过本地搭建hadoop环境解决 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z //通过下载winutils解决 ...
  • Windows下搭建hadoop 搭建本地hadoop开发环境

    万次阅读 多人点赞 2018-03-27 19:01:02
    一、下载所需文件 1.JDK下载地址:点击打开链接 2.Hadoop下载地址:点击...不会看这里点击打开链接三、Hadoop环境配置 1.下载Hadoop,并解压到你的本地目录,我下载的是hadoop-2.5.2版本,解压在D:\hadoop\hadoo...
  • Mac配置本地hadoop

    2018-03-05 11:07:00
    Mac配置本地hadoop 这学期要学习大数据,于是在自己的mac上配置hadoop环境。由于Mac是OSX系统,所以配置方法跟Linux类似 一、下载hadoop 从官网下载压缩包。 $ll total 598424 -rwxrwxrwx@ 1 fanghao staff 292M 3...
  • 文档针对使用spark做分布式数据处理的windows环境本地必要配置
  • 文章目录IDEA结合Maven搭建本地MapReduce环境前言环境配置Maven新建项目初始化添加apache源添加Hadoop依赖 前言 Hadoop的开发中需要很多的依赖包,相互之间的关系较为复杂,依赖包之间复杂的关系就导致了搭建Hadoop...
  • Windows下搭建本地hadoop环境

    千次阅读 2018-07-06 21:24:18
    一、安装JDK 下载地址: ...我的电脑是64位win10,下载了jdk-8u45-windows-x64.exe 安装 双击安装,安装到目录:D:\soft\JDK1.8 配置 环境变量配置: 在环...
  • hadoop环境变量配置 1.之前下载好的Hadoop是一个压缩包,因此直接解压到你的本地目录,我下载的是hadoop-2.7.7版本,解压在E:\hadoop\hadoop-2.7.7。 2.开始配置环境变量:打开计算机 –>属性 –>高级系统设置...
  • 先确认已经在虚拟机中的Hadoop集群已经开启,在Windows本地的eclipse已经安装及环境变量配置好,而且在本地文件夹已经有和集群同版本hadoop文件(解压缩好了)。 准备:需要在GitHub上下载好以下两个文件 hadoop2x-...
  • Mac下开发环境配置 四、知识要点 jdk、windows本地hadoop安装目录要求:不包含中文、不包含空格 5. hdfs的java API开发环境准备 1. 修改hosts文件 1. windows本 修改hosts文件 所在位置C:\Windows\System32\...
  • 1.在磁盘中创建文件夹,例如D:/tools/hadoop-3.1.1 2将Hadoop版本的压缩包解压,将里面的bin存到刚创建的...3.添加环境变量HADOOP_HOME 3.获取到bin的具体路径D:\tools\hadoop-3.1.1.7\bin 作为环境变量的值 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,302
精华内容 520
关键字:

本地hadoop环境配置