精华内容
下载资源
问答
  • windows安装hadoop及配置

    2020-08-06 10:47:30
    总结下windows安装hadoop环境,方便下次使用,本次的麻烦就是下次的方便 一、环境准备 1、JDK安装2、Hadoop安装包(官网下载) 2、下载hadoop安装包 3、准备hadoop windows的插件 二、安装配置 1、以管理员身份解压...

    总结下windows下安装hadoop环境,方便下次使用,本次的麻烦就是下次的方便

    一、环境准备

    1、JDK安装2、Hadoop安装包(官网下载)
    2、下载hadoop安装包
    3、准备hadoop windows的插件

    二、安装配置

    1、以管理员身份解压Hadoop安装包

    在这里插入图片描述
    2、配置Hadoop环境变量
    我的电脑 --> 属性 --> 高级系统设置 --> 高级 --> 环境变量,新建HADOOP_HOME,然后将%HADOOP_HOME%\bin添加到Path中。
    在这里插入图片描述
    3、新建data
    (下面建俩子文件夹namenode和datanode)和tmp目录,
    在这里插入图片描述
    4、修改启动类 hadoop-env.cmd,

    主要是设置JAVA_HOME的路径,我的文件目录在 D:\modules\hadoop-2.7.7\etc\hadoop,(这里注意一下:如果jdk路径中有“Program Files”,则将Program Files改为 PROGRA~1,否则会报错)
    在这里插入图片描述
    5、修改配置文件(core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml)
    (1)core-site.xml

    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>
    </configuration>

    (2)hdfs-site.xml

    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>/D:/modules/hadoop-2.7.7/data/namenode</value>
    </property>
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>/D:/modules/hadoop-2.7.7/data/datanode</value>
    </property>
    </configuration>

    (3)mapred-site.xml

    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>

    (4)yarn-site.xml

     <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
     </property>
     <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>arg.apache.hadoop.mapred.ShuffleHandler</value>
     </property>
    </configuration>

    6、启动格式化HDFS
    首先,hadoop version,查看是否能正常运行,
    在这里插入图片描述
    然后,执行 hdfs namenode -format
    在这里插入图片描述
    格式化之后,namenode文件里会生成一个current文件,则格式化成功。

    三、Hadoop启动

    在cmd中执行 start-all.cmd 命令,启动Hadoop,

    四、HDFS操作测试

    安装好了Hadoop环境,接下来我们就敲下hadoop命令,上传几个文件操作实战一下。1、创建目录hadoop fs -mkdir hdfs://localhost:9000/my/hadoop fs -mkdir hdfs://localhost:9000/my/testinput
    2、上传文件hadoop fs -put E:\test01.txt hdfs://localhost:9000/my/testinputhadoop fs -put E:\test02.txt hdfs://localhost:9000/my/testinput
    3、查询文件hadoop fs -ls hdfs://localhost:9000/my/testinput

    五、管理页面Hadoop自带了web UI管理页面

    1、资源管理(localhost:8088)
    2、节点管理(localhost:50070)
    到此就安装为止了。

    展开全文
  • Windows10环境安装hadoop及配置 一. Windows10环境下安装 1. 下载安装JDK1.8,并配置环境变量,注意:jdk路径不要包含空格,C盘中的Program Files目录名称可用PROGRA~1代替即 2. 下载Hadoop镜像安装文件,...

    Windows10环境安装hadoop及配置

    一. Windows10环境下安装 

        1.  下载安装JDK1.8,并配置环境变量,注意:jdk路径不要包含空格

       以下这种jdk配置的路径中就有空格,不能使用

        2.  下载Hadoop镜像安装文件,下载地址:https://hadoop.apache.org/releases.html

     

    3.  解压Hadoop镜像文件到磁盘目录下,注意:可以解压在非C盘下,存储目录不要包含中文空格

    4.  配置HADOOP_HOME环境变量,

     

    4.1、并在系统环境变量Path中添加Hadoop环境变量    

            %HADOOP_HOME%\bin

           %HADOOP_HOME%\sbin

    4.2、配置jdk路径

    在 D:\software\hadoop\hadoop-3.3.0\etc\hadoop  路径下面的  hadoop-env.cmd 文件  ,

      注意: 无论是配置的JAVA_HOME环境变量,还是这种自定义的jdk路径,他们中不能含有空格

     

    5. 打开cmd窗口,输入hadoop version命令验证

    备注: 若出现 Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd的报错,则是因为JAVA_HOME环境变量配置的路径含有空格的原因

    6.  Hadoop伪分布式部署配置

     a.  下载windows专用二进制文件和工具类依赖库: hadoop在windows上运行需要winutils支持和hadoop.dll等文件

        https://github.com/steveloughran/winutils

         在github仓库中找到对应版本的二进制库hadoop.dll和winutils.exe文件,然后把文件拷贝到hadoop解压的bin目录中去

    注意:  hadoop.dll等文件不要与hadoop冲突,若出现依赖性错误可以将hadoop.dll放到C:\Windows\System32下一份

       b.  修改etc目录下的core-site.xml文件 

       <configuration>

       <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
       </property> 
        <property>  
         <name>hadoop.security.authorization</name>  
          <value>false</value>  
        </property>

        <property>
            <name>hadoop.tmp.dir</name>
            <value>/D:/software/hadoop/hadoop-3.3.0/tmp</value>
        </property>

      </configuration>

      注意:windows目录路径要改成使用正斜杠,且磁盘名称最前面也需要一个正斜杠

       c.  修改hdfs-site.xml配置文件

         <configuration>

         <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>  

       <!-- 设置名称节点位置 存储名称表(fsimage)的位置-->

       <property>
            <name>dfs.namenode.name.dir</name>
            <value>/D:/software/hadoop/hadoop-3.3.0/data/namenode</value>
        </property>
           <!-- 确定DFS数据节点应在本地文件系统上的哪个位置存储其块 -->
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/D:/software/hadoop/hadoop-3.3.0/data/datanode</value>
        </property>  
       
       <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
       </property>

       <property>
            <name>dfs.client.use.datanode.hostname</name>
            <value>true</value>
       </property>

       </configuration>

        注意:windows目录路径要改成使用正斜杠,且磁盘名称最前面也需要一个正斜杠

       d.   节点格式化

            在cmd窗口执行命令:hdfs namenode -format

           执行成功结果:表示节点格式化成功

    多出data文件夹

     7. 启动&关闭Hadoop

         a.  进入Hadoop的sbin目录下执行start-dfs.cmd启动Hadoop     

         b.  Web界面查看HDFS信息,在浏览器输入http://localhost:9870/,可访问NameNode

    展开全文
  • 为了方便操作Hadoop,不需要打包将项目打包到Linux下测试,我们就把Hadoop安装Windows下,可以直接进行测试。 下载Hadoop: hadoop-2.6.0-cdh5.14.2.tar.gz 解压并复制文件夹路径配置环境变量 新建系统变量 编辑环境...

    为了方便操作Hadoop,不需要打包将项目打包到Linux下测试,我们就把Hadoop安装在Windows下,可以直接进行测试。
    下载Hadoop:
    hadoop-2.6.0-cdh5.14.2.tar.gz
    解压并复制文件夹路径配置环境变量
    新建系统变量在这里插入图片描述
    编辑环境变量Path在这里插入图片描述
    由于我们不需要用到核心,不配置其核心文件
    但是到这里并不会解决空指针问题,我们还需要下载二个文件:
    在这里插入图片描述
    在这里插入图片描述
    hadoop.dll和winutils.exe需要与hadoop版本对应。

    展开全文
  • 一、首先确保你已经安装了JDK 您可以去官网下载JDK1.8.0(注意版本哦~) 二、去获取hadoop-2.6.0-...系统变量Hadoop_Home(指向你windows系统中的hadoop文件夹目录) 系统变量Path中添加jdk和hadoop,如下配置 .

    一、首先确保你已经安装了JDK

    您可以去官网下载JDK1.8.0(注意版本哦~)

    二、去获取hadoop-2.6.0-cdh5.14.0的镜像:

    下载链接 https://download.csdn.net/download/u010051036/12720677

    三、接下来就到了我们的配置过程啦~

    1.配置环境变量

    系统变量Java_Home

    系统变量Hadoop_Home(指向你windows系统中的hadoop文件夹目录)

    系统变量Path中添加jdk和hadoop,如下配置

     

    四、接下来进入测试阶段

    win+R cmd

    出现如上图所示,说明jdk安装成功。

    出现如上图所示,说明hadoop配置成功。

    展开全文
  • Windowshadoop2.7.6安装及配置教程

    千次阅读 2019-04-21 22:03:26
    一、首先确保你已经安装了JDK 您可以去官网下载JDK1.8.0(注意版本哦~) 二、去获取hadoop-2.7.6的镜像(清华大学提供的优秀资源): http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 三、接下来就到...
  • 环境模拟是用cygwin搭建的,可以参考: cygwin架设SSH服务 Hadoop配置hadoop-env.sh ...增加:export JAVA_HOME="/cygdrive/...这个配置中的hadoop.tmp.dir必须是linux路径格式:/temp/hadooptmp(但format后,其
  • Windows安装及配置Hadoop<二> 接上一篇在Windows安装及配置Hadoop<一>http://www.cnblogs.com/SilentJerry/p/6771117.html 配置环境变量  在“我的电脑”...
  • 一、环境说明 hadoop 版本:2.4.0 hadoop 安装环境:centos6 ...eclipse 安装环境:windows10 二、插件安装 hadoop-eclipse-plugin-2.4.0.jar 插件下载:http://download.csdn.net/do
  • Windows安装及配置Hadoop<一> 一 . 准备工作 1,安装JDK 在https://www.java.com/zh_CN/download/manual.jsp下载新版JDK。(Hadoop的编译以及MapReduce程序的运行,很多...
  • 1. Java下载Java 1.8 64位版本https://java.com/en/download/. 如果不是64位java,在启动资源节点管理器时会出现错误Java 安装自选目录, 必须是中间不带空格的目录结构:比如 C:\java64安装完成后,使用“java -...
  • hadoop-2.7.2伪分布式windows安装及配置首先准备hadoop-2.7.2压缩包将复制好的压缩包解压至D盘的soft文件夹下,修改名字为hadoop使用winutils中的bin目录整个替换hadoop中的bin目录在hadoop的data文件夹下创建...
  • 由于项目需要,我在VMware上装了几个虚拟机Windows server 2012 R2,并要搭建Hadoop集群。...最终选择直接在Windows server 2012 R2上安装配置Hadoop,在这里非常感谢博友教程,地址是https://blog.csdn.net/ant...
  • Hadoop安装及配置

    2013-02-17 14:06:52
    Hadoop安装及配置 (文档修订:以下提到hadoop版本请使用 hadoop1.1.1, 本人建议大家使用最新的版本,近期我使用的版本是hadoop1.1.4) 一、本机安装VM8.0 再安装centOS 5.8: 在3台测试机器上安装 VM8.0 ...
  • 百度网盘相关文件: hadoop-2.6.0-cdh5.14.2.tar.gz hadoopBin.rar 1.下载hadoop-2.6.0-cdh5.14.2.tar.gz并解压到相应文件夹中 2.将hadoopBin.rar解压,并将所有文件复制到hadoop文件夹下面的bin目录里...4.配置hadoop
  • windows安装hadoop

    2013-02-17 14:12:33
    八、windows安装hadoop(注:八到十 Windows可以暂时不配,目前用不到) 下载安装Unix仿真工具cygwin 安装java 修改系统环境变量 启动cygwin,在仿真终端下解压hadoop 配置openssh 后续步骤与linux情形雷同 ...
  • Hadoop安装及文件配置

    2018-06-23 20:32:14
    1、首先去hadoop官网下载hadoop安装包,选择自己需要的版本,下载。 附链接:http://hadoop.apache.org/releases.html 2、把下载下来的安装包放到Linux系统或者Windows系统中...3、修改配置文件:配置文件在hadoo...
  • Windows安装配置Hadoop

    千次阅读 2013-12-27 10:51:15
    以下介绍在Windows安装配置Hadoop: 1、在地址http://www.java.com/zh_CN/download/manual.jsp下安装JDK,下载最新的JDK,之后双击安装即可。这是因为Hadoop的编译MapReduce程序的运行很多地方需要使用JDK,只...
  • windows7上VMware虚拟机上三台ubuntu10.10上hadoop安装及配置详解
  • 2.3 在Windows安装配置Hadoop 2.3.1 安装JDK 1.6或更高版本相对于Linux,JDK在Windows上的安装过程更容易,你可以在http://www.java.com/zh_CN/download/manual.jsp下载到最新版本的JDK。这里再次申明,Hadoop...
  • 课本附录简单介绍了在Windows上的安装及配置过程,但是推荐在Linux系统下完成,正好对Linux系统及一些命令比较感兴趣,趁着这个机会正好学习一波。以此记录之! Hadoop简介 此处引用百度百科: Hadoop是一个由...
  • Windows10下Hadoop安装步骤(默认安装好了JDK且配置成功): 1.Hadoop下载,官网或到http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz下载并解压;  2.配置环境变量,如...
  • 一、下载windows版本的winutils 下载地址:https://github.com/srccodes/hadoop-common-2.2.0-bin,下载后是文件名是hadoop-common-2.2.0-bin-master.zip,解压到一个目录。 二、配置环境变量 配置环境变量:...
  • 重命名计算机为master $> hostnamectl set-hostname master 设置计算机ip在网络上的名称 $> vi /etc/hosts #hosts : #自己linux的ip地址 主机名 ...注意:如果在windows系统上ping通ma...
  • Windows64位系统安装Hadoop并在本地调试MapReduce程序安装特别注意在IDEA 下执行的Run配置参数 安装 网上的安装步骤随便一查到处都是,我这里只是简单描述下。 下载对应操作系统的jdk,安装并配置环境变量。 下载...

空空如也

空空如也

1 2 3 4 5 ... 8
收藏数 150
精华内容 60
关键字:

windows安装hadoop及配置