精华内容
下载资源
问答
  • windows安装hadoop教程

    2020-06-03 15:18:12
    第一步:安装java 菜鸟教程连接:https://www.oracle.com/java/technologies/javase-downloads.html 第二步:安装hive 1、下载hadoop:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/ 2、...

    第一步:安装JDK1.8

    菜鸟教程连接:https://www.oracle.com/java/technologies/javase-downloads.html

    第二步:安装hadoop

    1、下载hadoop:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/

    2、winutils下载:https://github.com/steveloughran/winutils

     

    3、hadoop和winutils解压之后将winutils的bin替换hadoop的bin

    第三步:配置hadoop

    1、配置环境变量:

    我的电脑--->右击属性--->高级系统设置--->环境变量

     

     

     

    2、进入hadoop安装文件夹下的etc/hadoop文件夹,修改以下文件内容:

    (1)core-site.xml

    (2)hdfs-site.xml

     

    (3)mapred-site.xml

    (4)yarn-site.xml

    (5)hadoop-env.cmd

    第四步:进入cmd控制台输入:hdfs namenode -format

    第五步:控制台进入sbin文件夹,输入:start-all.cmd

    出现以上四个界面就成功了

    第六步:浏览器输入:http://localhost:8088

    第七步:浏览器输入:http:localhost:50070

    至此,hadoop安装成功!!!

    展开全文
  • Windows安装Hadoop教程

    2012-12-26 11:41:46
    windows安装Hadoop详细教程
  • Windows安装Hadoop教程-在Windows安装Hadoop教程
  • windows安装hadoop教程

    2012-10-29 09:52:20
    windows安装hadoop教程,详细介绍了安装规则。
  • Windows安装Hadoop教程.pdf 在Windows安装Hadoop教程.pdf
  • windows安装hadoop教程

    千次阅读 2018-04-06 13:59:57
    Win10_x64位配置hadoop-2.7.5开发环境 在安装配置hadoop-2.7.5的环境时必须要配置好Java开发环境才能安装hadoop。第一部分:下载安装Java,配置其开发环境1、下载Java下载网站:...

    Win10_x64位配置hadoop-2.7.5开发环境

     

    在安装配置hadoop-2.7.5的环境时必须要配置好Java开发环境

    才能安装hadoop

    第一部分:下载安装Java,配置其开发环境

    1、下载Java

    下载网站:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

     

    2、下载安装在D

     

    双击安装在D盘:D:\Java\jdk1.8.0_161,这是其对应的安装路径

    配置路径:

    windows开始搜索栏输入:控制面板。如下图

     

    3Java环境变量以及路径变量设置

    点击控制面板——》系统和安全——》系统——》高级系统设置——》环境变量,如下图所示

    A编辑系统变量:

     

    B、继续编辑系统变量:

    变量名:CLASSPATH

    变量值:.;%JAVA_HOME%lib;%JAVA_HOME%lib/tools.jar;

     

    C、添加路径:点击Path,新建两个环境变量:

    %JAVA_HOME%\bin

    %JAVA_HOME%\jre\bin

    按照如下图所示

     

     

    如果要检验Java是否安装完毕,可以在DOS系统在对应路径下输入Java  -version查看其安装版本。这里不做演示了。

     

     

     

     

     

    第二部分hadoop的安装与环境配置

    1、下载hadoop

    下载网站:这是清华的镜像网站

    https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/

    我选的是稳定版本hadoop-2.7.5

     

    D盘创建一个hadoop文件夹将其保存在hadoop文件夹下:解压hadoop-2.7.5.tar.gz文件

    2、替换binetc文件

    然后去GIthub或者CSDN下载hadooponwindows-master.zip文件解压在同样的目录D:\hadoop下,解压hadooponwindows-master.zip

    用后者的binetc文件去替换掉前者的binetc文件:注意先删除hadoop-2.7.5下的binetc文件再去粘贴hadooponwindows-masterbinetc文件(也可以自己去编辑)。

    目的是减少自己取编辑以下四个文件的补充命令:

    l D:\hadoop\hadoop-2.7.5\etc\hadoop\core-site.xml

    <configuration>

        <property>

            <name>fs.defaultFS</name>

            <value>hdfs://localhost:9000</value>

        </property></configuration>

    l D:\hadoop\hadoop-2.7.5\etc\hadoop\mapred-site.xml

    <configuration>

        <property>

           <name>mapreduce.framework.name</name>

           <value>yarn</value>

        </property></configuration>

    l D:\hadoop\hadoop-2.7.5\etc\hadoop\hdfs-site.xml

    <configuration>

        <property>

            <name>dfs.replication</name>

            <value>1</value>

        </property>

        <property>

           <name>dfs.namenode.name.dir</name>

           <value>/hadoop/data/namenode</value>

        </property>

        <property>

           <name>dfs.datanode.data.dir</name>

           <value>/hadoop/data/datanode</value>

        </property></configuration>

    l D:\hadoop\hadoop-2.7.5\etc\hadoop\yarn-site.xml

    <configuration>

        <property>

           <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

        </property>

        <property>

           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

           <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property></configuration

     

    3.修改JDK的安装路径

    D:\hadoop\hadoop-2.7.5\etc\hadoop\hadoop-env.cmd (修改JDK的安装路径)

    用一个与语言编辑器打开:在JAVA_HOME=”改成“JAVA_HOME=D:\Java\jdk1.8.0_161”保存如下图所示。

     

     

    4 、继续配置hadoop的环境变量

     

     

    其中图中的第3步在新建条件

    编辑环境变量

    变量名:HADOOP_HOME

    变量值:D:\hadoop\hadoop-2.7.5

    然后图中的第4步条件下

    编辑系统变量添加路径

    点击Path下添加变量:%HADOOP_HOME%\bin

    全部确定。

    5格式化HDFS文件系统,hdfs namenode -format

    如下图所示

     

    然后有一个提示命令Y/N中选择输入Y如果这一步没有什么异常基本没有问题了。

    6、最后,在dos系统下在命令行(管理员)将目录指向D:\hadoop\hadoop-2.7.3\sbin,键入“start-all”

    将会弹出以下窗口:

     

    NamenodeDatanodeYARN resourcemanagerYARN nodemanager四个进程启动成功,再看一下网站截图:

    7、登陆localhost:8088

    8退出则在DOS系统将目录指向D:\hadoop\hadoop-2.7.3\sbin然后输入stop all”即可。

    谢谢大家,分享完毕。

     

     

    展开全文
  • 欢迎和大家交流技术相关问题:邮箱: jiangxinnju@163.com博客园地址: http://www.cnblogs.com/jiangxinnjuGitHub地址: https://github.com/jiangxincode知乎地址: ...在 Windows安装 Hadoop 教程 一见 20...

    欢迎和大家交流技术相关问题:
    邮箱: jiangxinnju@163.com
    博客园地址: http://www.cnblogs.com/jiangxinnju
    GitHub地址: https://github.com/jiangxincode
    知乎地址: https://www.zhihu.com/people/jiangxinnju

     

    在 Windows 上安装 Hadoop 教程

    一见 2010.1.6 www.hadoopor.com/hadoopor@foxmail.com

    1. 安装 JDK

    不建议只安装 JRE,而是建议直接安装 JDK,因为安装 JDK 时,可以同时安装 JRE。 MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK,光 JRE 是不够的。

    JRE 下载地址:http://www.java.com/zh_CN/download/manual.jsp

    JDK 下载地址:http://java.sun.com/javase/downloads/index.jsp,下载 Java SE 即可。

    2. 安装 Cygwin

    在安装 Cygwin 之前,得先下载 Cygwin 安装程序 setup.exe。

    Cygwin 安 装 程 序 下 载 地 址 : http://www.cygwin.com/setup.exe , 当 然 也 可 以 从 http://www.cygwin.cn/setup.exe 下载 Cygwin 安装程序,不过如果在安装过程中,遇到如下图所示的错误,则只能从 http://www.cygwin.com/setup.exe 下载,本教程下载的是 Cygwin 1.7.1 版本。

    clip_image004[8]

    Cygwin 安装程序 setup.exe 的存放目录可随意无要求。当 setup.exe 下载成功后,运行

    setup.exe,弹出如下图所示的对话框:

    clip_image006[4]

    在上图所示的对话框中,直接点击“下一步”,进入如下图所示的对话框:

    clip_image008[4]

    在上图所示的对话框中,选择“Install from Internet”,然后点击“下一步”,进入如下图 所示对话框:

    clip_image010[4]

    在上图所示的对话框中,设置 Cygwin 的安装目录,Install For 选 择“All Users”,Default Text File Type 选择“Unix/binary”,然后点击“下一步”,进入如下图所示对话框:

    clip_image012[4]

    在上图所示的对话框中,设置 Cygwin 安装包存放目录,然后点击“下一步”,进入如 下图所示对话框:

    clip_image014[4]

    在上图所示的对话框中,选择“Direct Connection”,然后点击“下一步”,进入如下图 所示对话框:

    clip_image016[4]

    在上图所示的对话框中,点击“下一步”,将进入如下图所示的对话框:

    clip_image018[4]

    在上图所示的对话框过程中,可能会弹出如下图所示的“Setup Alert”对话框,直接点 击“确定”即可。

    clip_image020[4]

    进入“Select Packages”对话框后,必须保证“Net Category”下的“OpenSSL”被安装 , 如下图所示:

    clip_image022[4]

    如果还打算在 eclipse 上编译 Hadoop,则还必须安装“Base Category”下的“sed”,如 下图所示:

    clip_image024[4]

    另外,还建议将“Editors Category”下的 vim 安装,以方便在 Cygwin 上直接修改配置 文 件 ;“Devel Category”下的 subversion 建议安装,如下图所示:

    clip_image026[4]

    当完成上述操作后,点击“Select Packages”对话框中“下一步”,进入 Cygwin 安装包 下载过程,如下图所示:

    clip_image028[4]

    等待安装包下载完毕,当下载完后,会自动进入到如下图所示的对话框:

    clip_image030[4]

    在上图所示的对话框中,选中“Create icon on Desktop”,以方便直接从桌面上启动 Cygwin,然后点击“完成”按钮。至此,Cgywin 已经安装完,安装目录下的内容如下图所 示:

    clip_image032[4]

    3. 配置环境变量

    需要配置的环境变量包括 PATH 和 JAVA_HOME:JAVA_HOME 指向 JRE 安 装 目 录 ;JDK 的 bin 目录,Cygwin 的 bin 目录,以及 Cygwin 的 usr\bin 目录都必须添加到 PATH 环境变量 中,如下图所示:

    clip_image034[4]

    4. 安装 sshd 服务

    点击桌面上的 Cygwin 图标,启动 Cygwin,执行 ssh-host-config命令,如下图所示:

    clip_image036[4]

    在执行 ssh-host-config 时,当要求输入 yes/no 时,选择输入 no,如下图所示:

    clip_image038[4]

    如果是 Cygwin 1.7 之前的版本,则 ssh-host-config 显示界面如下图所示:

    clip_image039[4]

    当看到“Have fun”时,一般表示 sshd 服务安装成功了,如上图所示。接下来,需要启 动 sshd 服务。

    5. 启动 sshd 服务

    在桌面上的“我的电脑”图标上单击右键,点击“管理”菜单,进入 Windows 计算机 管理,如下图所示:

    clip_image041[4]

    在上图所示的对话框中,选中“CYGWINsshd”,弹出右键,并启动 CYGWIN sshd 服 务,成功后,如下图所示:

    clip_image043[4]

    当 CYGWIN sshd 的状态为“已启动”后,接下来就是配置 ssh 登录。

    6. 配置 ssh 登录

    执行 ssh-keygen命令生成密钥文件,如下图所示:

    clip_image044[4]

    在上图所示对话框中,需要输入时,直接按回车键即可,如果不出错,应当是需要三次 按回车键。接下来生成 authorized_keys文件,按下图所示操作即可:

    clip_image045[4]

    正如上图所示,只需要两步操作,即可生成 authorized_keys文件:

    cd ~/..ssh/

    cp id_rsa.pub authorized_keys

    完成上述操作后,执行 exit命令先退出 Cygwin 窗口,如果不执行这一步操作,下面的 操作可能会遇到错误。接下来,重新运行 Cygwin,执行 ssh localhost 命令,在第一次执行 ssh localhost 时,会有如下图所示的提示,输入 yes,然后回车即可:

    clip_image046[4]

    如果是 Windows 域用户,这步操作可能会遇到问题,错误信息如下:。

    clip_image047[4]

    这 个 错 误 暂 无 解 决 办 法 , 问 题 的 解 决 情 况 , 可 关 注 Hadoop 技 术 论 坛 中 的 贴 : http://bbs.hadoopor.com/thread-348-1-1.html(Cygwin1.7.1 版本ssh问题)。否则,如果成功, 执行 who 命令时,可以看到如下图所示的信息:

    clip_image048[4]

    至此,配置 ssh 登录成功,下面就可以开始安装 hadoop 了。

    7. 下载 hadoop 安装包

    hadoop 安装包下载地址:

    http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz

    8. 安装 hadoop

    将 hadoop 安装包 hadoop-0.20.1.tar.gz 解压到 D:\hadoop\run 目 录( 以修改成其它目录) 下,如下图所示:

    clip_image050[4]

    接下来,需要修改 hadoop 的配置文件,它们位于 conf 子目录下,分别是 hadoop-env.sh、 core-site.xml、hdfs-site.xml 和 mapred-site.xml 共四个文件。在 Cygwin 环 境 ,masters 和 slaves 两个文件不需要修改。

    Ÿ 修改 hadoop-env.sh

    只需要将 JAVA_HOME 修改成 JDK 的安装目录即可,请注意 JDK 必须是 1.6 或 以上 版本 。

    Ÿ 修改 core-site.xml

    为简化 core-site.xml 配置,将 D:\hadoop\run\src\core 目录下的 core-default.xml 文件复制 到 D:\hadoop\run\conf 目 录 下 , 并 将 core-default.xml 文 件 名 改 成 core-site.xml 。 修 改 fs.default.name 的值,如下所示:

    clip_image051[4]

    上图中的端口号 8888,可以改成其它未被占用的端口。

    Ÿ 修改 hdfs-site.xml

    为简化 hdfs-site.xml 配置,将 D:\hadoop\run\src\hdfs 目录下的 hdfs-default.xml 文件复制 到 D:\hadoop\run\conf 目录下,并将 hdfs-default.xml 文件名改成 hdfs-site.xml。不需要再做其 它修改。

    Ÿ 修改 mapred-site.xml

    为简化 mapred-site.xml 配置,将 D:\hadoop\run\src\mapred 目录下的 mapred-default.xml

    文件复制到 D:\hadoop\run\conf 目录下,并将 mapred-default.xml 文件名改成 mapred-site.xml。

    clip_image052[4]

    上图中的端口号 9999,可以改成其它未被占用的端口。到这里,hadoop 宣告安装完毕, 可以开始体验 hadoop 了!

    9. 启动 hadoop

    在 Cygwin 中,进入 hadoop 的 bin 目录,运行./start-all.sh 启动 hadoop,在启动成功之后 , 可以执行./hadoop fs -ls /命令,查看 hadoop 的根目录,如下图所示:

    clip_image054[4]

    如果运行 mapreduce,请参考其它文档,本教程的内容到此结束。

    转载于:https://www.cnblogs.com/jiangxinnju/p/6412031.html

    展开全文
  • 1 版本:hadoop用的是3.0.3版本,winutils用的是3.0.0版本,截止目前hadoop虽然有更高版本,但winutils只有3.0.0版本,所以放弃高版本吧。winutils干吗用?hadoop是linux环境上运行的,要在winu...

    教程:https://blog.csdn.net/china1987427/article/details/82057250

    此教程中趟过的问题:

    1 版本:hadoop用的是3.0.3版本,winutils用的是3.0.0版本,截止目前hadoop虽然有更高版本,但winutils只有3.0.0版本,所以放弃高版本吧。winutils干吗用?hadoop是linux环境上运行的,要在winutils上运行,这不就要辅助工具了么!

    2 set JAVA_HOME=%JAVA_HOME% 替换成  set JAVA_HOME="D:\Program Files"\Java\jdk1.8.0_25,中间是有冒号的!

    3 你以为这样按照教程就好了么?然而!启用报错啦!

            第一个错:异常java.io.IOException: Incompatible clusterIDs in...

                      这个问题在于第一次部署操作不熟练,清空新建的datanode和namenode下的东西,保证data下面只有新建的两个文件夹,然后再执行: hdfs namenode -format

           第二个错:java.lang.NoClassDefFoundError:/org/apache/hadoop/yarn/server/timelineCollectorManager

                    原因是缺少jar包:下载hadoop-yarn-server-timelineservice-3.0.3.jar包,放到D:\download\softwire\hadoop\hadoop-3.0.3\share\hadoop\yarn\lib安装包的share/hadoop/yarn/lib下面

                   pom.xml配置:

                         

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-yarn-server-timelineservice</artifactId>
      <version>3.0.3</version>
    </dependency>

    找到仓库把包拿出来放过去就好了~

    4 昨天安装成功,心情倍儿棒,今儿一早起来,嘿,又起不来啦!是的,它又给我报错了!报错信息是: Windows 找不到文件 'Hadoop'。请确定文件名是否正确后,再试一次。

    参考文档:https://www.cnblogs.com/zlslch/p/8580446.html

    原因是jdk的安装目录,原本是安装在D:\Program Files\Java..下面,所以写着 "D:\Program Files"\Java,这样是不行滴。重新安装jdk,放在C盘下面C:\Program Files\Java..,然后改下hadoop-env.cmd这个就可以了。

    5 很好,hadoop完美启动,程序可以跑了吧?网上找的WordCount能执行了吧?

    然鹅!现实很骨干,错误无处不在,又报错:

    Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
    

    惊不惊喜?意不意外?好嘛,你就可劲儿折腾吧你,我,我……我都原谅你。

    解决的参考文档:https://blog.csdn.net/yaoxiaochuang/article/details/49519841

    这个问题,需要把hadoop-core-1.2.1.jar这个包里的FileUtil.java文件的一个方法注释掉,悲剧的是小姐姐稍微有点手残,各种打包不好,按照教程下来还是报错。

    IOUtils.closeStream(contents);

    这句话报错兼容,折腾死我了,最后找了个人家修改好的包,然后把里面的文件拿出来替换!是不是很机智!鼓掌!

     

     

    最后贴几个安装链接:

    hadoop版本下载:http://mirrors.hust.edu.cn/apache/hadoop/common/

    winutils3.0.0版本下载:http://7dx.pc6.com/wwb5/winutilsmaster.zip

    hadoop-core-1.1.2.jar,这个里面的FileUtil已经修改好了的:https://download.csdn.net/download/mr_wangcx/10693627

     

     

     

     

    展开全文
  • windows安装hadoop

    2014-10-24 13:49:00
    这是本人经过实践总结出来的一套及其详尽的windows安装hadoop教程,绝对好用!如果配置上有什么问题的话,可以随时联系我。
  • 一、首先确保你已经安装了JDK 您可以去官网下载JDK1.8.0(注意版本哦~) 二、去获取hadoop-2.6.0-...系统变量Hadoop_Home(指向你windows系统中的hadoop文件夹目录) 系统变量Path中添加jdk和hadoop,如下配置 .
  • Windows安装Hadoop

    2010-11-27 18:55:27
    一份Windows安装hadoop教程和Vista/Win7上安装sshd服务的说明
  • Windows下通过安装Cygwin模拟Linux环境,然后再安装Hadoop,是一种简单方便的方式,为Hadoop准备的模拟Linux环境安装过程如下: 1.1下载安装文件 针对不同系统类型下载相应的安装文件,下载地址: ...
  • 由于工作学习需要很多用户需要在Win10系统下安装Hadoop,今天小编就详细分享下Win10中安装Hadoop教程图文详细资料。安装环境:JDK 1.8Windows10Hadoop3.1.2需要注意的是jdk版本不要过高,否则可能会带来问题一、...
  • Windowshadoop2.7.6安装及配置教程

    千次阅读 2019-04-21 22:03:26
    一、首先确保你已经安装了JDK 您可以去官网下载JDK1.8.0(注意版本哦~) 二、去获取hadoop-2.7.6的镜像(清华大学提供的优秀资源): http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 三、接下来就到...
  • Win本地执行Hadoop所需文件,本人博客(邵奈一CSDN)有配套教程Windows本地安装Hadoop,请自行搜索,谢谢。
  • windows10 hadoop安装

    2019-12-16 16:55:17
    2、安装了JDK(网上也有很多教程,自行查阅,也可以查看我另一篇文章:在Ubuntu14.04下配置Hadoop的两种模式:本地模式、伪分布模式) 3、hadoop安装Windows的工具,网上有很多,可自行查阅下载。   配置流程...
  • windows7安装hadoop环境

    2021-02-08 09:33:44
    安装教程请参考:https://blog.csdn.net/wplblog/article/details/113614644因为下载很耗时,这里我提供一下,我下载好的jdk1.8 链接:https://pan.baidu.com/s/1Vx1DNJPooEaLNuch3l83wQ 提取码:ppge 第二步:下载...
  • 准备 1、下载hadoop(自行到官网下载对应版本) ...3、hadoop安装Windows的工具,网上有很多,可自行查阅下载。 配置流程 一、配置环境变量 解压好Hadoop,添加环境变量 添加HADOOP_HOME系统变量 变...
  • 我自己搭建windows下的hadoop集群,并且图文记录下了安装过程,亲测,没有问题,一步步按着做可以用windows下虚拟机搭建一个hadoop集群
  • 一般情况下都是在Linux环境安装HadoopWindows下也可以安装Hadoop,以下是Windows环境下的安装教程。 1.Windows下安装jdk1.8 点这里安装jdk1.8 2.下载Hadoop 下载hadoop2.7.3的安装包: hadoop-2.7.3.tar....
  • here are the installation guide, hope useful :)这是一个图文安装教程十分详细:http://ebiquity.umbc.edu/Tutorials/Hadoop/00 - Intro.htmlRequired Software1. Java 1.6.x2. Cyg...

空空如也

空空如也

1 2 3 4 5 ... 14
收藏数 277
精华内容 110
关键字:

windows安装hadoop教程