精华内容
下载资源
问答
  • windows下配置hadoop

    2021-01-07 11:44:17
    3.配置HADOOP_HOME (地址最好不要有空格,如果有的话,下面有解决办法) path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;) 4.配置hadoop-env.cmd PS: 此处的路径C:\Program ...
  • Windows 下配置hadoop

    2020-03-28 18:04:17
    参考博客:《初学hadoop,windows下安装》 1.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如Program Files,将在后面的配置中报错!) 假设JAVA_HOME路径为C:\Java\jdk1.8.0_73 2.下载ha...

     0.自己编译安装步骤在这里,有英文版本链接:《英文传送门》。

    自己编译尝试后不成功,换为下面使用别人编译好的版本的方法。参考博客:《初学hadoop,windows下安装》 

     

    1.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如Program Files,将在后面的配置中报错!)

    假设JAVA_HOME路径为C:\Java\jdk1.8.0_73

     

    2.下载hadoop。下载地址:http://hadoop.apache.org/releases.html

    如果在当前页中没找到2.8.3版本,可以到所有版本的下载列表中去找:https://archive.apache.org/dist/hadoop/common/

    这里下载使用的是2.8.3的二进制版本文件,解压到d:/hadoop-2.8.3

     

    3.下载winutils。这个是别人编译好的hadoop的windows版本二进制文件,不需要我们自己进行编译。下载下来然后将hadoop-2.8.3进行!覆盖!即可。

    下载地址:https://github.com/steveloughran/winutils

     

    4.在路径D:\hadoop-2.8.3\etc\hadoop下修改文件

    ①core-site.xml(配置默认hdfs的访问端口)

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>    
    </configuration>

     

     

    ②hdfs-site.xml(设置复制数为1,即不进行复制。namenode文件路径以及datanode数据路径。)

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>    
            <name>dfs.namenode.name.dir</name>    
            <value>file:/hadoop/data/dfs/namenode</value>    
        </property>    
        <property>    
            <name>dfs.datanode.data.dir</name>    
            <value>file:/hadoop/data/dfs/datanode</value>  
        </property>
    </configuration>

     

    ③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容(设置mr使用的框架,这里使用yarn)

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
     

    ④yarn-site.xml(这里yarn设置使用了mr混洗)

     

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>
    
     

    ⑤hadoop-env.cmd

    设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错!)

    set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_144
    

    5.进入D:\hadoop-2.8.3\bin目录,格式化hdfs

    在cmd中运行命令 hdfs namenode -format

    出现找不到hdfs的错误时,

    修改 :hadoop-env.cmd 中JAVA_HOME 路径;将【Program File 】PROGRA~1

    (C:\Program Files 目录的dos文件名模式下的缩写)

    6.进入D:\hadoop-2.8.3\sbin目录

    在cmd中运行命令start-all.cmd

    出现找不到hadoop文件的错误时,可以在sbin目录下【start-all.cmd文件】上方加入hadoop文件所在位置目录

    cd D:\hadoop-2.8.3\bin
    

    7.在浏览器地址栏中输入:http://localhost:8088查看集群状态。

    8.在浏览器地址栏中输入:http://localhost:50070查看Hadoop状态。

     

    9.执行stop-all.cmd关闭Hadoop。

    10。

    执行hadoop命令:hadoop fs -ls /

    空的,新建一个文件夹:hadoop fs -mkdir /data 

    然后查看:hadoop fs -ls /

    展开全文
  • Windows下配置Hadoop环境(全过程)

    万次阅读 多人点赞 2018-08-23 10:28:21
    首先到官方下载官网的hadoop2.7.7,链接如下 ...找网盘的hadooponwindows-master.zip 链接如下 https://pan.baidu.com/s/1VdG6PBnYKM91ia0hlhIeHg 把hadoop-2.7.7.tar.gz解压后...

    首先到官方下载官网的hadoop2.7.7,链接如下
    https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

    找网盘的hadooponwindows-master.zip
    链接如下
    https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw
    提取码:y9a4
    把hadoop-2.7.7.tar.gz解压后
    使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc
    配置JAVA_HOME
    这里写图片描述
    注意:安装Hadoop2.7.7
      官网下载Hadoop2.7.7,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。
    配置HADOOP_HOME
    这里写图片描述

    path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;)

    这里写图片描述
    使用编辑器打开E:\Hadoop2.7.7\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
    修改JAVA_HOME的路径
    把set JAVA_HOME改为jdk的位置
    注意其中PROGRA~1代表Program Files
    set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171
    这里写图片描述
    打开 hadoop-2.7.7/etc/hadoop/hdfs-site.xml
    修改路径为hadoop下的namenode和datanode


    dfs.replication
    1


    dfs.namenode.name.dir
    /E:/Hadoop2.7.7/hadoop-2.7.7/data/namenode


    dfs.datanode.data.dir
    /E:/Hadoop2.7.7/hadoop-2.7.7/data/datanode

    在E:\Hadoop-2.7.7目录下 添加tmp文件夹
    在E:/Hadoop2.7.7/hadoop-2.7.7/添加data和namenode,datanode子文件夹
    这里写图片描述
    这里写图片描述

    还需要把hadoop.dll(从)拷贝到 C:\Windows\System32
    这里写图片描述
    这里写图片描述
    不然在window平台使用MapReduce测试时报错

    以管理员身份打开命令提示符
    输入hdfs namenode -format,看到seccessfully就说明format成功
    这里写图片描述
    这里写图片描述

    转到Hadoop-2.7.3\sbin文件下
    这里写图片描述
    输入start-all,启动hadoop集群
    这里写图片描述
    出现下面四个窗口表示启动hadoop集群成功
    这里写图片描述
    这里写图片描述
    这里写图片描述
    这里写图片描述

    输入jps - 可以查看运行的所有节点
    这里写图片描述
    访问http://localhost:50070,访问hadoop的web界面
    这里写图片描述

    访问http://localhost:8088,访问yarn的web界面,有就表明已经成功
    这里写图片描述

    补充:停止运行的所有节点的命令为
    这里写图片描述

    展开全文
  • Windows下配置hadoop环境

    2020-09-04 11:10:07
    1.解压hadoop包到一个win目录 这里hadoop包需要管理员...4.配置hadoop环境变量 增加系统变量HADOOP_HOME,值是下载的zip包解压的目录 在系统变量path里增加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin 5.重启电脑和idea

    1.解压hadoop包到一个win目录

    下载包链接: https://pan.baidu.com/s/1IJ-HufXHUJ7mT4ijh-MGVg 提取码: 9deq

    这里hadoop包需要管理员权限才能解压,只需要用管理员身份运行解压软件,然后再打开压缩包就可以解压了

    在这里插入图片描述

    2.把hadoop-bin.rar解压到hadoop的bin目录下面

    下载hadoop-bin.rar
    在这里插入图片描述

    3.hadoop.dll复制到windows/system32下面

    在这里插入图片描述
    在这里插入图片描述

    4.配置hadoop环境变量

    增加系统变量HADOOP_HOME,值是下载的zip包解压的目录
    在这里插入图片描述

    在系统变量path里增加
    %HADOOP_HOME%\bin
    %HADOOP_HOME%\sbin
    在这里插入图片描述

    5.重启电脑和idea

    通过这些配置基本上可以解决idea在读取hdfs文件时的错误:Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.

    展开全文
  • Windows下 配置Hadoop3.0.0

    2019-06-21 17:30:55
    文章参考:符智生:10分钟搞定Windows环境下hadoop安装和配置 1.下载Hadoop 挂载VPN,登陆Apache公共软件档案馆 http://archive.apache.org/dist/ 由于该页面仅提供当前最新的软件版本,所以若需要旧版本软件,需要...

    文章参考:符智生:10分钟搞定Windows环境下hadoop安装和配置

    1.下载Hadoop

    挂载VPN,登陆Apache公共软件档案馆

    http://archive.apache.org/dist/

    由于该页面仅提供当前最新的软件版本,所以若需要旧版本软件,需要点击右上

    之后Hadoop/common就可找到Hadoop3.0.0

    http://archive.apache.org/dist/hadoop/common/ 

    下载

     2.解压并配置

    部分解压软件需要采用使用管理员运行的方式才可正常解压(Bandizip)

    下载https://github.com/4ttty/winutils winutils包,使用对应版本的bin文件夹替换Hadoop文件夹内的bin文件夹

    2.1 配置Hadoop环境变量

    配置Java环境变量
    新建变量名:JAVA_HOME
    输入路径:D:\Softwares\jdk1.8.0_012 (这里是以我的jdk地址为例,请根据自己的jdk地址来设置)
    在path中最前面加上:%JAVA_HOME%\bin;
    配置Hadoop环境变量
    新建变量名:HADOOP_HOME
    输入路径:D:\hadoop
    在path中最前面加上:%HADOOP_HOME%\bin;

    2.2 在Hadoop中配置Java变量

    在Hadoop文件夹下,\etc\hadoop找到hadoop-env.cmd
    右键用一个文本编辑器打开
    找到 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8
    将C:\PROGRA~1\Java\jdk1.7.0_67 改为 D:\Softwares\jdk1.8(在环境变量设置中JAVA_HOME的值)
    (如果路径中有“Program Files”,则将Program Files改为 PROGRA~1


    以上操作完成,在命令提示符界面输入 Hadoop version,就会显示Hadoop版本信息,否则重新配置

    2.3 核心配置

    在etc/hadoop/找到并复制粘贴以下内容,配置以下几个文件

    core-site.xml

    <configuration>
    <property>       
    <name>fs.defaultFS</name>       
    <value>hdfs://localhost:9000</value>   
    </property>
    </configuration>

    mapred-site.xml

    <configuration>   
    <property>       
    <name>mapreduce.framework.name</name>       
    <value>yarn</value>   
    </property>
    </configuration>

    hdfs-site.xml    请注意需要建立data 文件夹和两个子文件夹,本例子是建立在 HADOOP_HOME的目录里

    <configuration>
    <property>       
    <name>dfs.replication</name>       
    <value>1</value>   
    </property>   
    <property>       
    <name>dfs.namenode.name.dir</name>       
    <value>/D:/hadoop/namenode</value>   该部分根据自己的namenode文件夹位置配置
    </property>   
    <property>       
    <name>dfs.datanode.data.dir</name>     
    <value>/D:/hadoop/datanode</value>      该部分根据自己的datanode文件夹位置配置
    </property>
    </configuration>
    

    yarn-site.xml

    <configuration>   
    <property>       
    <name>yarn.nodemanager.aux-services</name>       
    <value>mapreduce_shuffle</value>   
    </property>   
    <property>       
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>   
    </property>
    </configuration>
    


    3.启动服务

    创建三个文件夹
    D:/hadoop/tmp
    D:/hadoop/namenode
    D:/hadoop/datanode
    格式化 HDFS
    以管理员身份打开命令提示符
    输入hdfs namenode -format执行到如下图所示
          
    格式化之后,namenode文件里会自动生成一个current文件,则格式化成功。

    然后转到Hadoop-2.7.3\sbin文件下

    输入start-all.cmd,启动hadoop服务

    本步一定要仔细,保证不报错才可正常

    输入JPS – 可以查看运行的所有服务 (前提是java路径设置正确)

    展开全文
  • Windows下配置Hadoop环境

    2020-07-07 14:06:17
    1.准备文件: 首先到官方下载官网的hadoop2.7.7,链接如下 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 找网盘的hadooponwindows-master.zip ...使用hadooponwindows-master的bin和etc替换hadoop2.7
  • 1.下载hadoop文件包,解压放在D盘 2.下载hadoop-master 复制在Hadoop文件夹里的etc和bin 踩 坑 1.hadoop找不到java_home路径,报错如下: Error: JAVA_HOME is incorrectly set. Please update D:\hadoop-2.9.2\etc...
  • Windows下搭建Hadoop本地模式运行环境参考:http://wiki.apache.org/hadoop/Hadoop2OnWindows 下面配置windows环境: 2.1、Java JDK :我采用的是1.8的,配置JAVA_HOME,如果默认安装,会安装在C:\Program Files\...
  • Windows下配置Hadoop  转自:http://www.cnblogs.com/kinglau/archive/2013/08/20/3270160.html 1、安装JDK1.6或更高版本  官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe...
  • 首先到官方下载官网的hadoop2.7.7,链接如下 ...找网盘的hadooponwindows-master.zip 链接如下 https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw 提取码:y9a4 把hadoop-2.7.7.tar.gz解...
  • windows下配置hadoop-eclipse插件,并连接虚拟机的hadoop集群 前提:本地环境java+ant 本编译使用eclipse3.6,一开始用的3.7一致报错,网上找了好久。。。。必须3.6 下载hadoop-1.1.2.tar.gz到本地目录 使用...
  • 一、下载winutils包 链接一:https://github.com/steveloughran/winutils 链接二:... 二、将winutils bin目录的文件覆盖到本地hadoop的bin目录 三、hadoop.dll 放到 c:/windows/system32 ...
  • Hadoop MapReduce是Google MapReduce的一个开源实现。它利用简单的原理,实现了快速批量处理大数据的能力。Map, Reduce是MapReduce开源框架的两个重要过程。在Map阶段,服务器结点接收数据,做拆分,Reduce阶段,...
  • Windows下配置Hadoop2.6-eclipse-plugin插件

    千次阅读 2016-06-22 09:55:28
    软件安装及配置 eclipse4.x ant1.9.x hadoop-2.6.2.tar.gz ant的环境变量配置,jdk和eclipse安装略过 path中添加 ANT_HOME hadoop-eclipse-plugin插件 地址:...
  • windows下配置hadoop集群

    2009-05-26 10:38:28
    环境要求: * Java 1.6 * Eclipse Europa 3.3.2 1 安装cygwin 选包的时候选上openssh 2 设置环境变量path c:\cygwin\bin;c:\cygwin\usr\bin ...3 配置ssh 输入 ssh-host-config 然后按照...4 启动windows的 服...
  • 1、首先确认安装了jdk,需要注意的是安装目录最好自定义选择在根目录,这样就不会因为安装路径中的空格产生问题。 2、之后安装cygwin,安装步骤网上有很多。这里基本不会出什么问题,只要别忘了选择openssl和...
  • Windows系统配置Hadoop

    千次阅读 2020-05-29 15:48:57
    1.下载 1、Windows版本的HadoopHadoop下载...3、Windows配置环境变量: HADOOP_HOME: hadoop的路径 在path中添加: %HADOOP_HOME%\bin %HADOOP_HOME%\ sbin 4、hadoop下创建两个文件夹:
  • windows10下配置hadoop2.8.5超详细过程 初学hadoop,在windows10下学着配置hadoop,由于hadoop是运行在linux下的,在win10配置有许多问题需要注意。在此,记录如下,供大家学习时参考。 坚持写详细的教程,记录学习...
  • 引言:最近在学大数据,感觉虚拟机里面的eclipse贼慢,遂在windows上的eclipse配置hadoop 环境说明: win10 jdk1.8 hadoop-2.7.7 hadoop-eclipse-plugin-2.7.7.jar 1.下载hadoop-eclipse-plugin-2.7.7.jar ...
  • windows下安装配置hadoop

    千次阅读 2011-07-11 10:09:03
    windows下安装配置hadoop
  • 之前在使用Java API操作hadoop时,并未对Windows下的hadoop环境进行配置,直接使用了FileSystem类中自带的方法,跳过了配置hadoop运行环境这一步骤,主要在于方便,其次配置Windows下的hadoop运行环境要将部分文件...
  • 很多人喜欢用Windows本地开发Hadoop程序,这里是一个在Windows下配置Hadoop的教程。 首先去官网下载hadoop,这里需要下载一个工具winutils,这个工具是编译hadoop用的,下载完之后解压hadoop文件,然后把winutils....
  • 下载解压 hadoop 至D:\hadoop2.6.0 配置环境变量HADOOP_HOME=D:\hadoop2.6.0 下载hadoop windows插件 将dll文件放入C:\Windows\System32...配置D:\hadoop2.6.0\etc\hadoop下hadoop-env.cmd set HADOOP_CONF_DIR...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,795
精华内容 718
关键字:

windows下配置hadoop