0.自己编译安装步骤在这里，有英文版本链接：《英文传送门》。

自己编译尝试后不成功，换为下面使用别人编译好的版本的方法。参考博客：《初学hadoop,windows下安装》 

 

1.下载JDK，并设置JAVA_HOME。(使用不带空格的路径，比如Program Files，将在后面的配置中报错！)

假设JAVA_HOME路径为C:\Java\jdk1.8.0_73

 

2.下载hadoop。下载地址：http://hadoop.apache.org/releases.html

如果在当前页中没找到2.8.3版本，可以到所有版本的下载列表中去找：https://archive.apache.org/dist/hadoop/common/

这里下载使用的是2.8.3的二进制版本文件,解压到d:/hadoop-2.8.3



 

3.下载winutils。这个是别人编译好的hadoop的windows版本二进制文件，不需要我们自己进行编译。下载下来然后将hadoop-2.8.3进行！覆盖！即可。

下载地址：https://github.com/steveloughran/winutils

 

4.在路径D:\hadoop-2.8.3\etc\hadoop下修改文件

①core-site.xml（配置默认hdfs的访问端口）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

 

 

②hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

 

③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn）

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

 

④yarn-site.xml（这里yarn设置使用了mr混洗）

 

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>


 

⑤hadoop-env.cmd

设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错！)

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_144


5.进入D:\hadoop-2.8.3\bin目录，格式化hdfs

在cmd中运行命令 hdfs namenode -format

出现找不到hdfs的错误时，

修改 ：hadoop-env.cmd 中JAVA_HOME 路径；将【Program File 】PROGRA~1

（C:\Program Files 目录的dos文件名模式下的缩写）

6.进入D:\hadoop-2.8.3\sbin目录

在cmd中运行命令start-all.cmd

出现找不到hadoop文件的错误时，可以在sbin目录下【start-all.cmd文件】上方加入hadoop文件所在位置目录

cd D:\hadoop-2.8.3\bin


7.在浏览器地址栏中输入：http://localhost:8088查看集群状态。



8.在浏览器地址栏中输入：http://localhost:50070查看Hadoop状态。

 



9.执行stop-all.cmd关闭Hadoop。

10。

执行hadoop命令：hadoop fs -ls /

空的，新建一个文件夹：hadoop fs -mkdir /data 

然后查看：hadoop fs -ls /

首先到官方下载官网的hadoop2.7.7,链接如下

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
找网盘的hadooponwindows-master.zip

链接如下

https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw

提取码：y9a4

把hadoop-2.7.7.tar.gz解压后

使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc

配置JAVA_HOME



注意：安装Hadoop2.7.7

　　官网下载Hadoop2.7.7，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK（按相关说法，配置文件中的路径加引号即可解决，但我没测试成功）。

配置HADOOP_HOME


path添加%HADOOP_HOME%\bin（win10不用分号或者如下编辑界面不用分号，其余加上 ；）


使用编辑器打开E:\Hadoop2.7.7\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd

修改JAVA_HOME的路径

把set JAVA_HOME改为jdk的位置

注意其中PROGRA~1代表Program Files

set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171



打开 hadoop-2.7.7/etc/hadoop/hdfs-site.xml

修改路径为hadoop下的namenode和datanode





dfs.replication

1





dfs.namenode.name.dir

/E:/Hadoop2.7.7/hadoop-2.7.7/data/namenode





dfs.datanode.data.dir

/E:/Hadoop2.7.7/hadoop-2.7.7/data/datanode




在E:\Hadoop-2.7.7目录下 添加tmp文件夹

在E:/Hadoop2.7.7/hadoop-2.7.7/添加data和namenode，datanode子文件夹




还需要把hadoop.dll（从）拷贝到 C:\Windows\System32





不然在window平台使用MapReduce测试时报错
以管理员身份打开命令提示符

输入hdfs namenode -format,看到seccessfully就说明format成功




转到Hadoop-2.7.3\sbin文件下



输入start-all，启动hadoop集群



出现下面四个窗口表示启动hadoop集群成功








输入jps - 可以查看运行的所有节点



访问http://localhost:50070,访问hadoop的web界面


访问http://localhost:8088,访问yarn的web界面，有就表明已经成功


补充：停止运行的所有节点的命令为

1.解压hadoop包到一个win目录
下载包链接: https://pan.baidu.com/s/1IJ-HufXHUJ7mT4ijh-MGVg 提取码: 9deq
这里hadoop包需要管理员权限才能解压，只需要用管理员身份运行解压软件，然后再打开压缩包就可以解压了

2.把hadoop-bin.rar解压到hadoop的bin目录下面
下载hadoop-bin.rar


3.hadoop.dll复制到windows/system32下面



4.配置hadoop环境变量
增加系统变量HADOOP_HOME，值是下载的zip包解压的目录


在系统变量path里增加

%HADOOP_HOME%\bin

%HADOOP_HOME%\sbin


5.重启电脑和idea
通过这些配置基本上可以解决idea在读取hdfs文件时的错误：Failed to locate the winutils binary in the hadoop binary path  java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.

文章参考:符智生:10分钟搞定Windows环境下hadoop安装和配置

1.下载Hadoop

挂载VPN,登陆Apache公共软件档案馆

http://archive.apache.org/dist/

由于该页面仅提供当前最新的软件版本,所以若需要旧版本软件,需要点击右上



之后Hadoop/common就可找到Hadoop3.0.0

http://archive.apache.org/dist/hadoop/common/ 

下载

 2.解压并配置

部分解压软件需要采用使用管理员运行的方式才可正常解压(Bandizip)

下载https://github.com/4ttty/winutils winutils包,使用对应版本的bin文件夹替换Hadoop文件夹内的bin文件夹

2.1 配置Hadoop环境变量

配置Java环境变量

新建变量名：JAVA_HOME

输入路径：D:\Softwares\jdk1.8.0_012 （这里是以我的jdk地址为例，请根据自己的jdk地址来设置）

在path中最前面加上：%JAVA_HOME%\bin;

配置Hadoop环境变量

新建变量名：HADOOP_HOME

输入路径：D:\hadoop

在path中最前面加上：%HADOOP_HOME%\bin;

2.2 在Hadoop中配置Java变量

在Hadoop文件夹下,\etc\hadoop找到hadoop-env.cmd

右键用一个文本编辑器打开

找到 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8

将C:\PROGRA~1\Java\jdk1.7.0_67 改为 D:\Softwares\jdk1.8（在环境变量设置中JAVA_HOME的值）

(如果路径中有“Program Files”，则将Program Files改为 PROGRA~1



以上操作完成,在命令提示符界面输入 Hadoop version,就会显示Hadoop版本信息,否则重新配置

2.3 核心配置

在etc/hadoop/找到并复制粘贴以下内容,配置以下几个文件

core-site.xml

<configuration>
<property>       
<name>fs.defaultFS</name>       
<value>hdfs://localhost:9000</value>   
</property>
</configuration>

mapred-site.xml

<configuration>   
<property>       
<name>mapreduce.framework.name</name>       
<value>yarn</value>   
</property>
</configuration>

hdfs-site.xml    请注意需要建立data 文件夹和两个子文件夹，本例子是建立在 HADOOP_HOME的目录里

<configuration>
<property>       
<name>dfs.replication</name>       
<value>1</value>   
</property>   
<property>       
<name>dfs.namenode.name.dir</name>       
<value>/D:/hadoop/namenode</value>   该部分根据自己的namenode文件夹位置配置
</property>   
<property>       
<name>dfs.datanode.data.dir</name>     
<value>/D:/hadoop/datanode</value>      该部分根据自己的datanode文件夹位置配置
</property>
</configuration>


yarn-site.xml

<configuration>   
<property>       
<name>yarn.nodemanager.aux-services</name>       
<value>mapreduce_shuffle</value>   
</property>   
<property>       
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       
<value>org.apache.hadoop.mapred.ShuffleHandler</value>   
</property>
</configuration>




3.启动服务

创建三个文件夹

D：/hadoop/tmp

D：/hadoop/namenode

D：/hadoop/datanode

格式化 HDFS

以管理员身份打开命令提示符

输入hdfs namenode -format执行到如下图所示

      

格式化之后，namenode文件里会自动生成一个current文件，则格式化成功。

然后转到Hadoop-2.7.3\sbin文件下

输入start-all.cmd，启动hadoop服务

本步一定要仔细,保证不报错才可正常

输入JPS – 可以查看运行的所有服务 (前提是java路径设置正确)