-
windows下配置hadoop
2021-01-07 11:44:173.配置HADOOP_HOME (地址最好不要有空格,如果有的话,下面有解决办法) path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;) 4.配置hadoop-env.cmd PS: 此处的路径C:\Program ... -
Windows 下配置hadoop
2020-03-28 18:04:17参考博客:《初学hadoop,windows下安装》 1.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如Program Files,将在后面的配置中报错!) 假设JAVA_HOME路径为C:\Java\jdk1.8.0_73 2.下载ha...0.自己编译安装步骤在这里,有英文版本链接:《英文传送门》。
自己编译尝试后不成功,换为下面使用别人编译好的版本的方法。参考博客:《初学hadoop,windows下安装》
1.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如Program Files,将在后面的配置中报错!)
假设JAVA_HOME路径为C:\Java\jdk1.8.0_73
2.下载hadoop。下载地址:http://hadoop.apache.org/releases.html
如果在当前页中没找到2.8.3版本,可以到所有版本的下载列表中去找:https://archive.apache.org/dist/hadoop/common/
这里下载使用的是2.8.3的二进制版本文件,解压到d:/hadoop-2.8.3
3.下载winutils。这个是别人编译好的hadoop的windows版本二进制文件,不需要我们自己进行编译。下载下来然后将hadoop-2.8.3进行!覆盖!即可。
下载地址:https://github.com/steveloughran/winutils
4.在路径D:\hadoop-2.8.3\etc\hadoop下修改文件
①core-site.xml(配置默认hdfs的访问端口)
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
②hdfs-site.xml(设置复制数为1,即不进行复制。namenode文件路径以及datanode数据路径。)
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/hadoop/data/dfs/datanode</value> </property> </configuration>
③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容(设置mr使用的框架,这里使用yarn)
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
④yarn-site.xml(这里yarn设置使用了mr混洗)
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
⑤hadoop-env.cmd
设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错!)
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_144
5.进入D:\hadoop-2.8.3\bin目录,格式化hdfs
在cmd中运行命令 hdfs namenode -format
出现找不到hdfs的错误时,
修改 :hadoop-env.cmd 中JAVA_HOME 路径;将【Program File 】PROGRA~1
(C:\Program Files 目录的dos文件名模式下的缩写)
6.进入D:\hadoop-2.8.3\sbin目录
在cmd中运行命令start-all.cmd
出现找不到hadoop文件的错误时,可以在sbin目录下【start-all.cmd文件】上方加入hadoop文件所在位置目录
cd D:\hadoop-2.8.3\bin
7.在浏览器地址栏中输入:http://localhost:8088查看集群状态。
8.在浏览器地址栏中输入:http://localhost:50070查看Hadoop状态。
9.执行stop-all.cmd关闭Hadoop。
10。
执行hadoop命令:hadoop fs -ls /
空的,新建一个文件夹:hadoop fs -mkdir /data
然后查看:hadoop fs -ls /
-
Windows下配置Hadoop环境(全过程)
2018-08-23 10:28:21首先到官方下载官网的hadoop2.7.7,链接如下 ...找网盘的hadooponwindows-master.zip 链接如下 https://pan.baidu.com/s/1VdG6PBnYKM91ia0hlhIeHg 把hadoop-2.7.7.tar.gz解压后...首先到官方下载官网的hadoop2.7.7,链接如下
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/找网盘的hadooponwindows-master.zip
链接如下
https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw
提取码:y9a4
把hadoop-2.7.7.tar.gz解压后
使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc
配置JAVA_HOME
注意:安装Hadoop2.7.7
官网下载Hadoop2.7.7,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。
配置HADOOP_HOME
path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;)
使用编辑器打开E:\Hadoop2.7.7\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
修改JAVA_HOME的路径
把set JAVA_HOME改为jdk的位置
注意其中PROGRA~1代表Program Files
set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171
打开 hadoop-2.7.7/etc/hadoop/hdfs-site.xml
修改路径为hadoop下的namenode和datanode
dfs.replication
1
dfs.namenode.name.dir
/E:/Hadoop2.7.7/hadoop-2.7.7/data/namenode
dfs.datanode.data.dir
/E:/Hadoop2.7.7/hadoop-2.7.7/data/datanode
在E:\Hadoop-2.7.7目录下 添加tmp文件夹
在E:/Hadoop2.7.7/hadoop-2.7.7/添加data和namenode,datanode子文件夹
还需要把hadoop.dll(从)拷贝到 C:\Windows\System32
不然在window平台使用MapReduce测试时报错以管理员身份打开命令提示符
输入hdfs namenode -format,看到seccessfully就说明format成功
转到Hadoop-2.7.3\sbin文件下
输入start-all,启动hadoop集群
出现下面四个窗口表示启动hadoop集群成功
输入jps - 可以查看运行的所有节点
访问http://localhost:50070,访问hadoop的web界面
访问http://localhost:8088,访问yarn的web界面,有就表明已经成功
补充:停止运行的所有节点的命令为
-
Windows下配置hadoop环境
2020-09-04 11:10:071.解压hadoop包到一个win目录 这里hadoop包需要管理员...4.配置hadoop环境变量 增加系统变量HADOOP_HOME,值是下载的zip包解压的目录 在系统变量path里增加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin 5.重启电脑和idea1.解压hadoop包到一个win目录
下载包链接: https://pan.baidu.com/s/1IJ-HufXHUJ7mT4ijh-MGVg 提取码: 9deq
这里hadoop包需要管理员权限才能解压,只需要用管理员身份运行解压软件,然后再打开压缩包就可以解压了
2.把hadoop-bin.rar解压到hadoop的bin目录下面
3.hadoop.dll复制到windows/system32下面
4.配置hadoop环境变量
增加系统变量HADOOP_HOME,值是下载的zip包解压的目录
在系统变量path里增加
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin
5.重启电脑和idea
通过这些配置基本上可以解决idea在读取hdfs文件时的错误:Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.
-
Windows下 配置Hadoop3.0.0
2019-06-21 17:30:55文章参考:符智生:10分钟搞定Windows环境下hadoop安装和配置 1.下载Hadoop 挂载VPN,登陆Apache公共软件档案馆 http://archive.apache.org/dist/ 由于该页面仅提供当前最新的软件版本,所以若需要旧版本软件,需要...文章参考:符智生:10分钟搞定Windows环境下hadoop安装和配置
1.下载Hadoop
挂载VPN,登陆Apache公共软件档案馆
http://archive.apache.org/dist/
由于该页面仅提供当前最新的软件版本,所以若需要旧版本软件,需要点击右上
之后Hadoop/common就可找到Hadoop3.0.0
http://archive.apache.org/dist/hadoop/common/
下载
2.解压并配置
部分解压软件需要采用使用管理员运行的方式才可正常解压(Bandizip)
下载https://github.com/4ttty/winutils winutils包,使用对应版本的bin文件夹替换Hadoop文件夹内的bin文件夹
2.1 配置Hadoop环境变量
配置Java环境变量
新建变量名:JAVA_HOME
输入路径:D:\Softwares\jdk1.8.0_012 (这里是以我的jdk地址为例,请根据自己的jdk地址来设置)
在path中最前面加上:%JAVA_HOME%\bin;
配置Hadoop环境变量
新建变量名:HADOOP_HOME
输入路径:D:\hadoop
在path中最前面加上:%HADOOP_HOME%\bin;2.2 在Hadoop中配置Java变量
在Hadoop文件夹下,\etc\hadoop找到hadoop-env.cmd
右键用一个文本编辑器打开
找到 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8
将C:\PROGRA~1\Java\jdk1.7.0_67 改为 D:\Softwares\jdk1.8(在环境变量设置中JAVA_HOME的值)
(如果路径中有“Program Files”,则将Program Files改为 PROGRA~1
以上操作完成,在命令提示符界面输入 Hadoop version,就会显示Hadoop版本信息,否则重新配置2.3 核心配置
在etc/hadoop/找到并复制粘贴以下内容,配置以下几个文件
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
hdfs-site.xml 请注意需要建立data 文件夹和两个子文件夹,本例子是建立在 HADOOP_HOME的目录里
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/hadoop/namenode</value> 该部分根据自己的namenode文件夹位置配置 </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/hadoop/datanode</value> 该部分根据自己的datanode文件夹位置配置 </property> </configuration>
yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
3.启动服务创建三个文件夹
D:/hadoop/tmp
D:/hadoop/namenode
D:/hadoop/datanode
格式化 HDFS
以管理员身份打开命令提示符
输入hdfs namenode -format执行到如下图所示
格式化之后,namenode文件里会自动生成一个current文件,则格式化成功。然后转到Hadoop-2.7.3\sbin文件下
输入start-all.cmd,启动hadoop服务
本步一定要仔细,保证不报错才可正常
输入JPS – 可以查看运行的所有服务 (前提是java路径设置正确)
-
Windows下配置Hadoop环境
2020-07-07 14:06:171.准备文件: 首先到官方下载官网的hadoop2.7.7,链接如下 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 找网盘的hadooponwindows-master.zip ...使用hadooponwindows-master的bin和etc替换hadoop2.7 -
hadoop学习 windows下配置Hadoop踩坑
2019-05-01 16:37:391.下载hadoop文件包,解压放在D盘 2.下载hadoop-master 复制在Hadoop文件夹里的etc和bin 踩 坑 1.hadoop找不到java_home路径,报错如下: Error: JAVA_HOME is incorrectly set. Please update D:\hadoop-2.9.2\etc... -
windows下配置hadoop开发环境
2017-04-16 19:02:42Windows下搭建Hadoop本地模式运行环境参考:http://wiki.apache.org/hadoop/Hadoop2OnWindows 下面配置windows环境: 2.1、Java JDK :我采用的是1.8的,配置JAVA_HOME,如果默认安装,会安装在C:\Program Files\... -
windows下配置Hadoop学习笔记---阿冬专栏
2015-09-01 15:21:52Windows下配置Hadoop 转自:http://www.cnblogs.com/kinglau/archive/2013/08/20/3270160.html 1、安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe... -
Windows下配置Hadoop环境详解
2020-04-10 10:19:44首先到官方下载官网的hadoop2.7.7,链接如下 ...找网盘的hadooponwindows-master.zip 链接如下 https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw 提取码:y9a4 把hadoop-2.7.7.tar.gz解... -
在windows下配置hadoop-eclipse插件,并连接虚拟机的hadoop集群
2013-08-19 15:51:18在windows下配置hadoop-eclipse插件,并连接虚拟机的hadoop集群 前提:本地环境java+ant 本编译使用eclipse3.6,一开始用的3.7一致报错,网上找了好久。。。。必须3.6 下载hadoop-1.1.2.tar.gz到本地目录 使用... -
windows下配置hadoop和spark环境变量
2019-01-25 21:49:21一、下载winutils包 链接一:https://github.com/steveloughran/winutils 链接二:... 二、将winutils bin目录下的文件覆盖到本地hadoop的bin目录下 三、hadoop.dll 放到 c:/windows/system32下 ... -
Windows下配置Hadoop(配置IDEA,不适用Maven)
2019-09-27 20:01:54Hadoop MapReduce是Google MapReduce的一个开源实现。它利用简单的原理,实现了快速批量处理大数据的能力。Map, Reduce是MapReduce开源框架的两个重要过程。在Map阶段,服务器结点接收数据,做拆分,Reduce阶段,... -
Windows下配置Hadoop2.6-eclipse-plugin插件
2016-06-22 09:55:28软件安装及配置 eclipse4.x ant1.9.x hadoop-2.6.2.tar.gz ant的环境变量配置,jdk和eclipse安装略过 path中添加 ANT_HOME hadoop-eclipse-plugin插件 地址:... -
windows下配置hadoop集群
2009-05-26 10:38:28环境要求: * Java 1.6 * Eclipse Europa 3.3.2 1 安装cygwin 选包的时候选上openssh 2 设置环境变量path c:\cygwin\bin;c:\cygwin\usr\bin ...3 配置ssh 输入 ssh-host-config 然后按照...4 启动windows的 服... -
windows下配置Hadoop(单机版)
2011-10-09 18:54:411、首先确认安装了jdk,需要注意的是安装目录最好自定义选择在根目录下,这样就不会因为安装路径中的空格产生问题。 2、之后安装cygwin,安装步骤网上有很多。这里基本不会出什么问题,只要别忘了选择openssl和... -
Windows系统配置Hadoop
2020-05-29 15:48:571.下载 1、Windows版本的Hadoop: Hadoop下载...3、Windows配置环境变量: HADOOP_HOME: hadoop的路径 在path中添加: %HADOOP_HOME%\bin %HADOOP_HOME%\ sbin 4、hadoop下创建两个文件夹: -
windows10下配置hadoop2.8.5超详细过程
2020-04-17 23:17:31windows10下配置hadoop2.8.5超详细过程 初学hadoop,在windows10下学着配置hadoop,由于hadoop是运行在linux下的,在win10配置有许多问题需要注意。在此,记录如下,供大家学习时参考。 坚持写详细的教程,记录学习... -
Windows下eclipse配置hadoop
2019-12-26 14:57:39引言:最近在学大数据,感觉虚拟机里面的eclipse贼慢,遂在windows上的eclipse配置hadoop 环境说明: win10 jdk1.8 hadoop-2.7.7 hadoop-eclipse-plugin-2.7.7.jar 1.下载hadoop-eclipse-plugin-2.7.7.jar ... -
windows下安装配置hadoop
2011-07-11 10:09:03windows下安装配置hadoop -
Hadoop学习笔记(三)—— 关于Windows下的Hadoop配置
2020-04-24 21:23:09之前在使用Java API操作hadoop时,并未对Windows下的hadoop环境进行配置,直接使用了FileSystem类中自带的方法,跳过了配置hadoop运行环境这一步骤,主要在于方便,其次配置Windows下的hadoop运行环境要将部分文件... -
Windows配置本地Hadoop运行环境
2019-10-08 12:02:55很多人喜欢用Windows本地开发Hadoop程序,这里是一个在Windows下配置Hadoop的教程。 首先去官网下载hadoop,这里需要下载一个工具winutils,这个工具是编译hadoop用的,下载完之后解压hadoop文件,然后把winutils.... -
windows 本地配置hadoop客户端
2017-08-15 08:59:00下载解压 hadoop 至D:\hadoop2.6.0 配置环境变量HADOOP_HOME=D:\hadoop2.6.0 下载hadoop windows插件 将dll文件放入C:\Windows\System32...配置D:\hadoop2.6.0\etc\hadoop下的hadoop-env.cmd set HADOOP_CONF_DIR...