-
2022-03-06 00:33:27
在winutils中下载相应版本包将其中hadoop.dll 放到Windows\System32下
重新运行即可
如果只是运行代码不需要设置hadoop_home也可以
更多相关内容 -
windows运行hadoop所需环境
2018-04-21 15:58:34该工具包包含hadoop2.6、2.6.3、2.6.4、2.7.1、2.8.0、2.8.1、2.8.3、3.0.0版本的window运行环境。 -
windows 运行hadoop-2.8.1所需文件winutils.exe
2017-10-25 15:40:05解决eclipse运行java程序问题。只需要把这个文件放到hadoop-2.8.1文件夹下的bin目录下即可。记得要配置运行前的参数,以及运行前也需要的环境变量呀,不然运行结果可能有错。 -
Hadoop在Windows下用IDEA调试
2019-08-13 01:20:03NULL 博文链接:https://liumangafei.iteye.com/blog/2303362 -
Windows运行Hadoop时报错:Could not locate executablenull\bin\winutils.exe in the Hadoop binaries
2021-10-07 10:13:30Windows运行Hadoop时报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries 从标题报错中就可以看到,不能定位到winutils.exe,在hadoop中 这个错误一般是windos下运行报错的,linux下不...Windows运行Hadoop时报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries
从标题报错中就可以看到,不能定位到winutils.exe,在hadoop中
这个错误一般是windos下运行报错的,linux下不需要
winnutils.exe,hadoop.dll解决: 只需要下载对应的winnutils.exe 文件,hadoop.dll 文件 放进hadoop bin目录下即可,除此之外,还需要配置path环境变量
1、地址 https://github.com/cdarlint/winutils
找到对应hadoop版本,下载。
将下载的文件,放到bin目录下,即可
2、配置一下环境变量
-
windows下hadoop的部署和使用
2022-04-11 12:18:21本教程在windows10环境下安装配置hadoop+hbase+spark。 一、下载压缩包: 1、JavaJDK,1.8以上。 2、Hadoop2.8.3,下载地址:http://archive.apache.org/dist/hadoop/core/ Hadoop2.8.3windows环境下的第三方包:...本教程在windows10环境下安装配置hadoop+hbase+spark。
一、下载压缩包:
1、JavaJDK,1.8以上。
2、Hadoop2.8.3,下载地址:http://archive.apache.org/dist/hadoop/core/
Hadoop2.8.3windows环境下的第三方包:winutils,
https://github.com/steveloughran/winutils,如果报nativeio异常,可以将此包解压至hadoop的bin目录下。
3、Spark2.2.0,下载地址:http://archive.apache.org/dist/spark/spark-2.2.0/
4、选择spark-2.2.0-bin-hadoop2.7点击下载。
二、安装配置
1、安装jdk并配置环境变量。
2、解压缩hadoop,配置环境变量。
右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME,如下图
3、修改hadoop配置文件
1)修改core-site.xml配置文件,位置在hadoop目录下etc/hadoop/core-site.xml,添加如下配置:
fs.defaultFS
hdfs://localhost:9000
2)修改hdfs-site.xml配置文件,位置在hadoop目录下etc/hadoop/hdfs-site.xml,添加如下配置:
dfs.replication
1
dfs.namenode.name.dir
/E:/geotrellis/hadoop-2.8.3/data/dfs/namenode
dfs.datanode.data.dir
/E:/geotrellis/hadoop-2.8.3/data/dfs/datanode
注意value里的目录,我这里使用全路径配置。
根据上面的配置,在hadoop目录下创建namenode、datanode节点存储目录。如下:
3)重命名mapred-site.xml.template为mapred-site.xml,位置同上添加配置:
mapreduce.framework.name
yarn
4)配置yarn-site.xml,位置同上
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
至此,hadoop配置完成,hdfs负责分布式存储,mapreduce负责分布式计算,yarn负责资源调度,基本的(伪)分布式环境初步建立。
三、测试使用
1、格式化namenode的hdfs目录
cmd命令下输入执行:hdfs namenode –format
2、启动hadoop,定位到sbin目录,如下输入
3、启动所有hadoop服务,输入start-all
这时候会弹出4个窗口,输入jps查看进程情况,如下:
输入:http://localhost:8088/ 查看hadoop的启动情况
4、测试和使用
1)创建hdfs的目录,如下:
Hadoop fs –mkdir /user
Hadoop fs –mkdir /user/input
2)上传文件
Hadoop fs –put e:/test.txt /user/input
Txt文本内容如下,输入:
Hadoop fs –cat /user/input/test.txt
3)词频计算
hadoop jar E:/geotrellis/hadoop-2.8.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount/user/input/ /user/output
4)查看运行结果,如下:
-
Windows系统Hadoop包
2018-08-26 14:34:43该压缩包是在官方包的基础上进行修改的,将Windows运行hadoop所需配置文件和部分插件已经导入,电脑只需安装64位java环境,修改hadoop-env.cmd配置即可使用 -
hadoop在windows上运行需要winutils支持和hadoop.dll等文件
2020-03-25 00:07:54hadoop2.7.7安装依赖文件,用于在window下调试hadoop! -
hadoop-2.6.0 windows版本
2020-10-13 11:27:48windows 可用 hadoop2.6.0版本,解压后、配置环境变量即可使用。注意:hadoop-env.cmd是1.8的,记得修改第26行的JAVA_HOME 如下: set JAVA_HOME=C:\\Progra~1\Java\jdk1.8.0_172 如果JDK安装在C盘Program Files下面... -
eclipse里运行hadoop程序出现的错误总结
2021-01-20 12:24:58在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件 2、 错误: org.apache.hadoop.io.nativeio.NativeIO$Win dows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决办法: ... -
Windows本地配置hadoop运行环境
2019-06-19 11:22:43windows本地配置hadoop运行环境,可以帮助我们更好进行开发或者hadoop学习。 本文介绍了如何搭建一个hadooop伪运行环境。 一、下载安装包并配置环境变量 下载hadoop binary安装安装包: ...windows本地配置hadoop运行环境,可以帮助我们更好进行开发或者hadoop学习。
本文介绍了如何搭建一个hadooop伪运行环境。一、下载安装包并配置环境变量
下载hadoop binary安装安装包:
https://hadoop.apache.org/releases.html
下载完后配置环境变量:
HADOOP_HOME=D:\hadoop-2.6.0
path里面添加:%HADOOP_HOME%/bin二、修改hadoop配置文件
进入hadoop安装目录D:\hadoop-2.6.0\etc\hadoop,修改D:\hadoop-2.6.0\etc\hadoop下面的
core-site.xml<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. See accompanying LICENSE file. --> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000/</value> </property> <property> <name>io.native.lib.available</name> <value>false</value> </property> <property> <name>hadoop.native.lib</name> <value>false</value> </property> <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, com.hadoop.compression.lzo.LzoCodec, com.hadoop.compression.lzo.LzopCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec </value> </property> <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property> </configuration>
hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. See accompanying LICENSE file. --> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///D:/Hadoop/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///D:/Hadoop/datanode</value> </property> </configuration>
mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. See accompanying LICENSE file. --> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.compress.map.output</name> <value>true</value> </property> <property> <name>mapred.map.output.compression.codec</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property> <property> <name>mapred.child.env</name> <value>LD_LIBRARY_PATH=</value> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.compress.map.output</name> <value>true</value> </property> <property> <name>mapred.map.output.compression.codec</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property> <property> <name>mapred.child.env</name> <value>LD_LIBRARY_PATH=D:\hadoop-2.7.3-win64\lib</value> </property> </configuration>
然后到bin目录下执行:
hdfs namenode -format
再到sbin目录下执行:
start-all.cmd
三、安装完后验证
浏览器输入:http://localhost:8088可以打开管理界面
命令行输入:D:\hadoop-2.6.0\sbin>hadoop fs -ls / Found 2 items drwxr-xr-x - HP supergroup 0 2019-06-19 10:28 /data drwxr-xr-x - HP supergroup 0 2019-06-19 11:00 /input D:\hadoop-2.6.0\sbin>hadoop fs -mkdir /data1 D:\hadoop-2.6.0\sbin>hadoop fs -ls / Found 3 items drwxr-xr-x - HP supergroup 0 2019-06-19 10:28 /data drwxr-xr-x - HP supergroup 0 2019-06-19 11:20 /data1 drwxr-xr-x - HP supergroup 0 2019-06-19 11:00 /input
-
windows下运行hadoop的wordcount示例超详细过程
2020-04-18 00:22:21windows下运行hadoop的wordcount示例超详细过程 特别感谢参考博文中的两位博主的分享 一.下载2个文件 https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/MapReduceClient.jar ... -
windows配置Hadoop开发环境
2022-03-30 14:16:59windows配置Hadoop开发环境 问题描述 windows下连接hadoop集群,报以下错误: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see ... -
Hadoop3.1.x_Windows环境整合依赖.rar
2020-07-20 20:54:27Hadoop3.1.X的windows环境搭建依赖的文件,里边包含了windows环境所依赖的所有文件 -
windows版hadoop相关工具
2018-12-01 20:22:51使用windows版hadoop运行mr程序,由于安装目录的/bin目录下相关组件,程序无法连接并运行 -
hadoop Windows 运行环境
2018-08-07 17:09:42hadoop Windows 运行环境驱动包,使hadoop能够在Windows系统上面运行 -
windows环境下hadoop依赖
2018-01-02 22:17:16windows环境下hadoop2.7.x版本依赖,可解决各种版本问题 -
windows-hadoop-2.7.3
2018-11-21 14:25:57windows下的hadoop包(内含winutils.exe和hadoop.dll)。 -
winutils.exe:解决hadoop在windows运行出现的bug
2017-12-07 17:06:37如果出现如下bug:“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”,则下载该文件,放入hadoop的bin文件夹下,并设置环境变量HADOOP_HOME:F:\hadoop2.7.x即可。 -
解决windows客户端运行hadoop程序连接错误问题
2022-03-08 17:21:27在windows本地客户端执行hadoop程序时,报了如下错误: Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 但是我已经... -
在windows系统中配置Hadoop2.7.5运行环境
2022-04-04 15:08:13windows系统需要配置hadoop运行环境,否则直接运行代码会出现 Could not locate executable null \bin\winutils.exe in the hadoop binaries Unable to load native-hadoop library for your platform… using ... -
解决Windows运行Hadoop时报错:Could not locate executablenull\bin\winutils.exe in the Hadoop binaries
2019-04-08 20:37:15在我们编写好RPC协议代码后,准备在Windows上运行,可是有的人会报类似错:Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executablenull\bin\winutils.... -
windows下安装并启动hadoop2.7.2
2018-05-31 15:36:1564位windows安装hadoop没必要倒腾Cygwin,直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个前提是你的电脑上已经安装了jdk,设置了java环境变量。... -
windows下hadoop需要安装所需执行文件
2019-03-19 16:51:35针对解决由一个HADOOP在window环境下,不可执行的问题 -
hadoop windows运行环境 bin.rar
2021-07-28 10:35:12hadoop windows运行环境 bin winutils -
windows下安装hadoop的依赖库
2017-12-02 11:44:11windows下安装hadoop的依赖库文件,将bin和etc文件夹里面的内容替换hadoop解压目录的文件即可!大家好好学习! -
hadooponwindows
2018-12-28 11:10:07hadoop运行在windows上,基于hadoop2.7.1上,解压后替换原有的bin、etc目录,其它与linux 操作一致。 -
Windows下hadoop替换的bin文件夹
2018-02-05 11:16:56Windows下开发需要将共享的bin目录覆盖hadoop原有bin目录。如果还不行,将共享bin目录下的hadoop.dll复制到c:\windows\system32目录下,可能需要重启机器 -
hadoop windows上使用所需插件
2018-08-09 11:11:50想要在windows上运行hadoop,学习大数据的小伙伴福利来了