精华内容
下载资源
问答
  • windows 运行hadoop代码报错
    千次阅读
    2022-03-06 00:33:27

    在winutils中下载相应版本包将其中hadoop.dll 放到Windows\System32下

    重新运行即可

    如果只是运行代码不需要设置hadoop_home也可以

    更多相关内容
  • 该工具包包含hadoop2.6、2.6.3、2.6.4、2.7.1、2.8.0、2.8.1、2.8.3、3.0.0版本的window运行环境。
  • 解决eclipse运行java程序问题。只需要把这个文件放到hadoop-2.8.1文件夹下的bin目录下即可。记得要配置运行前的参数,以及运行前也需要的环境变量呀,不然运行结果可能有错。
  • NULL 博文链接:https://liumangafei.iteye.com/blog/2303362
  • Windows运行Hadoop时报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries 从标题报错中就可以看到,不能定位到winutils.exe,在hadoop中 这个错误一般是windos下运行报错的,linux下不...

    Windows运行Hadoop时报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries

    从标题报错中就可以看到,不能定位到winutils.exe,在hadoop中

    这个错误一般是windos下运行报错的,linux下不需要
    winnutils.exe,hadoop.dll

    解决: 只需要下载对应的winnutils.exe 文件,hadoop.dll 文件 放进hadoop bin目录下即可,除此之外,还需要配置path环境变量

    1、地址 https://github.com/cdarlint/winutils
    找到对应hadoop版本,下载。
    在这里插入图片描述

    将下载的文件,放到bin目录下,即可
    在这里插入图片描述

    2、配置一下环境变量
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 本教程在windows10环境下安装配置hadoop+hbase+spark。 一、下载压缩包: 1、JavaJDK,1.8以上。 2、Hadoop2.8.3,下载地址:http://archive.apache.org/dist/hadoop/core/ Hadoop2.8.3windows环境下的第三方包:...

    本教程在windows10环境下安装配置hadoop+hbase+spark。

    一、下载压缩包:

    1、JavaJDK,1.8以上。

    2、Hadoop2.8.3,下载地址:http://archive.apache.org/dist/hadoop/core/

    Hadoop2.8.3windows环境下的第三方包:winutils,

    https://github.com/steveloughran/winutils,如果报nativeio异常,可以将此包解压至hadoop的bin目录下。

    3、Spark2.2.0,下载地址:http://archive.apache.org/dist/spark/spark-2.2.0/

    4、选择spark-2.2.0-bin-hadoop2.7点击下载。

    二、安装配置

    1、安装jdk并配置环境变量。

    2、解压缩hadoop,配置环境变量。

    右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME,如下图

    3、修改hadoop配置文件

    1)修改core-site.xml配置文件,位置在hadoop目录下etc/hadoop/core-site.xml,添加如下配置:

    fs.defaultFS

    hdfs://localhost:9000

    2)修改hdfs-site.xml配置文件,位置在hadoop目录下etc/hadoop/hdfs-site.xml,添加如下配置:

    dfs.replication

    1

    dfs.namenode.name.dir

    /E:/geotrellis/hadoop-2.8.3/data/dfs/namenode

    dfs.datanode.data.dir

    /E:/geotrellis/hadoop-2.8.3/data/dfs/datanode

    注意value里的目录,我这里使用全路径配置。

    根据上面的配置,在hadoop目录下创建namenode、datanode节点存储目录。如下:

    3)重命名mapred-site.xml.template为mapred-site.xml,位置同上添加配置:

    mapreduce.framework.name

    yarn

    4)配置yarn-site.xml,位置同上

    yarn.nodemanager.aux-services

    mapreduce_shuffle

    yarn.nodemanager.aux-services.mapreduce.shuffle.class

    org.apache.hadoop.mapred.ShuffleHandler

    至此,hadoop配置完成,hdfs负责分布式存储,mapreduce负责分布式计算,yarn负责资源调度,基本的(伪)分布式环境初步建立。

    三、测试使用

    1、格式化namenode的hdfs目录

    cmd命令下输入执行:hdfs namenode –format

    2、启动hadoop,定位到sbin目录,如下输入

    3、启动所有hadoop服务,输入start-all

    这时候会弹出4个窗口,输入jps查看进程情况,如下:

    输入:http://localhost:8088/ 查看hadoop的启动情况

    4、测试和使用

    1)创建hdfs的目录,如下:

    Hadoop fs –mkdir /user

    Hadoop fs –mkdir /user/input

    2)上传文件

    Hadoop fs –put e:/test.txt /user/input

    Txt文本内容如下,输入:

    Hadoop fs –cat /user/input/test.txt

    3)词频计算

    hadoop jar E:/geotrellis/hadoop-2.8.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount/user/input/ /user/output

    4)查看运行结果,如下:

    展开全文
  • Windows系统Hadoop

    2018-08-26 14:34:43
    该压缩包是在官方包的基础上进行修改的,将Windows运行hadoop所需配置文件和部分插件已经导入,电脑只需安装64位java环境,修改hadoop-env.cmd配置即可使用
  • hadoop2.7.7安装依赖文件,用于在window下调试hadoop
  • hadoop-2.6.0 windows版本

    2020-10-13 11:27:48
    windows 可用 hadoop2.6.0版本,解压后、配置环境变量即可使用。注意:hadoop-env.cmd是1.8的,记得修改第26行的JAVA_HOME 如下: set JAVA_HOME=C:\\Progra~1\Java\jdk1.8.0_172 如果JDK安装在C盘Program Files下面...
  • 在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件 2、 错误: org.apache.hadoop.io.nativeio.NativeIO$Win dows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决办法: ...
  • Windows本地配置hadoop运行环境

    千次阅读 2019-06-19 11:22:43
    windows本地配置hadoop运行环境,可以帮助我们更好进行开发或者hadoop学习。 本文介绍了如何搭建一个hadooop伪运行环境。 一、下载安装包并配置环境变量 下载hadoop binary安装安装包: ...

    windows本地配置hadoop运行环境,可以帮助我们更好进行开发或者hadoop学习。
    本文介绍了如何搭建一个hadooop伪运行环境。

    一、下载安装包并配置环境变量

    下载hadoop binary安装安装包:
    https://hadoop.apache.org/releases.html
    下载完后配置环境变量:
    HADOOP_HOME=D:\hadoop-2.6.0
    path里面添加:%HADOOP_HOME%/bin

    二、修改hadoop配置文件

    进入hadoop安装目录D:\hadoop-2.6.0\etc\hadoop,修改D:\hadoop-2.6.0\etc\hadoop下面的
    core-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!--
      Licensed under the Apache License, Version 2.0 (the "License");
      you may not use this file except in compliance with the License.
      You may obtain a copy of the License at
    
        http://www.apache.org/licenses/LICENSE-2.0
    
      Unless required by applicable law or agreed to in writing, software
      distributed under the License is distributed on an "AS IS" BASIS,
      WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
      See the License for the specific language governing permissions and
      limitations under the License. See accompanying LICENSE file.
    -->
    
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000/</value>
      </property>
      <property>
        <name>io.native.lib.available</name>
        <value>false</value>
      </property>
      <property>
        <name>hadoop.native.lib</name>
        <value>false</value>
      </property>
      <property>
        <name>io.compression.codecs</name>
        <value>org.apache.hadoop.io.compress.GzipCodec,
               org.apache.hadoop.io.compress.DefaultCodec,
               com.hadoop.compression.lzo.LzoCodec,
               com.hadoop.compression.lzo.LzopCodec,
               org.apache.hadoop.io.compress.BZip2Codec,
               org.apache.hadoop.io.compress.SnappyCodec
            </value>
    </property>
    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
    </property>
    </configuration>
    
    

    hdfs-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!--
      Licensed under the Apache License, Version 2.0 (the "License");
      you may not use this file except in compliance with the License.
      You may obtain a copy of the License at
    
        http://www.apache.org/licenses/LICENSE-2.0
    
      Unless required by applicable law or agreed to in writing, software
      distributed under the License is distributed on an "AS IS" BASIS,
      WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
      See the License for the specific language governing permissions and
      limitations under the License. See accompanying LICENSE file.
    -->
    
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
       <property>  
    		   <name>dfs.replication</name>  
    			<value>1</value>  
       </property>
       <property>
    			<name>dfs.namenode.name.dir</name>  
    		   <value>file:///D:/Hadoop/namenode</value>  
       </property>
       <property>
    		   <name>dfs.datanode.data.dir</name>  
    		   <value>file:///D:/Hadoop/datanode</value>  
       </property>
    </configuration>
    
    

    mapred-site.xml

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!--
      Licensed under the Apache License, Version 2.0 (the "License");
      you may not use this file except in compliance with the License.
      You may obtain a copy of the License at
    
        http://www.apache.org/licenses/LICENSE-2.0
    
      Unless required by applicable law or agreed to in writing, software
      distributed under the License is distributed on an "AS IS" BASIS,
      WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
      See the License for the specific language governing permissions and
      limitations under the License. See accompanying LICENSE file.
    -->
    
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapred.compress.map.output</name>
            <value>true</value>
        </property>
        <property>
            <name>mapred.map.output.compression.codec</name>
            <value>com.hadoop.compression.lzo.LzoCodec</value>
        </property> 
        <property> 
            <name>mapred.child.env</name> 
            <value>LD_LIBRARY_PATH=</value>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapred.compress.map.output</name>
            <value>true</value>
        </property>
        <property>
            <name>mapred.map.output.compression.codec</name>
            <value>com.hadoop.compression.lzo.LzoCodec</value>
        </property> 
        <property> 
            <name>mapred.child.env</name> 
            <value>LD_LIBRARY_PATH=D:\hadoop-2.7.3-win64\lib</value> 
        </property>
    </configuration>
    
    

    然后到bin目录下执行:
    hdfs namenode -format
    再到sbin目录下执行:
    start-all.cmd
    在这里插入图片描述

    三、安装完后验证

    浏览器输入:http://localhost:8088可以打开管理界面
    命令行输入:

    D:\hadoop-2.6.0\sbin>hadoop fs -ls /
    Found 2 items
    drwxr-xr-x   - HP supergroup          0 2019-06-19 10:28 /data
    drwxr-xr-x   - HP supergroup          0 2019-06-19 11:00 /input
    
    D:\hadoop-2.6.0\sbin>hadoop fs -mkdir /data1
    
    D:\hadoop-2.6.0\sbin>hadoop fs -ls /
    Found 3 items
    drwxr-xr-x   - HP supergroup          0 2019-06-19 10:28 /data
    drwxr-xr-x   - HP supergroup          0 2019-06-19 11:20 /data1
    drwxr-xr-x   - HP supergroup          0 2019-06-19 11:00 /input
    
    展开全文
  • windows运行hadoop的wordcount示例超详细过程 特别感谢参考博文中的两位博主的分享 一.下载2个文件 https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/MapReduceClient.jar ...
  • windows配置Hadoop开发环境

    千次阅读 2022-03-30 14:16:59
    windows配置Hadoop开发环境 问题描述 windows下连接hadoop集群,报以下错误: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see ...
  • Hadoop3.1.X的windows环境搭建依赖的文件,里边包含了windows环境所依赖的所有文件
  • windowshadoop相关工具

    2018-12-01 20:22:51
    使用windowshadoop运行mr程序,由于安装目录的/bin目录下相关组件,程序无法连接并运行
  • hadoop Windows 运行环境

    2018-08-07 17:09:42
    hadoop Windows 运行环境驱动包,使hadoop能够在Windows系统上面运行
  • windows环境下hadoop依赖

    2018-01-02 22:17:16
    windows环境下hadoop2.7.x版本依赖,可解决各种版本问题
  • windows-hadoop-2.7.3

    2018-11-21 14:25:57
    windows下的hadoop包(内含winutils.exe和hadoop.dll)。
  • 如果出现如下bug:“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”,则下载该文件,放入hadoop的bin文件夹下,并设置环境变量HADOOP_HOME:F:\hadoop2.7.x即可。
  • windows本地客户端执行hadoop程序时,报了如下错误: Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 但是我已经...
  • windows系统需要配置hadoop运行环境,否则直接运行代码会出现 Could not locate executable null \bin\winutils.exe in the hadoop binaries Unable to load native-hadoop library for your platform… using ...
  • 在我们编写好RPC协议代码后,准备在Windows运行,可是有的人会报类似错:Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executablenull\bin\winutils....
  • windows下安装并启动hadoop2.7.2

    千次阅读 2018-05-31 15:36:15
    64位windows安装hadoop没必要倒腾Cygwin,直接解压官网下载hadoop安装包到本地-&gt;最小化配置4个基本文件-&gt;执行1条启动命令-&gt;完事。一个前提是你的电脑上已经安装了jdk,设置了java环境变量。...
  • 针对解决由一个HADOOP在window环境下,不可执行的问题
  • hadoop windows运行环境 bin winutils
  • windows下安装hadoop的依赖库文件,将bin和etc文件夹里面的内容替换hadoop解压目录的文件即可!大家好好学习!
  • hadooponwindows

    2018-12-28 11:10:07
    hadoop运行windows上,基于hadoop2.7.1上,解压后替换原有的bin、etc目录,其它与linux 操作一致。
  • Windows下开发需要将共享的bin目录覆盖hadoop原有bin目录。如果还不行,将共享bin目录下的hadoop.dll复制到c:\windows\system32目录下,可能需要重启机器
  • 想要在windows运行hadoop,学习大数据的小伙伴福利来了

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 38,307
精华内容 15,322
关键字:

windows运行hadoop