精华内容
下载资源
问答
  • windows配置hadoop

    2021-01-07 11:44:17
    3.配置HADOOP_HOME (地址最好不要有空格,如果有的话,下面有解决办法) path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;) 4.配置hadoop-env.cmd PS: 此处的路径C:\Program ...
  • Windows10 配置 单机hadoop-附件资源
  • Windows配置Hadoop3.0.0

    2019-06-21 17:30:55
    文章参考:符智生:10分钟搞定Windows环境下hadoop安装和配置 1.下载Hadoop 挂载VPN,登陆Apache公共软件档案馆 http://archive.apache.org/dist/ 由于该页面仅提供当前最新的软件版本,所以若需要旧版本软件,需要...

    文章参考:符智生:10分钟搞定Windows环境下hadoop安装和配置

    1.下载Hadoop

    挂载VPN,登陆Apache公共软件档案馆

    http://archive.apache.org/dist/

    由于该页面仅提供当前最新的软件版本,所以若需要旧版本软件,需要点击右上

    之后Hadoop/common就可找到Hadoop3.0.0

    http://archive.apache.org/dist/hadoop/common/ 

    下载

     2.解压并配置

    部分解压软件需要采用使用管理员运行的方式才可正常解压(Bandizip)

    下载https://github.com/4ttty/winutils winutils包,使用对应版本的bin文件夹替换Hadoop文件夹内的bin文件夹

    2.1 配置Hadoop环境变量

    配置Java环境变量
    新建变量名:JAVA_HOME
    输入路径:D:\Softwares\jdk1.8.0_012 (这里是以我的jdk地址为例,请根据自己的jdk地址来设置)
    在path中最前面加上:%JAVA_HOME%\bin;
    配置Hadoop环境变量
    新建变量名:HADOOP_HOME
    输入路径:D:\hadoop
    在path中最前面加上:%HADOOP_HOME%\bin;

    2.2 在Hadoop中配置Java变量

    在Hadoop文件夹下,\etc\hadoop找到hadoop-env.cmd
    右键用一个文本编辑器打开
    找到 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8
    将C:\PROGRA~1\Java\jdk1.7.0_67 改为 D:\Softwares\jdk1.8(在环境变量设置中JAVA_HOME的值)
    (如果路径中有“Program Files”,则将Program Files改为 PROGRA~1


    以上操作完成,在命令提示符界面输入 Hadoop version,就会显示Hadoop版本信息,否则重新配置

    2.3 核心配置

    在etc/hadoop/找到并复制粘贴以下内容,配置以下几个文件

    core-site.xml

    <configuration>
    <property>       
    <name>fs.defaultFS</name>       
    <value>hdfs://localhost:9000</value>   
    </property>
    </configuration>

    mapred-site.xml

    <configuration>   
    <property>       
    <name>mapreduce.framework.name</name>       
    <value>yarn</value>   
    </property>
    </configuration>

    hdfs-site.xml    请注意需要建立data 文件夹和两个子文件夹,本例子是建立在 HADOOP_HOME的目录里

    <configuration>
    <property>       
    <name>dfs.replication</name>       
    <value>1</value>   
    </property>   
    <property>       
    <name>dfs.namenode.name.dir</name>       
    <value>/D:/hadoop/namenode</value>   该部分根据自己的namenode文件夹位置配置
    </property>   
    <property>       
    <name>dfs.datanode.data.dir</name>     
    <value>/D:/hadoop/datanode</value>      该部分根据自己的datanode文件夹位置配置
    </property>
    </configuration>
    

    yarn-site.xml

    <configuration>   
    <property>       
    <name>yarn.nodemanager.aux-services</name>       
    <value>mapreduce_shuffle</value>   
    </property>   
    <property>       
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>   
    </property>
    </configuration>
    


    3.启动服务

    创建三个文件夹
    D:/hadoop/tmp
    D:/hadoop/namenode
    D:/hadoop/datanode
    格式化 HDFS
    以管理员身份打开命令提示符
    输入hdfs namenode -format执行到如下图所示
          
    格式化之后,namenode文件里会自动生成一个current文件,则格式化成功。

    然后转到Hadoop-2.7.3\sbin文件下

    输入start-all.cmd,启动hadoop服务

    本步一定要仔细,保证不报错才可正常

    输入JPS – 可以查看运行的所有服务 (前提是java路径设置正确)

    展开全文
  • windows10配置hadoop2.8.5超详细过程 初学hadoop,在windows10下学着配置hadoop,由于hadoop是运行在linux下的,在win10配置有许多问题需要注意。在此,记录如下,供大家学习时参考。 坚持写详细的教程,记录学习...

    windows10下配置hadoop2.8.5超详细过程

    初学hadoop,在windows10下学着配置hadoop,由于hadoop是运行在linux下的,在win10配置有许多问题需要注意。在此,记录如下,供大家学习时参考。

    坚持写详细的教程,记录学习中的喜悦。

    一.配置Java环境

    1.下载jdk包

    在java官网https://www.oracle.com/java/technologies/javase-downloads.html下载jdk包

    jdk官网下载jdk8
    选择下载jdk8.在jdk8中已经有jre了,因此不需要单独下载jre。

    下载好之后,解压到文件夹,特别注意,文件夹路径千万不要有中文或者是空格,不然在配置hadoop的时候会出错。

    在这里,我下载到了 D:\software\java

    2.配置jdk环境

    鼠标右键 我的电脑 ->> 单击属性 ->>单击左侧高级系统设置 ->>单击 环境变量

    这里,配置方法有2种。

    方法一:在系统环境变量Path中添加之前解压的java的bin目录的路径即可

    jdk环境变量设置
    方法二:

    • 新建一个系统变量 JAVA_HOME,值为 D:\software\java

    • 在path中添加: %JAVA_HOME%\bin

    3.验证java环境

    同时按下win+R打开cmd,测试java是否配置成功

    分别输入javajavac看是否报错
    测试java是否装好
    在这里插入图片描述
    出现了以上截图的结果,说明配置成功

    【注意】

    这个时候可能会遇到输入java正常,但是输入javac没有正常输出,这个时候去检查一下有没有javac.exe.很可能是因为java虚拟机缺失,导致javac没法儿用

    二.hadoop配置

    1.下载hadoop

    下载 hadoop https://archive.apache.org/dist/hadoop/common/。选择需要的版本进行下载

    用这个网页也可以 http://hadoop.apache.org/releases.html

    hadoop下载
    选择下载binary,下面的两个链接都可以
    hadoop下载

    2.解压压缩包

    把这个压缩包解压,目录路径不要有中文或者空格,以免报错

    在此,我解压到了D:\software\hadoop-2.8.5

    3.替换bin文件夹

    下载winutils,这个是别人编译好的hadoop的windows版本二进制文件,https://github.com/cdarlint/winutils 这个链接的winutils比较全。下载好之后,解压,选择对应的版本,把bin文件夹给覆盖

    4.配置Hadoop的环境

    在系统环境变量中添加 HADOOP_HOME,值为hadoop的路径,即D:\software\hadoop-3.2.1
    配置hadoop环境
    在path中添加如下内容:

    %HADOOP_HOME%\bin
    %HADOOP_HOME%\sbin
    path中添加这两句话
    配置环境变量的好处是不管在哪个文件夹,都可以使用hadoop的这些命令

    5.创建三个文件夹

    D:\software\hadoop-2.8.5\下创建一个文件夹workspace,在这个文件夹下创建3个文件夹,分别是data,name,tmplate

    【注意!】这里的文件夹名字可以随意取,但是要在配置文件中配置正确。

    6.修改hadoop配置文件(5个)

    6.1修改D:\software\hadoop-2.8.5\etc\hadoop\core-site.xml
    <configuration>
    	<property>        
    		<name>hadoop.tmp.dir</name>        
    		<value>/D:/software/hadoop-2.8.5/workspace/tmplate</value> 
           <!--这里的目录和上面第五步创建目录时写的要一致--> 
    	</property>    
    	<property>        
    		<name>dfs.name.dir</name>        
    		<value>/D:/software/hadoop-2.8.5/workspace/name
                <!--设置namenode文件路径-->
    	</value>    
    	</property>    
    	<property>        
    		<name>fs.default.name</name>        
    		<value>hdfs://localhost:9000</value>    
    	</property>
    </configuration>
    6.2修改D:\software\hadoop-2.8.5\etc\hadoop\hdfs-site.xml
    <configuration>
    	<property>        
    		<name>dfs.replication</name>        
    		<value>1</value>    
    	</property>    
    	<property>        
    		<name>dfs.data.dir</name>        
    		<value>/D:/software/hadoop-2.8.5/workspace/data</value>    
    	</property>
    	<property>
    		<name>dfs.permissions</name>
    		<value>false</value>
    		<description>取消hdfs权限认证,默认情况下是开启的</description>
    	</property>
    </configuration>

    设置复制数为1,即不进行复制。设置datanode数据路径

    6.3 修改D:\software\hadoop-2.8.5\etc\hadoop\yarn-site.xml
    <configuration>
    
    <!-- Site specific YARN configuration properties -->
    	<property>       
    		<name>yarn.nodemanager.aux-services</name>       
    		<value>mapreduce_shuffle</value>    
    	</property>    
    	<property>       
    		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       
    		<value>org.apache.hadoop.mapred.ShuffleHandler</value>    
    	</property>
    
    </configuration>
    6.4 修改D:\software\hadoop-2.8.5\etc\hadoop\hadoop-env.cmd

    在这个文件里面追加java环境变量

    set JAVA_HOME=D:\software\java

    6.5 修改D:\software\hadoop-2.8.5\etc\hadoop\mapred-site.xml.template

    首先要修改文件名,把mapred-site.xml.template改成marped-site.xml

    这里可以勾选显示文件拓展名。

    <configuration>
    	<property>		
    		<name>mapreduce.framework.name</name>		
    		<value>yarn</value>	
    		</property>	
    	<property>		   
    		<name>mapred.job.tracker</name>		   
    		<value>hdfs://localhost:9001</value>	
    	</property>
    </configuration>

    7.把hadoop.dll放到C盘的C:/windows/system32下面

    不然可能会报权限错误:

    如果还是会报错的话,试试在系统环境变量里添加 HADOOP_USESR_NAME,值为root

    三.测试hadoop配置是否成功

    使用管理员身份打开cmd

    1. 格式化节点,输入命令hdfs namenode -format
      运行结果

    2. 启动hadoop ,输入命令start-all.cmd或者start-all

    输入命令后会出现如下结果:
    运行的结果
    四个进程
    3. 使用jps,查看是否有5个进程
    5个进程
    这5个一个也不能缺。

    1. 在地址栏输入:http://localhost:50070 可以查看节点管理
      节点管理
    2. 在浏览器地址栏输入:http://localhost:8088 可以查看资源情况

    资源管理
    至此,hadoop就顺利配好啦!!!

    展开全文
  • 下载所需文件 JDK下载地址:...Hadoop下载地址:http://hadoop.apache.org/#Download+Hadoop Windows下安装Hadoop工具下载地址:https://pan.baidu.com/s...

    下载所需文件

    1. JDK下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
    2. Hadoop下载地址:http://hadoop.apache.org/#Download+Hadoop
    3. Windows下安装Hadoop工具下载地址:https://pan.baidu.com/s/1eGra7gKCDbvNubO8UO5rgw 密码:yk9u

    JDK安装

    https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html

    Hadoop环境配置

    1. 下载Hadoop,并解压到本地目录,本次下载的版本为Hadoop-2.7.1,解压到E:\hadoop\hadoop-2.7.1

    在这里插入图片描述

    配置Hadoop的环境变量

    1.计算机-右键-高级系统设置-高级选项卡-环境变量–单击新建HADOOP_HOME

    在这里插入图片描述
    注意:路径到bin目录下即可

    2.Path环境变量下配置【%HADOOP_HOME%\bin】变量

    在这里插入图片描述

    配置Hadoop文件

    在这里插入图片描述
    1.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”下的core-site.xml文件

    将下列文本粘贴进去,并保存。

    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/D:/hadoop/workplace/tmp</value>
        </property>
        <property>
            <name>dfs.name.dir</name>
            <value>/D:/hadoop/workplace/name</value>
        </property>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>
    

    2.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”下的mapred-site.xml文件,如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件,粘贴一下内容并保存。

    <configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
        <property>
           <name>mapred.job.tracker</name>
           <value>hdfs://localhost:9001</value>
        </property>
    </configuration>
    

    3.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”下的hdfs-site.xml文件,粘贴以下内容并保存。

    <configuration>
        <!-- 这个参数设置为1,因为是单机版hadoop -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.data.dir</name>
            <value>/D:/hadoop/workplace/data</value>
        </property>
    </configuration>
    

    4.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”下的yarn-site.xml文件,粘贴以下内容并保存。

    <configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>
    

    5.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存。

    @rem set JAVA_HOME=%JAVA_HOME%
    set JAVA_HOME=D:\java\jdk
    

    替换文件

    将1.3下载到的hadooponwindows-master.zip,解压,将全部bin目录文件替换至hadoop目录下的bin目录。

    运行环境

    ​ 1.运行cmd窗口,执行hdfs namenode -format。

    ​ 2.运行cmd窗口,切换到hadoop的sbin目录,执行start-all.cmd,它将会启动以下4个进程窗口。

    img

    img

    img

    img

    上传测试

    根据你core-site.xml的配置,接下来你就可以通过:hdfs://localhost:9000来对hdfs进行操作了。

    1.创建输入目录

    C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/
    
    C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/input
    

    2.上传数据到目录

    C:\WINDOWS\system32>hadoop fs -put D:\personal\debug.log hdfs://localhost:9000/user/input
    
    C:\WINDOWS\system32>hadoop fs -put D:\personal\waz.txt hdfs://localhost:9000/user/input
    

    3.查看文件

    img

    QA常见问题:

    ​ 1:启动hadoop可能提示找不到JAVA_HOME路径,是因为hadoop读取JAVA_HOME环境变量存在空格导致。

    ​ 2:启动hadoop提示找不到HADOOP,是因为Hadoop环境变量没有配置好,请检查Hadoop环境变量配置。

    hadoop自带的web控制台GUI

    1.资源管理GUI:http://localhost:8088/

    img

    2.节点管理GUI:http://localhost:50070/

    img

    展开全文
  • 1.org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0 这个是linux下的hadoop包在win10下不能兼容,编译源码又太费时,因此可以选择将下面这两个文件 1)hadoop.dll 放在C:\Windows\System32下 2...

    windows10下配置hadoop

    在windows下配置hadoop需要考虑兼容性问题,如果忽视这个问题,那么在测试hdfs文件上传下载的时候,会报如下错误:

    org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0

    linux下的hadoop包在win10下不能兼容,我们可以选择编译hadoop源码,这种方式比较费时,因此还有一种选择,就是将下面这两个文件

    1)hadoop.dll
    放在C:\Windows\System32下
    2)winutils.exe
    放在win10 hadoop安装路径的bin目录下

    重启eclipse,解决

    (注:此文件win10 x64兼容,别的系统未测试)

    下载连接:包含hadoop2.7.6

    链接:https://pan.baidu.com/s/1wmUAvGQHWfk9cvmApfvf5Q
    提取码:x9kh

    操作完成后,兼容性问题解决,之后想要使用javaAPI操作hdfs,需要通过下两种方式继续配置。

    1)eclipse安装集成插件

    链接:https://pan.baidu.com/s/150lrmfPNy1nrJW462Fkcvw
    提取码:me3r

    将这两个插件安装在eclipse安装目录的plugins下,然后启动eclipse,在Servers下能看见大象hadoop图标,点进去配置自己设置的信息。

    如下图所示:

    在这里插入图片描述
    2)maven(企业中一般这种方式)

    在pom.xml种添加依赖

    例如我的配置:

    <dependencies>
      <dependency>
       <groupId>junit</groupId>
       <artifactId>junit</artifactId>
       <version>RELEASE</version>
      </dependency>
      <dependency>
       <groupId>org.apache.logging.log4j</groupId>
       <artifactId>log4j-core</artifactId>
       <version>2.8.2</version>
      </dependency>
      <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-common</artifactId>
       <version>2.7.6</version>
      </dependency>
      <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-client</artifactId>
       <version>2.7.6</version>
      </dependency>
      <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-hdfs</artifactId>
       <version>2.7.6</version>
      </dependency>
      <dependency>
       <groupId>jdk.tools</groupId>
       <artifactId>jdk.tools</artifactId>
       <version>1.8</version>
       <scope>system</scope>
       <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
      </dependency>
    </dependencies>

    上述代码中hadoop版本可以填成自己的,例如我的是hadoo2.7.6,jdk也可以填写自己的,例如我的是jdk1.8.0_131,那填1.8就可以。

    注:建议使用maven方式,可以找教程,一晚上时间基本能学完。

    上面配置完成后,windows上的配置基本完成95%,在确保hadoop集群启动的情况下,操作hdfs上的数据依然会报如下错误:

    org.apache.hadoop.security.AccessControlException: Permission denied: user=LX-LANHU, access=WRIT…

    这是权限问题

    这里也有3种配置方式:

    1)
    代码提交的时候设置右键》run as》configurations

    找到argumens是配置程序运行参数

    program arguments:程序中需要给的参数

    VM arguments:JVM运行的时候需要的参数

    这里在VM 框中添加以下内容

    -DHADOOP_USER_NAME=linux用户名

    2)写在代码块

    FileSystem fs=FileSystem.get(new URI
    (”hdfs://hadoop01:9000“),conf,“linux用户名”);

    3)

    System.setproperty("HADOOP—USER—NAME ","linux用户名");

    此博客长期将更新,感谢关注~

    less is more

    展开全文
  • Windows10安装配置Hadoop以及用eclipse运行WordCount程序 一、Windows环境下hadoop安装和配置 1.下载Hadoop 选择一个版本下载 http://www.apache.org/dyn/closer.cgi/hadoop/common 下载完后进行解压,这里我是解压...
  • 1.下载Hadoop并解压 ...由于Hadoop在windows上支持的不如linux好,推荐有条件的话仍在Linux上配置Hadoop环境,如果仍要在Windows上使用Hadoop的话,我们需要在Hadoop的解压路径的:"C:\Hado...
  • Windows 10 安装和配置Hadoop 下载 下载最新的Hadoop包。这里假设Java已经安装成功了,各种环境变量也都设置好了。 把文件解压。最好找一个长度短点的路径,不然有时路径里的空格也会引起问题。解压好了就算是...
  • windows10配置hadoop环境变量时踩到的坑
  • Windows10Hadoop安装步骤(默认安装好了JDK且配置成功): 1.Hadoop下载,官网或到http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz下载并解压;  2.配置环境变量,如...
  • 引言:最近在学大数据,感觉虚拟机里面的eclipse贼慢,遂在windows上的eclipse配置hadoop 环境说明: win10 jdk1.8 hadoop-2.7.7 hadoop-eclipse-plugin-2.7.7.jar 1.下载hadoop-eclipse-plugin-2.7.7.jar ...
  • 2.Windows10配置环境特有:将hadoopBin.rar中的内容拷贝到hadoop的bin目录—Windows10特有 3.配置环境变量 (1)如果之前配置了JAVA_HOME的环境变量,其容易导致错误,故应该使用接下来的命令 “C:\Program Files”...
  • Windows平台安装配置Hadoop-2.5.2准备: 1. 电脑环境: Win10 安装jdk 配环境变量 2. Hadoop-2.5.2.tar.gz 3. hadooponwindows-master.zip一.解压安装hadoop-2.5.2 配置hadoop环境变量二.修改hadoop配置文件修改...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 389
精华内容 155
关键字:

windows10配置hadoop