精华内容
下载资源
问答
  • windows配置hadoop

    2020-02-04 17:03:55
    本次配置的是hadoop2.8版本 1.配置环境变量HADOOP_HOME、Path(先下载hadoop2.8.5并进行解压) 2.在hadoop路径下创建data/namenode和data/datanode文件夹 3.修改文件core-site.xml、hdfs-site.xml(配置路径一定要...

    本次配置的是hadoop2.8版本

    1.配置环境变量HADOOP_HOME、Path(先下载hadoop2.8.5并进行解压)

    2.在hadoop路径下创建data/namenode和data/datanode文件夹

    3.修改文件core-site.xml、hdfs-site.xml(配置路径一定要以/开头)、httpfs-site.xml 、mapred-site.xml、yarn-site.xml

    修改core-site.xml

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

    修改hdfs-site.xml

    <configuration>
     <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/(你自己的hadoop路径)/data/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/(你自己的hadoop路径)/data/datanode</value>
        </property>
    </configuration>

    修改httpfs-site.xml

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>    
            <name>dfs.namenode.name.dir</name>    
            <value>file:/hadoop/data/dfs/namenode</value>
        </property>    
        <property>    
            <name>dfs.datanode.data.dir</name>    
            <value>file:/hadoop/data/dfs/datanode</value>  
        </property>
    </configuration>

    修改mapred-site.xml

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
             <name>mapred.job.tracker</name>
             <value>hdfs://localhost:9001</value>
        </property>
    </configuration>

    修改yarn-site.xml

    <configuration>
    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>

    4.在hadoop的bin文件夹中添加winutils.exe、hadoop.dll文件

    该链接选择hadoop2.8.3的即可

     

    5.用管理员身份运行start-dfs和start-yarn命令。(之前一定要运行命令:hadoop namenode -format)

    打开namenode、datanode、resourcemanager、nodemanager进程(没有错误信息),就是安装成功!

    展开全文
  • windows配置Hadoop

    2020-06-11 17:36:55
    JAVA_HOME C:\Program Files\Java\jdk...E:\Python\Hadoop\hadoop-2.7.7 测试安装成功命令 hdfs namenode -format hadoop namenode -format start-all 停止运行的所有节点的命令为 stop-all http://localhost:50070

    HDFS是Hadoop提供的分布式存储框架,它可以用来存储海量数据,MapReduce是Hadoop提供的分布式计算框架,它可以用来统计和分析HDFS上的海量数据,而Hive则是SQL On Hadoop,Hive提供了SQL接口,开发人员只需要编写简单易上手的SQL语句,Hive负责把SQL翻译成MapReduce,提交运行。

    参考下面几位大神的博文:

    https://blog.csdn.net/qq_35535690/article/details/81976032

    https://blog.csdn.net/u013159040/article/details/81939662

    https://www.jianshu.com/p/70bd81b2956f

    JAVA_HOME
    C:\Program Files\Java\jdk1.8.0_151

    HADOOP_HOME
    E:\Python\Hadoop\hadoop-2.7.7

    环境变量path中添加
    %JAVA_HOME%\bin

    测试安装成功命令
    hdfs namenode -format
    hadoop namenode -format

    start-all
    停止运行的所有节点的命令为
    stop-all

    http://localhost:50070/

    https://blog.csdn.net/shdxhsq/article/details/105590655

    二. 运行案例
    namenode节点不运行,可能需要重启
    格式化namenode并启动hadoop
    hdfs namenode -format

    1创建文件夹
    hadoop fs -mkdir /user

    2把文件放到刚刚建好的文件夹中
    hadoop fs -put “E:\Python\Hadoop\hadooptestfile\Hadoop-On-Window-master\input_file.txt” /user
    hadoop fs -put E:\Python\Hadoop\file*.txt /hdfsinput

    3查看待输入的文件
    查看文件夹状态:hadoop fs -ls /user/

    可以用下面这个命令查看上传的文件
    hadoop dfs -cat /user/input_file.txt

    4使用MapReduceClient计算
    hadoop jar E:\Python\Hadoop\hadooptestfile\Hadoop-On-Window-master\hadoop-mapreduce-examples-2.7.7.jar wordcount /user /output_dir
    hadoop jar E:\Python\Hadoop\hadooptestfile\Hadoop-On-Window-master\hadoop-hdfs-2.7.7.jar wordcount /hdfsinput /output_dir

    hadoop jar E:\Python\Hadoop\hadooptestfile\Hadoop-On-Window-master\hadoop-mapreduce-examples-2.7.7.jar

    运行不动时
    在这文件中"E:\Python\Hadoop\hadoop-2.7.7\etc\hadoop\yarn-site.xml"
    添加

    <property>
       <name>yarn.scheduler.minimum-allocation-mb</name>
       <value>1024</value>
    </property>
    <property>
       <name>yarn.nodemanager.resource.memory-mb</name>
       <value>4096</value>
    </property>
    <property>
       <name>yarn.nodemanager.resource.cpu-vcores</name>
       <value>2</value>
    </property>
    
    #备份
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
    </property>
    <property>
       <name>yarn.scheduler.minimum-allocation-mb</name>
       <value>2048</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>
    
    

    可以查看节点管理
    http://localhost:50070/
    在这里插入图片描述

    展开全文
  • windows配置hadoop遇到的问题(分布式缓存)

    具体配置的方法网上很多,不写了。实际操作中遇到了几个问题,虽然不大但遇到可能会卡得难受。

    1. Hadoop 毕竟是LINUX的东西,所以安装目录(包括JDK) 都别用太特别的字符或者空格;


    2. CreateSymbolicLink error (1314): A required privilege is not held by the client.

    Windows 的执行权限问题,望这方面找就对了。

    网上找到的具体解决办法:

    1.打开本地策略(按win+R 打开 cmd,输入 gpedit.msc)

    2.打开本地计算机策略 - window设置 - 安全设置 - 本地策略 - 用户权限配置

    3.找到创建符号链接(右侧),查看是否你的用户在里面(启动idea或者eclipse 运行程序的用户),如果不在添加进去

    4.需要重启后才能生效

    实在不行可以用管理员身份运行程序

    (英文:

    1.open Local Group Policy (press Win+R to open "Run..." - type gpedit.msc)
    2.expand "Computer Configuration" - "Windows Settings" - "Security Settings" - "Local Policies" - "User Rights Assignment" 
    3.find "Create symbolic links" on the right, and see whether your user is included. If not, add your user into it.
    4.this will come in effect after logging in next time, so log out and log in.


    2. Java.lang.IllegalArgumentException: Does not contain a valid host :port 

    配置的HOST:PORT 错误,通常是配置问题中的配置出错,但我这次碰到的是由于主机名有‘_’,而Hadoop认为这是非法的,去掉就好了。这种问题只能平时积累了。


    4. An internal error occurred during: "Map/Reduce location status updater". (Eclipse配置插件出错

    先得在ERR LOG中确定是什么错,只找表面提示会出来各种答案。。。

    我这遇到的是空指针异常(java.lang.NullPointerException),也就是调用的对象找不到。网上查的问题是先要建输入输出文件夹,但其实我是wordcount运行成功再反过来配置插件的,理论上不存在这个问题。

    多次实验才发现,插件配置后,不是点那个小三角就能用的,得新建Map/Reduce Project,这点感觉毕竟不是Eclipse 官方插件,可能不太完善。(不确定是不是我这个版本才这样,我用的是hadoop 2.7.3)


    总结:处理问题先好好理解ISSUE说的是什么,这是最重要的信息,再有的放矢得去寻找答案。

    展开全文
  • 1.首先需要下载 hadoop的tar.gz包,目前最新版本是2.9.0 下载地址: 文件共享在最下面 http://hadoop.apache.org/releases.html...2.修改etc\hadoop下的文件(注意以下配置文件下所有的地址都是从Linux集群中的hado...

    1.首先需要下载 hadoop的tar.gz包,目前最新版本是2.9.0 下载地址:

    文件共享在最下面

    http://hadoop.apache.org/releases.html

    前提是JDK必须配置成功

    我的hadoop是在 如图解压在E盘下  解压完之后大概是2G多需要一点时间啊

    2.修改etc\hadoop下的文件(注意以下配置文件下所有的地址都是从Linux集群中的hadoop  jar粘贴复制过来的)

    4个配置文件

     core-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!--
      Licensed under the Apache License, Version 2.0 (the "License");
      you may not use this file except in compliance with the License.
      You may obtain a copy of the License at
    
        http://www.apache.org/licenses/LICENSE-2.0
    
      Unless required by applicable law or agreed to in writing, software
      distributed under the License is distributed on an "AS IS" BASIS,
      WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
      See the License for the specific language governing permissions and
      limitations under the License. See accompanying LICENSE file.
    -->
    
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
    <property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
    </property>
    
      <property>
         <name>hadoop.tmp.dir</name>
         <value>/usr/local/hadoop-2.8.0/tmp</value> //linux集群中的地址
    </property>
    
    </configuration>

    mapred-site.xml

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!--
      Licensed under the Apache License, Version 2.0 (the "License");
      you may not use this file except in compliance with the License.
      You may obtain a copy of the License at
    
        http://www.apache.org/licenses/LICENSE-2.0
    
      Unless required by applicable law or agreed to in writing, software
      distributed under the License is distributed on an "AS IS" BASIS,
      WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
      See the License for the specific language governing permissions and
      limitations under the License. See accompanying LICENSE file.
    -->
    
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
     <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
      <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
      </property>
      <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:19888</value>
      </property>
    
    </configuration>

    hdfs-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!--
      Licensed under the Apache License, Version 2.0 (the "License");
      you may not use this file except in compliance with the License.
      You may obtain a copy of the License at
    
        http://www.apache.org/licenses/LICENSE-2.0
    
      Unless required by applicable law or agreed to in writing, software
      distributed under the License is distributed on an "AS IS" BASIS,
      WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
      See the License for the specific language governing permissions and
      limitations under the License. See accompanying LICENSE file.
    -->
    
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
    <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>master:50090</value>
        </property>
        <property>
          <name>dfs.replication</name>
          <value>2</value>
        </property>
        <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:/usr/local/hadoop-2.8.0/hdfs/name</value>
        </property>
        <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:/usr/local/hadoop-2.8.0/hdfs/data</value>
        </property>
    
    </configuration>

    yarn-site.xml

    <?xml version="1.0"?>
    <!--
      Licensed under the Apache License, Version 2.0 (the "License");
      you may not use this file except in compliance with the License.
      You may obtain a copy of the License at
    
        http://www.apache.org/licenses/LICENSE-2.0
    
      Unless required by applicable law or agreed to in writing, software
      distributed under the License is distributed on an "AS IS" BASIS,
      WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
      See the License for the specific language governing permissions and
      limitations under the License. See accompanying LICENSE file.
    -->
    <configuration>
    
    <!-- Site specific YARN configuration properties -->
    
    <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
      </property>
      <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:8032</value>
      </property>
      <property>
              <name>yarn.resourcemanager.scheduler.address</name>
              <value>master:8030</value>
      </property>
    <property>  
        <name>yarn.log-aggregation-enable</name>  
        <value>true</value>  
    </property> 
    
     <property>
             <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>master:8031</value>
         </property>
         <property>
             <name>yarn.resourcemanager.admin.address</name>
             <value>master:8033</value>
         </property>
         <property>
             <name>yarn.resourcemanager.webapp.address</name>
             <value>master:8088</value>
         </property>
    
          
    </configuration>

    3.配置环境变量

    此电脑--属性--高级系统设置--环境变量

    新建系统变量

    变量名:HADOOP_HOME

    变量值:你的hadoop位置  E:\hadoop\hadoop-2.8.0\hadoop-2.8.0

    编辑Path系统路径   %HADOOP_HOME%\bin

    然后一路确定下来

    4.编辑hadoop的文件

    如下打开 \etc\hadoop\hadoop-enc.cmd文件,修改JAVA_HOME为你自己的jdk路径 。注意你的JDK安装在Program Files目录下,

    名称用名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。

    到此为止配置完毕 如果不行的化可能需要点右键运行一遍

    5.window+r打开 cmd窗口输入 hadoop测试

    配置成功 也可以格式化节点具体命令是

    1、切换到etc/hadoop目录,运行hadoop-env.cmd

    2、格式化HDFS文件系统,切换到bin目录然后执行命令:hdfs namenode -format

     

    转载于:https://www.cnblogs.com/lcycn/p/8595945.html

    展开全文
  • windows配置hadoop(详细)

    万次阅读 2018-07-25 16:08:57
    windows7 64位 hadoop2.7 二、安装java1.8,并配置环境变量 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载对应的jdk 配置环境变量: 电脑---属性--...
  • 准备工作 已在虚拟机上配置hadoop hadoop2.6.0软件包 hadoopbin工具 ...HADOOP_HOME=你windows本地的hadoop文件夹路径 找到Path,点击编辑 添加: %HADOOP_HOME%\bin %HADOOP_HOME%\sbin 导入hadoopbin
  • 我的hadoop集群是在centos系统上运行的,之前采用的是在windows本地通过Eclipse开发完MapReduce之后打成jar包再发送到centos集群去运行测试,效率不是很高。因此现在考虑直接在windows本地通过hadoop-eclipse插件的...
  • NULL 博文链接:https://winseclone.iteye.com/blog/1734737
  • 1 安装java配置环境变量2 安装hadoop配置环境变量,同时添加hadoop-commmon 依赖项到bin目录如下包含hadoop2.2.0和其依赖项https://download.csdn.net/download/sinat_36256646/104510483配置xml文件4注意hadooop ...
  • WINDOWS 配置HADOOP遇到的几个问题

    千次阅读 2017-06-09 09:55:09
    具体配置的方法网上很多,不写了。实际操作中遇到了几个问题,虽然不大但遇到可能会卡得难受。 1. CreateSymbolicLink error (1314): A required privilege is not held by the client. Windows 的执行权限问题,...
  • 在前一篇文章中,介绍了一写常见问题的解决方法。   但是,当我重装系统,再次按照前面一篇文章( http://winseclone.iteye.com/blog/1734737 ) 安装cygwin和hadoop...怀疑了很多东西,配置有问题,重新自定had...
  • windows配置hadoop

    2021-01-07 11:44:17
    3.配置HADOOP_HOME (地址最好不要有空格,如果有的话,下面有解决办法) path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;) 4.配置hadoop-env.cmd PS: 此处的路径C:\Program ...
  • Windows系统配置Hadoop

    千次阅读 2020-05-29 15:48:57
    1.下载 1、Windows版本的HadoopHadoop下载...3、Windows配置环境变量: HADOOP_HOME: hadoop的路径 在path中添加: %HADOOP_HOME%\bin %HADOOP_HOME%\ sbin 4、hadoop下创建两个文件夹:
  • 这是windows配置hadoop环境所需要的winutils和hadoop.dll
  • Windows配置Hadoop环境(全过程)

    万次阅读 多人点赞 2018-08-23 10:28:21
    首先到官方下载官网的hadoop2.7.7,链接如下 ...找网盘的hadooponwindows-master.zip 链接如下 https://pan.baidu.com/s/1VdG6PBnYKM91ia0hlhIeHg 把hadoop-2.7.7.tar.gz解压后...
  • Windows配置hadoop环境

    2020-09-04 11:10:07
    1.解压hadoop包到一个win目录 这里hadoop包需要管理员...4.配置hadoop环境变量 增加系统变量HADOOP_HOME,值是下载的zip包解压的目录 在系统变量path里增加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin 5.重启电脑和idea
  • windows配置hadoop集群

    2021-03-15 15:21:29
    你们要操作的话,最好先跟着“黑曼巴007”,我这边遇到的问题,你们可以参考一下。 挂个JDK,HADOOP百度云链接吧: ...2、通过实验掌握配置SSH的方法,掌握安装、配置Hadoop的方法,掌握启动、关闭Hadoop的...
  • windowsHadoop配置

    2010-09-24 23:00:21
    windowsHadoop配置的详细过程
  • Windows本地配置hadoop运行环境

    千次阅读 2019-06-19 11:22:43
    windows本地配置hadoop运行环境,可以帮助我们更好进行开发或者hadoop学习。 本文介绍了如何搭建一个hadooop伪运行环境。 一、下载安装包并配置环境变量 下载hadoop binary安装安装包: ...下载完后配置环境变量: ...
  • Windows配置hadoop

    2020-03-28 18:04:17
    参考博客:《初学hadoop,windows下安装》 1.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如Program Files,将在后面的配置中报错!) 假设JAVA_HOME路径为C:\Java\jdk1.8.0_73 2.下载ha...
  • Windows平台安装配置Hadoop 步骤: 1. JDK安装(不会的戳这) 2. 下载hadoop2.5.2.tar.gz 3. 下载hadooponwindows-master.zip【能支持在windows运行hadoop的工具】 一、 安装hadoop2.5.2 下载hadoop2.5.2.tar....
  • 下载解压 hadoop 至D:\hadoop2.6.0 ...下载hadoop windows插件 将dll文件放入C:\Windows\System32,其余放入D:\hadoop2.6.0\bin 配置D:\hadoop2.6.0\etc\hadoop下的hadoop-env.cmd set HADOOP_CONF_DIR...
  • 1.下载hadoop文件包,解压放在D盘 2.下载hadoop-master 复制在Hadoop文件夹里的etc和bin 踩 坑 1.hadoop找不到java_home路径,报错如下: Error: JAVA_HOME is incorrectly set. Please update D:\hadoop-2.9.2\etc...
  • Windows配置Hadoop3.0.0

    2019-06-21 17:30:55
    文章参考:符智生:10分钟搞定Windows环境下hadoop安装和配置 1.下载Hadoop 挂载VPN,登陆Apache公共软件档案馆 http://archive.apache.org/dist/ 由于该页面仅提供当前最新的软件版本,所以若需要旧版本软件,需要...
  • Windows配置Hadoop环境

    2020-07-07 14:06:17
    1.准备文件: 首先到官方下载官网的hadoop2.7.7,链接如下 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 找网盘的hadooponwindows-master.zip ...使用hadooponwindows-master的bin和etc替换hadoop2.7

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,258
精华内容 1,303
关键字:

windows配置hadoop