精华内容
下载资源
问答
  • windows下配置hadoop

    2021-01-07 11:44:17
    3.配置HADOOP_HOME (地址最好不要有空格,如果有的话,下面有解决办法) path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;) 4.配置hadoop-env.cmd PS: 此处的路径C:\Program ...
  • Windows下配置Hadoop环境(全过程) 原创 ...

    Windows下配置Hadoop环境(全过程)

    首先到官方下载官网的hadoop2.7.7,链接如下
    https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

    找网盘的hadooponwindows-master.zip
    链接如下
    https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw
    提取码:y9a4
    把hadoop-2.7.7.tar.gz解压后
    使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc
    配置JAVA_HOME
    这里写图片描述
    注意:安装Hadoop2.7.7
      官网下载Hadoop2.7.7,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。
    配置HADOOP_HOME
    这里写图片描述

    path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;)

    这里写图片描述
    使用编辑器打开E:\Hadoop2.7.7\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
    修改JAVA_HOME的路径
    把set JAVA_HOME改为jdk的位置
    注意其中PROGRA~1代表Program Files
    set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171
    这里写图片描述
    打开 hadoop-2.7.7/etc/hadoop/hdfs-site.xml
    修改路径为hadoop下的namenode和datanode


    dfs.replication
    1


    dfs.namenode.name.dir
    /E:/Hadoop2.7.7/hadoop-2.7.7/data/namenode


    dfs.datanode.data.dir
    /E:/Hadoop2.7.7/hadoop-2.7.7/data/datanode

    在E:\Hadoop-2.7.7目录下 添加tmp文件夹
    在E:/Hadoop2.7.7/hadoop-2.7.7/添加data和namenode,datanode子文件夹
    这里写图片描述
    这里写图片描述

    还需要把hadoop.dll(从)拷贝到 C:\Windows\System32
    这里写图片描述
    这里写图片描述
    不然在window平台使用MapReduce测试时报错

    以管理员身份打开命令提示符
    输入hdfs namenode -format,看到seccessfully就说明format成功
    这里写图片描述
    这里写图片描述

    转到Hadoop-2.7.3\sbin文件下
    这里写图片描述
    输入start-all,启动hadoop集群
    这里写图片描述
    出现下面四个窗口表示启动hadoop集群成功
    这里写图片描述
    这里写图片描述
    这里写图片描述
    这里写图片描述

    输入jps - 可以查看运行的所有节点
    这里写图片描述
    访问http://localhost:50070,访问hadoop的web界面
    这里写图片描述

    访问http://localhost:8088,访问yarn的web界面,有就表明已经成功
    这里写图片描述

    补充:停止运行的所有节点的命令为
    这里写图片描述

    展开全文
  • windows下配置hadoop集群

    2021-03-15 15:21:29
    你们要操作的话,最好先跟着“黑曼巴007”,我这边遇到的问题,你们可以参考一下。 挂个JDK,HADOOP百度云链接吧: ...2、通过实验掌握配置SSH的方法,掌握安装、配置Hadoop的方法,掌握启动、关闭Hadoop的...

    你们要操作的话,最好先跟着“黑曼巴007”,我这边遇到的问题,你们可以参考一下。

    挂个JDK,HADOOP百度云链接吧:

    链接:https://pan.baidu.com/s/1LMNR40wlA50W-nnFH0dCtA 
    提取码:c24w 
    复制这段内容后打开百度网盘手机App,操作更方便哦

    实验一  Apache Hadoop环境搭建

    一、实验目的

    1、通过实验了解Hadoop安装的基本过程;

    2、通过实验掌握配置SSH的方法,掌握安装、配置Hadoop的方法,掌握启动、关闭Hadoop的命令。

     

    二、实验内容

    根据老师的要求:Hadoop安装。此篇实验报告基于互联网上CSDN博主“黑曼巴007”:https://blog.csdn.net/qq_35535690,接下来就是自己动手实践的整个过程,期间可能会遇到一些问题,但是我一定会尽力解决。所采用的设备和软件版本是:

    Win10专业版64位;

    Hadoop版本2.10.1;

    JDK版本1.8;

     

    1. 安装JDK

    JDK安装,环境变量的配置,

    此时,JDK就已经安装好了(实际上在去年十一月份的时候,我就已经安装好了,搭配eclipse使用,但是后来由于用python比较多,所以eclipse太占内存就被我卸载了,但是JDK我没有卸载哦!)

    打开CMD查看是否安装正确:

    Beautiful,1.8的JDK安装成功。

     

    1. 下载、安装Hadoop

    下载Hadoop到本地,准备安装:

    使用网上别人配置过的bin和etc目录替换hadoop-2.10.1.tar.gz中的bin和etc目录,配置环境变量:

    打开etc\hadoop\hadoop-env.cmd文件,修改set JAVA_HOME=为你自己的JAVA_HOME

    在根目录下添加data和tmp这两个文件夹:

    再在data下添加datanode和namenode这两个文件夹:

    修改hdfs-site.xml文件中的datanode和namenode

    为(你新建的datanode和namenode):

    再把

    hadoop.dll从这里拷贝到C:\Windows\System32

    打开cmd测试的时候发现出问题了:

    我就在想,是哪出错了,如果是这种报错方式的话,应该是环境变量设置错误了,于是回到环境变量处,一看,果然:

    没拼写对,一边写的是HADOPP,一边写的是HADOOP,这怎么可能调用正确嘛,改过来后,重新CMD测试:

    结果还是不对,然后可能是JAVA_HOME有问题,我就返回到博客中,发现在设置hadoop-env.cmd的时候,博客原文说到PROGRA~1代表Program Files然后我发现我确实没用PROGRA~1代表Program Files,然后我改成:

    CMD测试:

    成功了。然后进入sbin目录,输入start-all:

    出现了四个窗口,则说明启动hadoop集群成功:

    输入jps –查看所有节点:

    访问http://localhost:50070,即可访问Hadoop的web界面。

    然后访问http://localhost:8088/的时候:

    然后关了防火墙,不行;使用ip:8088模式访问,不行;修改yarn-site.xml,不行。。。我网上看,发现使用jps –的时候,只有四个节点,并没有resourceManager这个节点,然后我再看打开的四个窗口中的一个,发现和其它三个不一样:

    而且这边还报错了,我网上一搜,别人说:

    于是我照着这样做,将其复制到lib下:

    再次启动、使用jps –查看节点:

    再到浏览器中访问8088:

    成功!!!YES!!!

    1. 关闭Hadoop

    直接输入Stop-all:

    则可关闭Hadoop。

    三、总结与思考

    摘要:本文从Hadoop的初衷、大数据时代背景、Hadoop的使用者来探讨“Hadoop能做什么”这个问题。

    关键词:Hadoop   大数据

    Hadoop是Doug  Cutting 基于Google公司的GFS和MapReduce思想不断完善项目Nutch中脱胎而出的。

    Hadoop是适合于大数据的分布式存储和处理平台,是一种开源的框架。

    大数据时代已经到来,给我们的生活、工作、思维方式都带来变革。如何寻求大数据后面的价值,既是机遇又是挑战。不管是金融数据、还是电商数据、又还是社交数据、游戏数据.......这些数据的规模、结构、增长的速度都给传统数据存储和处理技术带来巨大考验。幸运的是,Hadoop的诞生和所构建成的生态系统给大数据的存储、处理和分析带来了曙光。

    不管是国外的著名公司Google、Yahoo!、微软、亚马逊、 EBay、FaceBook、Twitter、LinkedIn等和初创公司Cloudera、Hortonworks等,又还是国内的著名公司中国移动、阿里巴巴、华为、腾讯、百度、网易、京东商城等,都在使用Hadoop及相关技术解决大规模化数据问题,以满足公司需求和创造商业价值。

    例如:Yahoo! 的垃圾邮件识别和过滤、用户特征建模;Amazon.com(亚马逊)的协同过滤推荐系统;Facebook的Web日志分析;Twitter、LinkedIn的人脉寻找系统;淘宝商品推荐系统、淘宝搜索中的自定义筛选功能......这些应用都使用到Hadoop及其相关技术。

    “Hadoop能做什么?” ,概括如下:

    1、搜索引擎(Doug Cutting  设计Hadoop的初衷,为了针对大规模的网页快速建立索引)。

    2、大数据存储,利用Hadoop的分布式存储能力,例如数据备份、数据仓库等。

    3、大数据处理,利用Hadoop的分布式处理能力,例如数据挖掘、数据分析等。

    4、科学研究,Hadoop是一种分布式的开源框架,对于分布式计算有很大程度地参考价值。

    版权声明:本文为CSDN博主「陆勤」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

    原文链接:https://blog.csdn.net/wangloveall/article/details/20029357

    所以呢,通俗来讲,hadoop就是一种分布式存储、处理大数据的平台、框架。在数据量极大丰富的今天,能够高效的分析数据,是一种手段,更是一种智慧。

    2021.4.12我再次运行hadoop的时候,出现了一个问题。当我stop-all的时候,打开的4个窗口有一个竟然没没关掉。往上翻找到了一个错误,说什么路径有问题。我关闭之后,再次start-all,结果这次却没出现上次那个问题。

    但是,就算这次没出问题,但是上一次却出了问题,所以这里面一定有问题。

    第三次没问题。。。

    第四次:

    网上说:

    这是改之前的:

    改之后:

    第五次运行,成功:

    第六次运行,成功:

    以上。

    展开全文
  • 一、下载winutils包 链接一:https://github.com/steveloughran/winutils 链接二:... 二、将winutils bin目录的文件覆盖到本地hadoop的bin目录 三、hadoop.dll 放到 c:/windows/system32 ...

    一、下载winutils包

    链接一:https://github.com/steveloughran/winutils

    链接二:https://download.csdn.net/download/nihao_pcm/10938773

    二、将winutils bin目录下的文件覆盖到本地hadoop的bin目录下

    三、hadoop.dll  放到 c:/windows/system32

    四、配置环境

    系统变量  配置 HADOOP_HOME

    HADOOP_USER_NAME   root

    配置SPARK_HOME

    配置环境变量

     

     

     

     

    展开全文
  • 文章目录Windows下配置单机Hadoop环境下载Hadoop下载配置文件配置环境变量初始化HDFS启动Hadoop关闭Hadoop常见错误参考博客 下载Hadoop 首先,请确保电脑上已经安装了 JDK并配置了环境变量。因为 Hadoop的底层实现...

    Windows下配置单机Hadoop环境

    下载Hadoop

    首先,请确保电脑上已经安装了 JDK并配置了环境变量。因为 Hadoop的底层实现语言是 Java,必须在 Java 环境下 Hadoop 才能正常运行。(注意,一定要使用 64位 的 java 版本)

    接着,我们去 Hadoop 官网下载一个 Hadoop 的稳定版本,然而考虑到官网是外网,下载可能需要两三个小时,实在是太过缓慢。

    这里我们推荐使用北理工的镜像站来下载 Hadoop 的稳定版本 Hadoop北理工镜像

    镜像站提供了几个稳定版本,这里我们选择的是 hadoop-2.7.7,点击进入目录
    2001

    我们选择 hadoop-2.7.7.tar.gz ,因为 Hadoop 的安装包Windows 和 Linux是一样的,所以后缀是 tar.gz。
    2002

    “开始”里面找到 WinRAR,右击->“更多”->“以管理员权限运行”
    2003

    找到刚才下载的 Hadoop压缩包,解压到自己想要的安装位置,比如我的安装位置是“D:\Dpan\hadoop”。
    2004

    请一定要使用管理员身份解压,不然可能解压出的文件少那么一两个,错误了你都找不到原因。

    下载配置文件

    下载关于 Hadoop 的 Windows 配置文件,这里给出百度云链接

    链接:https://pan.baidu.com/s/1NAfsFsPz561Gp6FMo2YOMg
    提取码:ewry

    下载完配置文件之后,解压出来。将 bin 和 etc 文件夹替换掉刚解压的官方下载包中的 bin 和 etc 文件夹。注意是替换,直接拷贝过来选择全部替换!

    打开刚才解压的 hadoop-2.7.7 文件夹,找到文件夹下的 \etc\hadoop 目录,使用编辑器对配置文件 hadoop-env.cmd 进行修改。在代码的第26行,把路径修改为你自己电脑上的JAVA_HOME路径。(如果忘记了JAVA_HOME,可以去环境变量里查看)
    2005

    这里注意,如果路径中带空格的文件夹需要用软链进行替代,否则 Hadoop 也是运行不起来的。 比如“Program Files”,要用“PROGRA~1”替代。

    set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_171

    接着,使用编辑器修改同级目录下的 hdfs-site.xml 文件,将最后两个 property 的 value 值修改为“/项目目录/data/namenode”和“/项目目录/data/datanode”这里要使用绝对路径
    2006

    然后,在 hadoop-2.7.7 文件夹下,新建“tmp”文件夹和“data”文件夹;
    2007

    在“data”文件夹下再新建两个文件夹“namenode”、“datanode”。
    2008

    最后,将 bin 目录下的 hadoop.dll 文件拷贝到 C:\Windows\System32
    2009

    配置环境变量

    Hadoop 环境变量的配置和 JDK的配置方法是一样的。

    在系统变量栏点击“新建”
    2010

    新建 HADOOP_HOME 环境变量,位置就是刚才 Hadoop 包解压的位置
    2011

    注意这里环境变量的地址中间不能有空格,不然也会报错。

    在系统变量中找到“path”变量,点击编辑,“新建”,填入“%HADOOP_HOME%\bin”,环境变量就配置完毕了。
    2012

    接下来,我们来检查一下。打开 cmd ,输入“hadoop”,如果有提示信息证明 hadoop 环境变量配置成功。
    2012.2

    初始化HDFS

    在 Windows 系统工具中找到命令提示符,以管理员身份打开。
    2013

    输入命令

    hdfs namenode -format

    在弹出信息的接近末尾处,看到 successfully 信息,就证明 HDFS 初始化成功。
    2014

    启动Hadoop

    启动 Hadoop 不要求管理员权限,直接打开 cmd 就可以。

    打开 cmd 之后,把路径转到 Hadoop 安装目录的 sbin 文件夹下。强调一下,是 sbin 目录,不是 bin。
    2015

    输入命令,启动 Hadoop 集群。注意这个命令时连续的,中间没有空格。

    start-all

    2016

    出现了四个命令行窗口,分别是

    1. namenode
    2. datanode
    3. nodemanagr
    4. resourcemanager

    证明 Hadoop 启动成功。
    2017.1
    2017.2
    2017.3
    2017.4

    在刚才我们自己打开的 cmd 窗口中输入命令,可以查看运行的所有节点

    jps

    2018

    打开浏览器,输入地址“http://localhost:50070”,可以访问 Hadoop 的 web 页面。
    2019.1

    输入地址“http://localhost:8088”,可以访问 yarn 的web界面,表明已经成功
    2019.2

    输入地址“http://hostname:8088/logs/”,可以查看hadoop集群运行日志的地址。
    2019.3

    下次启动 hadoop 的时候就不需要初始化 HDFS 了,直接启动即可。

    关闭Hadoop

    在刚才我们自己打开的 cmd 窗口中输入命令

    stop-all

    就可以停止运行所有节点了
    2020

    常见错误

    安装完Hadoop之后,命令行输入hadoop却找不到命令

    解决方法是先查看你的 hadoop 环境变量和 path ,如果没有配置请抓紧配置。如果都配置好了,那就是 source 暂时没有加载出来。关闭此命令行,重新打开即可。

    如果启动的四个窗口中缺少 datanode 窗口,是因为HDFS被多次初始化,而导致 namenode 的 clusterID 与 datanode 的 clusterID 不一致。

    解决方法有两种:

    1. 关闭 hadoop ,去 hadoop 的目录下,将 namenode、datanode 文件夹删除,再新建这两个文件夹,再次初始化 HDFS 即可。
    2. 查到他们的 clusterID,对应修改即可。此方法请见第二个参考博客

    参考博客

    Windows下配置Hadoop环境(全过程)

    Hadoop HA 集群启动发现现datanode没有启动

    展开全文
  • 这是windows配置hadoop环境所需要的winutils和hadoop.dll
  • hadoop,mapreduce及windows下配置cygwin等内容介绍,以及应用案例
  • windows10下配置hadoop2.8.5超详细过程 初学hadoop,在windows10下学着配置hadoop,由于hadoop是运行在linux的,在win10配置有许多问题需要注意。在此,记录如下,供大家学习时参考。 坚持写详细的教程,记录学习...
  • windows配置hadoop(详细)

    万次阅读 2018-07-25 16:08:57
    windows7 64位 hadoop2.7 二、安装java1.8,并配置环境变量 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载对应的jdk 配置环境变量: 电脑---属性--...
  • windows环境下配置hadoop_home

    千次阅读 2018-05-29 09:32:21
    昨天在windows上测试hadoop的相关代码,提示本地没有安装hadoop环境,于是解压了一个hadoop包扔在本地磁盘,并且配置了环境变量,在cmd运行hadoop提示没有找到相关的函数,查看了安装目录 share中没有其他的文件,这就...
  • 【大数据】10分钟搞定Windows环境下hadoop安装和配置

    万次阅读 多人点赞 2018-01-05 22:03:03
    Hadoop是大数据的核心武器,下面来介绍在Windows环境下Hadoop的安装和配置 1.下载Hadoop http://www.apache.org/dyn/closer.cgi/hadoop/common 2.解压 hadoop-2.7.3.tar.gz 点右键“解压到hadoop-2.7.3” ...
  • Windows下搭建Hadoop本地模式运行环境参考:http://wiki.apache.org/hadoop/Hadoop2OnWindows 下面配置windows环境: 2.1、Java JDK :我采用的是1.8的,配置JAVA_HOME,如果默认安装,会安装在C:\Program Files\...
  • Windows下搭建hadoop 搭建本地hadoop开发环境

    万次阅读 多人点赞 2018-03-27 19:01:02
    一、下载所需文件 1.JDK下载地址:点击打开链接 2.Hadoop下载地址:点击打开链接 3.Windows下安装Hadoop工具下载地址:点击打开链接 密码:yk9u二、jdk安装 1.不会看这里点击打开链接三、Hadoop环境配置 1.下载...
  • windows下hadoop的部署和使用

    千次阅读 2019-05-25 22:52:26
    本教程在windows10环境安装配置hadoop+hbase+spark。 一、下载压缩包: 1、JavaJDK,1.8以上。 2、Hadoop2.8.3,下载地址:http://archive.apache.org/dist/hadoop/core/ Hadoop2.8.3windows环境的第三方包...
  • hadoop-windows下配置文件

    热门讨论 2016-12-09 11:50:26
    hadoop-windows下配置文件,用于在windows环境安装hadoop使用,直接可以使用,省去自己编译的麻烦,支持当前最新的2.7.3版本。
  • 客户端环境准备 1.JDK安装、hadoop-3.2.2安装;...2.hadoop windows的插件; 安装配置 1.管理员身份解压hadoop安装包至 “D:\develop\hadoop-3.2.2” 路径; 2.用工具中的bin目录替换hadoop中的bin目录,主要是
  • 文档针对使用spark做分布式数据处理的windows环境本地必要配置
  • windows下配置hadoop 1.解压hadoop-2.7.3的tar 包 然后在电脑属性->高级系统设置->环境变量 新建一个HADOOP_HOME F:\hadoop-2.7.3 在path最前面添加%HADOOP_HOME%\bin; 2.配置hadoop-2.7.3 ...
  • Windows本地配置hadoop运行环境

    千次阅读 2019-06-19 11:22:43
    windows本地配置hadoop运行环境,可以帮助我们更好进行开发或者hadoop学习。 本文介绍了如何搭建一个hadooop伪运行环境。 一、下载安装包并配置环境变量 下载hadoop binary安装安装包: ...下载完后配置环境变量: ...
  • Pycharm配置hadoop+spark环境(windows篇)-附件资源
  • https://blog.csdn.net/liutietuo/article/details/103983632 这篇文章带的配置文件
  • Windows 下Hadoop的环境变量配置

    万次阅读 2017-08-08 09:28:13
    一、安装JDK 1、下载路径:... 2、安装到C:\Java\jdk1.8.0_121(安装时不要安装到有空格的目录路径中,这样Hadoop在找JAVA_HOME的时候会找不到) 二、配置Java环境变量 1、JAVA_HOME : C:\Java\jdk1.8.
  • 配置Windows下Hadoop环境

    千次阅读 2020-03-27 16:27:28
    windows系统需要配置hadoop运行环境,否则直接运行代码会出现以下问题: Could not locate executable null\bin\winutils.exe in the hadoop binaries 原因: 缺少winutils.exe Unable to load native-hadoop ...
  • HadoopWindows下的安装配置

    千次阅读 2014-11-12 10:29:33
    因为本人最近最近一段时间 ...但是比较坑爹的是,Hadoop是要求安装在Linux环境的,在Windows下是不能直接运行的。所以只能在Windows下搞个Cygwin,然后把Hadoop安装包往里面扔了。我对Cygwin的印象一直不是很好,以前
  • Windows下配置Hadoop环境

    千次阅读 2016-08-17 10:43:32
    下载软件在Windows环境下配置Hadoop,需要以下软件:jdk: http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html Ant: http://ant.apache.org/bindownload.cgi Cygwin: ...
  • windows下面的hadoop的bin目录; Failed to locate the winutils binary in the hadoop binary path
  • Windows配置hadoop环境

    千次阅读 2019-05-30 16:13:18
    引用至两个博主的文章: https://www.cnblogs.com/yifengjianbai/p/8258898.html ...1 安装 1.下载hadoop2.5.2.tar.gz:https://pan.baidu.com/s/1dELEuNR 2.下载hadooponwin...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 37,522
精华内容 15,008
关键字:

windows下配置hadoop