精华内容
下载资源
问答
  • 1、将hadoop安装包解压到某个文件夹下面即可 ...hadoop安装路径,bin文件夹的上一层 3、在Path中增加%HADOOP_HOME%\bin,每个变量之间通过;分隔 4、点击保存 5、打开cmd界面 6、输入hadoop version ...

    1、将hadoop安装包解压到某个文件夹下面即可
    2、配置环境变量
    右击计算机–>属性–>高级系统设置–>高级–>环境变量
    新建–>编辑系统变量
    变量名–>HADOOP_HOME
    变量值–>hadoop的安装路径,bin文件夹的上一层
    在这里插入图片描述
    3、在Path中增加%HADOOP_HOME%\bin,每个变量之间通过;分隔
    在这里插入图片描述
    4、点击保存
    5、打开cmd界面
    6、输入hadoop version
    在这里插入图片描述

    展开全文
  • JDK安装与环境变量配置 下载hadoop,建议使用国内源下载 ,比如:清华大学源 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】 安装配置 这篇文章写的比较好,简单几步就配置成功了 Windows...

    下载3个所需软件

    1. JDK安装与环境变量配置
    2. 下载hadoop,建议使用国内源下载 ,比如:清华大学源
    3. 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】

    安装配置

    这篇文章写的比较好,简单几步就配置成功了
    Windows平台安装配置Hadoop

    问题解决

    WIN7下解压文件提示:可能需要以管理身份运行?

    破解补丁激活WinRAR

    展开全文
  • Windows平台Hadoop安装与配置与Linux不同,首先需要安装Cygwin来模拟Linux环境,配置SSH服务,后续的操作就是在Cygwin实现,基本上与Linux平台的安装和配置一致。主要步骤包括下载解压、配置core-site.xml、hdfs...

    Windows下运行Hadoop,通常有两种方式:

    • 第一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行。
    • 第二种是通过Cygwin模拟Linux环境。

    后者的好处是使用比较方便,安装过程也简单。在这里咱们就基于第二种方案在Windows下快速安装一个Hadoop环境。
    整个安装过程包括以下三大步骤:

    一、安装JDK1.6或更高版本

      官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。
    如果你的电脑已经安装了JDK并进行了相关的配置,此处不需要安装,后面也不需要配置JAVA_HOME。

    二、Cygwin的安装和配置

    1、安装Cygwin

      Cygwin是Windows平台下模拟Linux环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/
    根据操作系统的需要下载32位或64的安装文件。

    (1)双击下载好的安装文件,点击下一步,选择install from internet
    这里写图片描述

    (2)下一步,选择Cygwin的安装位置
    这里写图片描述

    (3)下一步,选择Cygwin安装文件的下载位置
    这里写图片描述

    (4)下一步,选择Internet的连接方式,这里我们选择Direct Connection即可
    这里写图片描述

    (5)下一步,选择下载网址
    这里写图片描述

    (6)下一步,展开net节点,选择如下openssh和openssl两项
    这里写图片描述
    如果要在Eclipe上编译Hadoop,需要安装Category为Base下的sed
    这里写图片描述
    如果想在Cygwin上直接修改hadoop的配置文件,可以安装Editors下的vim
    这里写图片描述

    (7)下一步,等待安装

    2、配置环境变量

    在“我的电脑”上点击右键,选择菜单中的“属性”,点击属性对话框上的高级页签,点击”环境变量”按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的Cygwin的bin目录,例如:C:\cygwin64\bin

    3、安装sshd服务

    双击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config -y命令
    这里写图片描述

    执行后,会提示输入密码,否则会退出该配置,此时输入密码和确认密码,回车。最后出现Host configuration finished.Have fun!表示安装成功。
    输入net start sshd,启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。
    可能会遇到无法安装和启动sshd服务的问题,可参考此连接http://www.cnblogs.com/kinglau/p/3261886.html
    另外,如果是Win8操作系统,启动Cygwin时,需要以管理员身份运行(右键图标,选择以管理员身份运行),否则会因为权限问题,提示“发生系统错误5”。

    4、配置SSH免密码登录

    执行ssh-keygen命令生成密钥文件
    如下图所示,输入:ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa,注意-t -P -f参数区分大小写。
    ssh-keygen是生成密钥命令:

    • -t 表示指定生成的密钥类型(dsa,rsa)
    • -P表示提供的密语
    • -f指定生成的密钥文件。

    注意:~代表当前用户的文件夹,/home/用户名
    这里写图片描述
    执行此命令后,在你的Cygwin\home\用户名 路径下面会生成.ssh文件夹,可以通过命令ls -a /home/用户名 查看,ssh -version命令查看版本。
    执行完ssh-keygen命令后,再执行下面命令,就可以生成authorized_keys文件了。
    cd ~/.ssh/
    cp id_dsa.pub authorized_keys
    如下图所示:
    这里写图片描述
    然后执行exit命令,退出Cygwin窗口。

    5、连接SSH服务

    再次在桌面上双击Cygwin图标,打开Cygwin窗口,执行ssh localhost命令,第一次执行该命令会有提示,输入yes后,回车即可。如下图所示
    这里写图片描述

    至此,Cygwin的安装和配置就完成了。

    三、Hadoop的安装和配置

    hadoop官网下载http://hadoop.apache.org/releases.html

    把hadoop压缩包解压到“/home/用户名”目录下,文件夹名称更改为hadoop,可以不修改,但后边在执行命令时稍显麻烦。

    1、配置Hadoop

    hadoop的配置有两种方式,一种是单机模式,另一种是伪分布模式。
    单机模式配置方式:
    单机模式不需要配置,这种方式下,Hadoop被认为是一个单独的Java进程,这种方式经常用来调试。

    伪分布模式:
    可以把伪分布模式看作是只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker。
    这种模式下修改几个配置文件即可。
    (1)配置hadoop-env.sh,记事本打开改文件,设置JAVA_HOME的值为你的JDK安装路径,例如:JAVA_HOME=”D:\hadoop\Java\jdk1.7.0_25”,如果你的环境变量里面已经配置了JAVA_HOME,此处不需要再次配置。

    (2)配置core-site.xml

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->
    <configuration>
      <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
      </property>
      <property>
        <name>mapred.child.tmp</name>
        <value>/home/u/hadoop/tmp</value>
      </property>
    </configuration>

    (3)配置hdfs-site.xml

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->
    <configuration>
      <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    </configuration>

    (4)配置mapred-site.xml

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <!-- Put site-specific property overrides in this file. -->
    <configuration>
      <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
      </property>
      <property>
        <name>mapred.child.tmp</name>
        <value>/home/u/hadoop/tmp</value>
      </property>
    </configuration>

    2、启动Hadoop

    打开Cgywin窗口,执行cd ~/hadoop命令,进入hadoop文件夹,如下图:
    这里写图片描述
      
    启动Hadoop前,需要先格式化Hadoop的文件系统HDFS,执行命令:bin/hadoop namenode -format
    注意:namenode要小些,否则如果输入NameNode,会提示错误,找不到或无法加载主类NameNode。
    执行正确命令后如下图所示:
    这里写图片描述

    输入命令 bin/start-all.sh,启动所有进程,如下图:
    这里写图片描述

    3、验证是否安装成功

    打开浏览器,分别以下网址,如果能够正常浏览,说明安装成功。
    http://localhost:50070,回车打开NameNode的web页面,如下图(页面部分截图):
    这里写图片描述

    展开全文
  • 安装前的建议:将 vm 虚拟机连上网络后,在 secureRCT 中连接ubuntu,然后...利用 secureRCT 可以进行 windows linux 文件传输,比如在 windows 系统安装了 jdk1.8 要上传到 linux 系统,则需要用到 secureRCT....

    安装前的建议:

    将 vm 虚拟机连上网络后,在 secureRCT 中连接ubuntu,然后进行编写。 secureCRT 可以直接复制代码,如果在ubuntu桌面就必须纯手打代码,无法将外部浏览器的内容复制进去。

    利用 secureRCT 可以进行 windows 与 linux 文件传输,比如在 windows 系统安装了 jdk1.8 要上传到 linux 系统,则需要用到 secureRCT.

    一、创建hadoop用户

    $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell

    $ sudo passwd hadoop #为hadoop用户设置密码,之后需要连续输入两次密码

    $ sudo adduser hadoop sudo #为hadoop用户增加管理员权限

    $ su - hadoop #切换当前用户为用户hadoop

    $ sudo apt-get update #更新hadoop用户的apt,方便后面的安装

    二、安装SSH,设置SSH无密码登陆

    $ sudo apt-get install openssh-server #安装SSH server

    $ ssh localhost #登陆SSH,第一次登陆输入yes

    $ exit #退出登录的ssh localhost

    $ cd ~/.ssh/ #如果没法进入该目录,执行一次ssh localhost

    $ ssh-keygen -t rsa

    输入完 $ ssh-keygen -t rsa 语句以后,需要连续敲击三次回车,如下图

    5ce773cda80dc5baebfb3af12716790d.png

    其中,第一次回车是让KEY存于默认位置,以方便后续的命令输入。第二次和第三次是确定passphrase,相关性不大。

    两次回车输入完毕以后,如果出现类似于下图所示的输出,即成功:

    a413b1ec81dfa76791e4668e4d0c0485.png

    然后继续输入:

    $ cat ./id_rsa.pub >> ./authorized_keys #加入授权

    $ ssh localhost #此时已不需密码即可登录localhost,并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案

    c996c135bb29eb66c4626539924b8235.png

    在此之前先将jdk安装好

    三、安装hadoop-2.6.0

    $ sudo tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local #解压到/usr/local目录下

    $ cd /usr/local

    $ sudo mv hadoop-2.6.0 hadoop #重命名为hadoop

    $ sudo chown -R hadoop ./hadoop

    安装好后,在hadoop用户下给hadoop配置环境变量,若用户不是hadoop则输入 su - hadoop切换用户

    切换完成后输入 vi /etc/profile(权限要求root)

    在文件底部添加

    export HADOOP_HOME=/usr/local/hadoopexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    :wq 保存文件后执行source /etc/profile使设置生效。

    安装完成后输入 hadoop version 查看:

    b0492410b2ba4034e12efb1bbd4082d8.png

    四、伪分布式配置

    1、先将 jdk1.8 的路径添加到 hadoop-env.sh 中

    2、修改core-site.xml文件:

    hadoop.tmp.dir

    file:/usr/local/hadoop/tmp

    Abase for other temporary directories.

    fs.defaultFS

    hdfs://localhost:9000

    wq保存

    3、接下来修改配置文件 hdfs-site.xml

    dfs.replication

    1

    dfs.namenode.name.dir

    file:/usr/local/hadoop/tmp/dfs/name

    dfs.datanode.data.dir

    file:/usr/local/hadoop/tmp/dfs/data

    配置完成后,执行 NameNode 的格式化

    hdfs namenode -format

    然后启动namenode和datanode进程,并查看启动结果

    $ start-dfs.sh

    $ jps

    a3ec36f27c88e58267b04666ca3d07d4.png

    启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”

    ec71e3187d81e7f9dde5d6c987f98213.png

    进入ubuntu-Firefox中输入http://localhost:50070,若出现以下画面,则代表hadoop配置成功

    c6170e36032a2f6b6cbe942c6f94a6a4.png

    展开全文
  • windows 安装hadoop 配置环境 eclipse 安装JDK1.8,安装路径不能有空格 配置环境变量 下载并解压Hadoop-2.7.1,配置Hadoop相应的环境变量 copy Hadoop-2.7.1/bin/winutils.exe、hadoop.dll文件到Windows/...
  • ubuntu下hadoop安装与配置【初学者】

    万次阅读 2019-03-27 16:41:23
    安装前的建议: 将vm虚拟机连上网络后,在xshell6中连接ubuntu,...利用xftp6可以进行windows与linux文件传输,比如在windows系统安装了jdk1.8要上传到linux系统,则需要用到xftp6,(前提也是xftp6要连接到Linux...
  • 3-hadoopWindows下安装与配置

    千次阅读 2016-06-18 13:39:11
    在window下hadoop安装与配置和linux下类似,安装jdk与hadoop配置 1.安装jdk,注意在“系统环境”变量中配置好JAVA_HOME和PATH, (CLASSPATH?) 2.hadoop-2.7.1.tar.gz是window/linux通用的,和Linux类似找个地方...
  • Hadoop安装与配置

    2019-02-05 01:49:48
    使用的环境:Ubuntu18.04.1 LTS+Windows双系统(故而不是安装在虚拟机上的) Hadoop3.2.0(因为选择了当下比较新的版本所以也是有些东西和之前不同) JDK1.8.0_201 下载JDK 进Oracle官网下载JDK 接受协议后...
  • Windows下安装与配置Hadoop

    千次阅读 2013-12-27 10:51:15
    以下介绍在Windows下安装与配置Hadoop: 1、在地址http://www.java.com/zh_CN/download/manual.jsp下安装JDK,下载最新的JDK,之后双击安装即可。这是因为Hadoop的编译及MapReduce程序的运行很多地方需要使用JDK,只...
  • 基于虚拟机Ubuntu 20.04的大数据环境配置Hadoop安装配置与基本操作) 一、 以下配置所需要软件的版本(尽量做到版本一致,下面链接为对应下载网址) Ubuntu 20.04 Putty 0.74, released on 2020-06-27 ...
  • 配置hadoop集群,需要修改/usr/local/hadoop/etc/hadoop目录配置文件hadoop_env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。 首先使用vim编辑器打开hadoop_env.sh文件 cd /usr/...

空空如也

空空如也

1 2 3 4 5 ... 10
收藏数 192
精华内容 76
关键字:

windows下hadoop安装与配置