精华内容
参与话题
问答
  • hadoop下载

    千次阅读 2018-09-28 18:24:18
    镜像地址下载: http://mirrors.hust.edu.cn/apache/
    展开全文
  • 超详细hadoop下载安装教程(附图文)

    万次阅读 热门讨论 2018-08-03 10:23:53
    在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop下载安装步骤。 在此之前有必要做一个简单的说明:分享的所有内容是以个人的操作...

    在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。

    在此之前有必要做一个简单的说明:分享的所有内容是以个人的操作经验为基础,有的人看完可能会说跟他做过的不一样。这个可能还是跟大家所使用的发行版hadoop不同造成的吧。我是下载的一个大快搜索的DKhadoop发行版,三个节点的标准版本,个人研究或者学习hadoop三节点完全够用。DKhadoop三节点的发行版我记得是现在应该也是免费开放下载的,之前专门就免费版和付费版有无区别的问题问过他们,免费版本和付费版本在后台功能上没有区别,所有权限都对免费版本开放。

    本篇分享hadoop的安装步骤依然是也DKhadoop为例。DKhadoop的安装可以说真的是很简单。五月份的时候跟和大二、大三的几个学生聊hadoop的事情,他们吐槽点都集中在环境的搭建安装。一次性安装成功这种事情是不存在的,折腾到崩溃却是事实。我让他们去下载DKHadoop安装试一下,至于后来试没试就不得而知了。下面就切入正题,看完整个安装步骤你会发现hadoop安装原来也可以这么简单!

     

    一、DKH安装包下载

    安装包上传在了网盘,需要安装包的朋友可以留言索要!再次下载的步骤就省略不写了。

    二、DKH安装步骤

    1、登录启动成功后访问 IP,登陆默认用户名和密码: Username:admin

    Password:123456

    hadoop下载安装教程

    2、使用条款

     

    hadoop下载安装教程

    3、集群指定主机(安装过程中请不要刷新页面)

    hadoop下载安装教程

    4、集群安装(DKM各组件安装)这里有3种安装方式 “基本安装”,“完整安装”,“自定义安装”。

    (1)基本安装:

    hadoop下载安装教程

     

    (2)完整安装:DKM集成了相对完整的大数据开发环境组件。

    hadoop下载安装教程

    hadoop下载安装教程

     

    (3)自定义安装:用户可以根据自己的需求,选择安装的组件并且给组件分配角色。

    hadoop下载安装教程

     

    hadoop下载安装教程

    4点击“继续”,可以查看各机器分配的角色。

    hadoop下载安装教程

     

    5、开始安装组件我以“基本安装”方式来进行示例,其他方式类同,选择“下一步”会出现如下图的进度条。

    hadoop下载安装教程

     

    6、点击“完成安装”会转到 DKM 监控界面(ip:8998) ,首先需要登录, 用户名:admin ,密码:admin 。

    hadoop下载安装教程

     

    7、点击登录,进入到集群监控界面,如下图:

    hadoop下载安装教程

    进入到集群监控界面就表示安装成功了,关于集群监控界面的内容就留在后面在给大家分享吧。此部分内容最好与前面写的几篇结合起来看更容易明白!前面的几篇文章:

    第一篇:《hadoop集群管理系统搭建规划说明》

    第二篇:《最新虚拟机搭建hadoop环境详细图文教程》

    第三篇:《Hadoop伪分布式环境搭建之Linux系统安装教程》

    第四篇:《hadoop服务器基础环境搭建之Hadoop服务器配置教程》

    展开全文
  • hadoop下载地址与配置hadoop3.0集群

    千次阅读 2018-05-14 16:36:09
    hadoop版本下载访问地址:http://mirrors.hust.edu.cn/apache/hadoop/common搭建hadoop集群访问地址:https://blog.csdn.net/qq_32808045/article/details/762291571.准备(搭建集群所用到的软件及系统前期配置):...

    hadoop版本下载访问地址:http://mirrors.hust.edu.cn/apache/hadoop/common


    搭建hadoop集群访问地址:https://blog.csdn.net/qq_32808045/article/details/76229157



    1.准备(搭建集群所用到的软件及系统前期配置):

    1. 虚拟机 : VMware
    2. linux:CentOS 6.5 .vmx
    3. sun公司的 jdk : jdk1.8.0_131
    4. ssh : 安装ssh,并设置免密
    5. hadoop : hadoop-3.0.0-alpha4

    把CentOS进行克隆,克隆出两个,这样我们就有三台Linux了。 
    分别命名为: 
    master 
    node1 
    node2

    在root用户下运行,对主机名进行修改 :

    hostname    // 查看当前系统主机名
    vi /etc/sysconfig/network    // 进入文件
    • 1
    • 2

    Exler 
    HSOTNAME的属性赋值为想要修改的主机名 master 
    Exler

    reboot    // 重启 即可完成更改
    • 1

    其他两台主机分别命名为 node1,node2。

    对三台主机进行地址映射 :

    ifconfig    // 获取主机ip地址,为了完成映射
    vi /etc/hosts    // 打开
    • 1
    • 2

    添加地址映射 : 
    Exler 
    这样我们就不用每次都敲ip了,直接主机名称就可以了。(当然另外两台都需要进行相同的配置)

    2. ssh免密的配置

    rpm –qa | grep ssh    // 验证ssh是否安装
    yum install ssh -y    // 若无信息列出即未安装,则进行安装    
    • 1
    • 2

    Exler

    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa    // 在~/.ssh/下生成公钥/私钥对   -P '' 密码为空
    • 1

    Exler 
    (randomart image看着也是挺有趣的。。。)

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys    // 把公钥添加到authorzied_keys文件里
    chmod 0600 ~/.ssh/authorized_keys    // 修改authorized_keys的权限
    ssh localhost    // 验证ssh是否可以访问 
    • 1
    • 2
    • 3

    验证ssh访问是否正常: 
    Exler

    把另外两台机器也配好了之后,就可以做三台机器之间的联通了 :

    scp id_rsa.pub node1:~/.ssh/master_rsa.pub   // 把master公钥发给node1
    • 1

    Exler

    再转到node1上执行 :

    cat ~/.ssh/master_rsa.pub >> ~/.ssh/authorized_keys    //把收到的公钥添加到文件中去
    • 1

    node2 进行相同的步骤。(master的know_host文件中已经存在如节点node1的信息,以后连接都是免密的)。 
    就是三台虚拟机都相互把各自的公钥都发一遍,这样在每一台机器的~/.ssh/know_host文件里面都有其他节点的ssh信息。并把收到的公钥添加到authorized_keys文件下,这样下一次就可以免密登录了。

    第一次访问时会出现询问 
    Exler 
    确定就好,之后都是秒连的。


    遇到的问题: 
    1. ssh: connect to host node1 port 22: Connection timed out 
    检查/etc/hosts文件中的映射 地址->主机名 是否有错 
    2. Host key verification failed. 
    当询问 “…..(yes/no)?”时直接敲了个回车。 应敲yes

    jdk的安装

    1. 下载 
      可以直接访问官网下载符合自己机器的jdk。 
      注意:需选中 Accept License Agreement
    2. 解压 

      tar zxvf jdk-8u131-linux-x64.tar.gz // 解压jdk压缩包 
    3. 配置环境变量
    vi /etc/profile    // 配置环境变量
    • 1

    在空白处添加解压后jdk所在的路径 :

    export JAVA_HOME=/opt/softwares/jdk1.8.0_131    
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=.:$JAVA_HOME/bin:$PATH
    • 1
    • 2
    • 3
    source /etc/profile    // 使环境变量生效
    • 1

    验证jdk是否安装完成 :

     java -version    // 会出现jdk版本信息
    • 1

    Exler

    可利用scp命令发送jdk到其余虚拟机中然后更改/etc/profile

    或是重复相同操作

    hadoop的安装和配置

    1.下载 
    访问hadoop官网下载。 
    2.解压

    tar zxvf hadoop-3.0.0-alpha4.tar.gz
    • 1

    3.为了方便可以配置一下环境变量

    vi /etc/profile
    • 1
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
    • 1
    • 2
    source /etc/profile    // 使环境变量生效
    • 1

    验证安装 :

    hadoop version
    • 1

    Exler
    4.配置文件 
    在hadoop文件加下:

    cd etc/hadoop/    //  此目录下含有hadoop的配置件
    • 1

    Exler


    需要配置的文件有 : 
    hadoop-env.sh 
    core-site.xml 
    hdfs-site.xml 
    mapred-site.xml 
    yarn-site.xml 
    workers 
    (单节点及伪分布式可查看官网)


    vi hadoop-env.sh 
    • 1
    # The java implementation to use.
    #export JAVA_HOME=${JAVA_HOME}
    export JAVA_HOME=/opt/softwares/jdk1.8.0_131
    • 1
    • 2
    • 3

    因为hadoop是在JVM上运行的所以要在其配置文件中指定jdk的path

    vi core-site.xml
    • 1
    <configuration>
      <property>
        <name>fs.defaultFS</name>
         <value>hdfs://master:9000</value>
      </property>
    
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop/tmp</value>
      </property>
    </configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    第一个fs.defaultFS是指定hdfs的URI 
    第二个hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置,默认就放在这个路径中

    vi hdfs-site.xml
    • 1
    <configuration>
     <property>
       <name>dfs.replication</name>
       <value>2</value>
     </property>
     <property>
       <name>dfs.namenode.name.dir</name>
       <value>/usr/local/hadoop/hdfs/name</value>
     </property>
     <property>
       <name>dfs.datanode.data.dir</name>
       <value>/usr/local/hadoop/hdfs/data</value>
     </property>
     <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>node1:9001</value>
     </property>
      <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
      </property>
    </configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23

    dfs.replication 副本个数,默认是3 
    dfs.namenode.secondary.http-address 为了保证整个集群的可靠性secondarnamenode配置在其他机器比较好 
    dfs.http.address 进入hadoop web UI的端口

    vi mapred-site.xml 
    • 1
    <configuration>
      <property>
        <name>mapred.job.tracker.http.address</name>
        <value>0.0.0.0:50030</value>
      </property>
      <property>
    -->
    
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
      <property>
        <name>mapred.job.tracker.http.address</name>
        <value>0.0.0.0:50030</value>
      </property>
      <property>
        <name>mapred.task.tracker.http.address</name>
        <value>0.0.0.0:50060</value>
      </property>
    
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    
      <property>
       <name>mapreduce.application.classpath</name>
       <value>
         /usr/local/hadoop/etc/hadoop,
         /usr/local/hadoop/share/hadoop/common/*,
         /local/hadoop/share/hadoop/common/lib/*,
         /usr/local/hadoop/share/hadoop/hdfs/*,
         /usr/local/hadoop/share/hadoop/hdfs/lib/*,
         /usr/local/hadoop/share/hadoop/mapreduce/*,
        /usr/local/hadoop/share/hadoop/mapreduce/lib/*,
         /usr/local/hadoop/share/hadoop/yarn/*,
         /usr/local/hadoop/share/hadoop/yarn/lib/*
     </value>
    </property>
    </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40

    mapreduce框架的参数 
    最后一个是hadoop jar包的路径

    vi yarn-site.xml
    • 1
    <configuration>
    
    <!-- Site specific YARN configuration properties -->
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>         <name>yarn.resourcemanager.webapp.address</name>
            <value>master:8099</value>
    </property>
    </configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序 
    yarn 的webUI端口是8099

    vi workers    // datanode节点设置
    • 1
    node1
    node2
    • 1
    • 2

    Exler

    5.发送到其余虚拟机中或是重复相同操作

    启动hadoop

    hdfs namenode -format    // 首次启动格式化namenode
    start-all.sh    // 启动hadoop集群
    jps    // 查看JVM运行的程序
    • 1
    • 2
    • 3

    Exler 
    Exler 
    Exler


    遇到的问题 :

    Exler 
    在hadoop/sbin/ 
    vi start-dfs.sh 
    vi stop-dfs.sh 
    添加 
    HDFS_DATANODE_USER=root 
    HADOOP_SECURE_DN_USER=hdfs 
    HDFS_NAMENODE_USER=root 
    HDFS_SECONDARYNAMENODE_USER=root

    当报错YARN_RESOURCEMANAGER_USER时 
    vi start-yarn.sh 
    vi stop-yarn.sh 
    添加 
    YARN_RESOURCEMANAGER_USER=root 
    HADOOP_SECURE_DN_USER=yarn 
    YARN_NODEMANAGER_USER=root


    50070端口配置文件中设置了,却还是不能访问

    vi /etc/selinux/config

    修改

    #This file controls the state of SELinux on the system.
    #SELINUX= can take one of these three values:
    #enforcing - SELinux security policy is enforced.
    #permissive - SELinux prints warnings instead of enforcing.
    #disabled - No SELinux policy is loaded.
    SELINUX=enforcing
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    SELINUX的属性改为disabled


    namenode启动了datanode没有启动(多次格式化namenode造成的)

    在master的hadoop路径下 :

    vi hdfs/name/current/VERSION
    • 1

    拷贝clusterID 
    datanode的hadoop路径下 :

    vi hdfs/data/current/VERSION
    • 1

    替换掉datanode的clusterID 
    开启不需要format了


    展开全文
  • hadoop下载与安装

    2017-10-31 09:43:47
    一、hadoop下载: 1、登录apache网站 http://www.apache.org 2、点击project 3、选择hadoop 4、点击download hadoop 5、点击releases进入一个下载列表 6、选择一个小下载的版本 点击...

    一、hadoop下载:

    1、登录apache网站

    http://www.apache.org

    2、点击project


    3、选择hadoop


    4、点击download  hadoop



    5、点击releases进入一个下载列表


    6、选择一个小下载的版本 点击binary




    7、复制一个最新的链接下载就可以了




    二、安装


    1、将hadoop上传linux  这里使用CRT工具  rz命令上传到指定的文件夹

    2、解压  tar -zxvf   -------

    3、配置环境变量

    编辑文件:

    vi  /etc/profile

    加入内容:

                   HADOOP_INSTALL=/解压路径

                  PATH = bin路径:sbin路径


    保存退出
    4、source /etc/profile  使更改的配置立即生效
    5、hadoop-version  查看hadoop版本信息,如果显示出安装的版本信息则安装成功。


    由于刚接触大数据相关内容,详细记录下hadoop的下载安装过程,希望对新学习的同学有所帮助。





    展开全文
  • CDH版本Hadoop下载

    千次阅读 2019-04-28 11:06:01
    下载地址:http://archive.cloudera.com/cdh5/cdh/5/你想下载得tgz包示例:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0.tar.gz建议:首先在 http://archive.cloudera.com/cdh5/cdh/5 版本库下...
  • CDH 版 Hadoop 下载

    千次阅读 2019-06-21 12:30:37
    -- 昨夜西风凋碧树,独上高楼,望尽天涯路 下载地址:http://archive.cloudera.com/cdh5/ 网页显示如下: 点击 cdh 目录,选择 5 ,进入如下页面,该页面...在该页面 Ctrl + f,搜索 Hadoop 相关的安装包: ...
  • Hadoop下载与安装

    2020-05-13 20:09:57
    安装Hadoop 介绍:Hadoop是一个开源软件框架,用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量...① Hadoop-3.0.0下载 从http://archive.apache.org/dist/hadoop/core/下载Hadoop-3.0.0,下
  • Hadoop下载地址/hbase下载地址

    千次阅读 2018-05-28 12:42:18
    http://mirror.bit.edu.cn/apache/hadoop/common/http://archive.apache.org/dist/hbase/
  • 2.1 Hadoop下载与安装2.1.1 官网下载打开Apache Hadoop官方网址http://hadoop.apache.org/单击左侧菜单“Releases”将打开发行版页面http://hadoop.apache.org/releases.html单击2.7.3版本下“binary”链接,将进入...
  • Hadoop下载和源码阅读

    千次阅读 2018-07-30 15:27:10
    访问官网:...点击下载hadoop-3.1.0.tar.gz 是320M,hadoop-3.1.0-src.tar.gz 是27M ---------------------------------------------------------------------------------------------...
  • cdh_hadoop下载地址

    千次阅读 2016-09-02 14:20:52
    http://archive.cloudera.com/cdh5/cdh/5/
  • https://archive.apache.org/dist/hadoop/common/
  • 2.2 Hadoop下载与安装

    2018-11-25 10:36:07
    2.1 Hadoop下载与安装2.1.1 官网下载打开Apache Hadoop官方网址http://hadoop.apache.org/单击左侧菜单“Releases”将打开发行版页面http://hadoop.apache.org/releases.html单击2.7.3版本下“binary”链接,将进入....
  • hadoop下载包目录结构

    千次阅读 2014-05-06 10:44:45
    解压hadoopx
  • Windows系统Hadoop下载安装Hadoop下载Hadoop安装Hadoop环境配置Hadoop服务启动 Hadoop下载 官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 请求官网下载地址,点击 hadoop-2.7.7 链接 ...
  • 文章目录前言下载hadoop安装hadoop配置hadoophadoop-env.shyarn-env.shslaves更新*.xml配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml将hadoop复制到slave1和slave1上修改slave上的hadoop-env.sh...

空空如也

1 2 3 4 5 ... 20
收藏数 18,425
精华内容 7,370
关键字:

hadoop下载