精华内容
下载资源
问答
  • 很棒棒的hadoop安装配置步骤超级详细,只要有手并且认识字就能学会
  • 大数据组件 详细安装步骤(linux配置 hadoop集群搭建 hive flume kafka spark zk 搭建安装
  • windows环境下安装hadoop-2.8.3的详细步骤,包括调用自带的CountWord。
  • CentOS下安装hadoop-2.8.3详细步骤,包括如何调用原生CountWord并输出
  • 本篇文章主要介绍了Linux中安装配置hadoop集群详细步骤,具有一定的参考价值,感兴趣的小伙伴们可以参考一下。
  • Hadoop2.0安装详细步骤

    2018-10-11 14:54:21
    本文是详细Hadoop2.0安装方法步骤
  • Hadoop 安装详细步骤

    千次阅读 2020-06-01 15:29:21
    下载 hadoop 安装包至安装目录 安装目录:/opt hadoop版本:hadoop-2.6.0-cdh5.14.2.tar.gz 解压安装包至软件目录(最好更名,以便之后方便配置文件) tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz mv hadoop-2.6.0-...

    前期操作

    1. 下载 hadoop 安装包至安装目录
      安装目录:/opt
      hadoop版本:hadoop-2.6.0-cdh5.14.2.tar.gz
      在这里插入图片描述
    2. 解压安装包至软件目录(最好更名,以便之后方便配置文件)
    tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 
    mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
    

    在这里插入图片描述

    1. 进入文件,准备配置
      因为需要用到 java 的路径,可以代码查找,并复制至剪贴板备用
    cd /opt/soft/hadoop260/etc/hadoop
    echo $JAVA_HOME
    

    在这里插入图片描述

    修改配置文件

    注:注意修改路径和IP地址之类的变更项

    1. 配置 jdk 路径
      #更换 JAVA_HOME 的路径
    vi hadoop-env.sh
    
    export JAVA_HOME=/opt/soft/jdk180
    
    1. 修改核心配置文件
      设置默认文件系统(本地默认 file:/位置)此处端口与HBASE端口设成一样
      创建临时存储文件路径
      授权访问用户为所有 root 型
      授权访问用户为任意组的 root 型
    vi core-site.xml
    
    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://192.168.56.101:9000</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/opt/soft/hadoop260/tmp</value>
            </property>
            <property>
                    <name>hadoop.proxyuser.root.hosts</name>
                    <value>*</value>
            </property>
            <property>
                    <name>hadoop.proxyuser.root.groups</name>
                    <value>*</value>
            </property>
    </configuration>
    
    1. 设置文件副本个数
      这里:最少3个伪分布只写1个,我只用一台机子模拟
    vi hdfs-site.xml
    
    <configuration>
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
    </configuration>
    
    1. 设置映射化简模型框架
      这里需要复制 mapred-site.xml.template 临时文件,并在复制后的文件中配置(注意命名)
      设置框架为 yarn
    cp mapred-site.xml.template mapred-site.xml
    
    vi mapred-site.xml
    
    <configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
    </configuration>
    
    1. 设置 yarn 站点+节点
      设置 yarn 站点名称为:localhost
      设置辅助节点管理
    vi yarn-site.xml
    
    <configuration>
    <!-- Site specific YARN configuration properties -->
            <property>
                    <name>yarn.resourcemanager.localhost</name>
                    <value>localhost</value>
            </property>
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
    </configuration>
    
    1. 添加环境变量的相关项
    vi /etc/profile
    #末行添加配置项
    export HADOOP_HOME=/opt/soft/hadoop260
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    export HADOOP_INSTALL=$HADOOP_HOME
    

    启动调试是否配置成功

    1. 加载环境变量配置文件
    source /etc/profile
    
    1. 格式化 NameNode
    hadoop namenode -format
    
    1. 启动 Hadoop
    start-all.sh
    
    1. 检验启动是否成功
      后台进程应该有相关的5项
      在这里插入图片描述
      网页键入 192.168.56.101:50070 页面显示为:
      在这里插入图片描述
      检验成功,即安装成功,祝大家好运,谢谢!!!
    展开全文
  • 安装jdk,我之前博客有专门写过安装jdk步骤,这里就不重复了,有需要的小伙伴可以去翻翻之前的 三.安装hadoop 1.解压hadoop tar -zxvf hadoop文件 2.修改配置文件/usr/wangjian/software/hadoop/hadoop-2.10.0/...

    今天重装了下hadoop,特在此记录下!

    一.准备好hdk和hadoop安装文件,上传到linux

    二.安装jdk,我之前博客有专门写过安装jdk步骤,这里就不重复了,有需要的小伙伴可以去翻翻之前的

    三.安装hadoop

        1.解压hadoop tar -zxvf hadoop文件

        2.修改配置文件/usr/wangjian/software/hadoop/hadoop-2.10.0/etc/hadoop

            第一个:hadoop-env.sh
            vim hadoop-env.sh
            export JAVA_HOME=/usr/wangjian/software/jdk/jdk1.8.0_241

           

    第二个:core-site.xml

            <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://wangjian:9000</value>
            </property>
            <!-- 指定hadoop运行时产生文件的存储目录 -->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/wangjian/software/hadoop/hadoop-2.10.0/data</value>
        </property>

    第三个:hdfs-site.xml  
            <!-- 指定HDFS副本的数量 -->
            <property>
                <name>dfs.replication</name>
                <value>1</value>
           </property>

    第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
            mv mapred-site.xml.template mapred-site.xml
            vim mapred-site.xml
            <!-- 指定mr运行在yarn上 -->
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

    第五个:yarn-site.xml
            <!-- 指定YARN的老大(ResourceManager)的地址 -->
            <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>wangjian</value>
        </property>
            <!-- reducer获取数据的方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
         </property>

    3.将hadoop添加到环境变量

    4.格式化namenode(是对namenode进行初始化)

        hadoop namenode -format

    5.启动hadoop     cd /usr/wangjian/software/hadoop/hadoop-2.10.0/sbin
            先启动HDFS
            sbin/start-dfs.sh
            需要输入几次登录密码

            jps查看启动程序


            再启动YARN
            sbin/start-yarn.sh

           输入密码

    6.验证是否启动

    jps

    在浏览器输入地址http://192.168.36.239:50070 (HDFS管理界面)

    http://192.168.36.129:8088 (MR管理界面)

    展开全文
  • Hadoop单机安装详细步骤

    千次阅读 2016-07-11 00:03:12
    环境准备安装Java过程简单,这里省略具体安装步骤安装后确认相应版本的Java已安装,这里选择1.7。java -version创建Hadoop账号为Hadoop创建一个专门的账号是很好的实践:sudo adduser hadoop sudo passwd hadoop...

    环境准备

    安装Java

    过程简单,这里省略具体安装步骤。安装后确认相应版本的Java已安装,这里选择1.7。

    java -version

    这里写图片描述

    创建Hadoop账号

    为Hadoop创建一个专门的账号是很好的实践:

    sudo adduser hadoop
    sudo passwd hadoop

    这里写图片描述

    授予 Hadoop root权限
    为了测试,图方便,这里给Hadoop root权限,生产环境不建议这样做。
    使用root权限编辑/etc/sudoers:

    sudo vim /etc/sudoers

    末尾添加一行:

    hadoop  ALL=(ALL) ALL

    这里写图片描述
    切换到Hadoop账号:

    su hadoop

    配置SSH无密码登录

    首先生成公私密钥对、

    ssh-keygen -t rsa

    指定key pair的存放位置,回车默认存放于/home/hadoop/.ssh/id_rsa
    输入passphrase,这里直接回车,为空,确保无密码可登陆。

    这里写图片描述

    拷贝生成的公钥到授权key文件(authorized_keys)

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    改变key权限为拥有者可读可写(0600) :

    chmod 0600 ~/.ssh/authorized_keys

    chomod命令参考:

    chmod 600 file – owner can read and write
    chmod 700 file – owner can read, write and execute
    chmod 666 file – all can read and write
    chmod 777 file – all can read, write and execute

    测试是否成功:

    ssh localhost

    这里写图片描述

    下载安装

    下载Hadoop 2.6.0

    cd ~
    wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

    这里写图片描述

    解压:

    tar -zxvf hadoop-2.6.0.tar.gz

    重命名一下:

    mv hadoop-2.6.0 hadoop

    (最好做个关联ln -s hadoop-2.6.0 hadoop

    配置环境变量

    vim ~/.bashrc
    
    export JAVA_HOME=/usr/java/jdk1.7.0_79/
    export HADOOP_HOME=/home/hadoop/hadoop
    export HADOOP_INSTALL=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
    
    source ~/.bashrc
    

    配置Hadoop

    配置Hadoop

    cd $HADOOP_HOME/etc/hadoop
    
    vim core-site.xml
    <configuration>
    <property>
      <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    </configuration>

    配置HDFS

    vim hdfs-site.xml
    <configuration>
    <property>
     <name>dfs.replication</name>
     <value>1</value>
    </property>
    
    <property>
      <name>dfs.name.dir</name>
        <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
    </property>
    
    <property>
      <name>dfs.data.dir</name>
        <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
    </property>
    </configuration>

    配置MapReduce

    vim mapred-site.xml
     <configuration>
     <property>
      <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
    </configuration>

    配置YARM:

    vim yarn-site.xml
    <configuration>
     <property>
      <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
    </configuration>

    启动集群

    格式化HDFS

    使用之前,需要先格式化Hadoop文件系统

    hdfs namenode -format

    启动HDFS和YARN

    cd $HADOOP_HOME/sbin

    启动文件系统:

    start-dfs.sh

    这里写图片描述

    启动YARN:

    start-yarn.sh

    这里写图片描述

    查看状态

    查看HDFS状态,浏览器访问: http://localhost:50070
    这里写图片描述

    查看second namenode:

    http://localhost:50090

    这里写图片描述

    查看DataNode:
    http://localhost:50075/
    http://localhost:50075/dataNodeHome.jsp
    这里写图片描述

    简单使用Hadoop:

    使用HDFS

    在HDFS创建两个目录:

    hdfs dfs -mkdir /user
    hdfs dfs -mkdir /user/hadoop

    上传:

    hdfs dfs -put  /opt/modules/elasticsearch-2.3.1/logs logs

    从管理界面可以看到:
    这里写图片描述

    运行MapReduce作业

    提交一个MapReduce作业:

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep logs output 'dfs[a-z.]+'

    可以从YARN应用的界面查看作业情况 http://localhost:8088

    这里写图片描述

    (完)

    展开全文
  • Windows环境下hadoop安装和配置详细步骤

    千次阅读 多人点赞 2019-05-14 16:53:47
    Windows环境下hadoop安装和配置详细步骤 一、下载Hadoop http://www.apache.org/dyn/closer.cgi/hadoop/common (我下载的版本是hadoop-2.7.3.tar.gz,这里就以此版本为例) 下载完成后解压,把hadoop-2.7.3放到某个...

    Windows环境下hadoop安装和配置详细步骤

    一、下载Hadoop

    http://www.apache.org/dyn/closer.cgi/hadoop/common
    (我下载的版本是hadoop-2.7.3.tar.gz,这里就以此版本为例)
    下载完成后解压,把hadoop-2.7.3放到某个盘的根目录比如 D:\hadoop-2.7.3 (这样方便打开)。
    原版的Hadoop不支持Windows系统,我们需要修改一些配置方便在Windows上运行,需要从网上搜索下载hadoop对应版本的windows运行包(网上自行下载对应版本的运行包)。
    下载完之后复制解压开的bin文件和etc文件到hadoop-2.7.3文件中,并替换原有的bin和etc文件。

    二、配置Hadoop的环境变量

    1.配置Java环境变量(配置过的就可以跳过)

    新建变量名:JAVA_HOME
    输入路径:D:\Softwares\jdk1.8 (请根据自己的文件位置来设置)
    在path中最前面加上:%JAVA_HOME%\bin;

    2.配置Hadoop环境变量

    新建变量名:HADOOP_HOME
    输入路径:E:\hadoop-2.7.3(请根据自己的文件位置来设置)
    在path中最前面加上:%HADOOP_HOME%\bin;

    确认hadoop配置的jdk的路径
    hadoop-2.7.3\etc\hadoop找到hadoop-env.cmd,右键用一个文本编辑器打开找到 :
    set JAVA_HOME=C:\PROGRA~1\Java\jdk1.7.0_67

    将C:\PROGRA~1\Java\jdk1.7.0_67 改为 D:\Softwares\jdk1.8(在环境变量设置中JAVA_HOME的值)(如果路径中有“Program Files”,则将Program Files改为 PROGRA~1)

    配置好上面所有操作后,win+R 输入cmd打开命令提示符,然后输入hadoop version,按回车,如果出现如图所示结果,则说明安装成功

    三、hadoop核心配置文件

    hadoop-2.7.3\etc\hadoop中找到以下几个文件用文本编辑器打开
    1.打开 hadoop-2.7.3/etc/hadoop/core-site.xml, 复制下面内容粘贴到最后并保存

    <configuration>
    	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>   
    	</property>
    </configuration>
    

    2.打开 hadoop-2.7.3/etc/hadoop/mapred-site.xml, 复制下面内容粘贴到最后并保存

    <configuration>   
    	<property>       
    	<name>mapreduce.framework.name</name>       
    	<value>yarn</value>   
    	</property>
    </configuration>
    

    3.打开 hadoop-2.7.3/etc/hadoop/hdfs-site.xml, 复制下面内容粘贴到最后并保存

    先创建两个文件夹
    E:/hadoop-2.7.3/namenode
    E:/hadoop-2.7.3/datanode

    <configuration>
    	<property>       
    	<name>dfs.replication</name>       
    	<value>1</value>   
    	</property>   
    	<property>       
    	<name>dfs.namenode.name.dir</name>       
    	<value>/E:/hadoop-2.7.3/namenode</value>//路径为你的存放路径   
    	</property>   
    	<property>       
    	<name>dfs.datanode.data.dir</name>     
    	<value>/E:/hadoop-2.7.3/datanode</value>//路径为你的存放路径   
    	</property>
    </configuration>
    

    4.打开 hadoop-2.7.3/etc/hadoop/yarn-site.xml,复制下面内容粘贴到最后并保存

    <configuration>   
    	<property>       
    	<name>yarn.nodemanager.aux-services</name>       
    	<value>mapreduce_shuffle</value>   
    	</property>   
    	<property>       
    	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       
    	<value>org.apache.hadoop.mapred.ShuffleHandler</value>   
    	</property>
    </configuration>
    

    (以上这些路径都是根据自己的实际路径!)

    四、启动Hadoop服务

    以管理员身份打开命令提示符
    Hadoop-2.7.3\bin下,输入hdfs namenode -format执行到如下图所示
    在这里插入图片描述
    格式化之后,namenode文件里会自动生成一个current文件,则格式化成功。

    然后转到Hadoop-2.7.3\sbin下,输入start-all.cmd,启动hadoop服务,等待他启动完成。
    完成之后,输入jps可以查看运行的所有服务 (前提是java路径设置正确)

    显示的就是正在运行的,确保以上服务全部都启动了!

    到这在Windows环境下的Hadoop就安装好了!

    展开全文
  • 这是我在centos7上安装hadoop单机版,和spark单机版的详细步骤,全是我自己确定能用才写好的笔记,还有一些centos7的操作,如NFS共享文件,ssh无秘登陆的详细步骤,全都做好了详细的笔记,且保证能用的。
  • 安装好CentOS Linux 8 并升级完内核和软件包之后再进行Hadoop安装。 参考: 1、大数据处理和软件开发第一步:VMware下安装CentOS 8 Linux操作系统 2、怎么给CentOS Linux 8升级内核并开启BBR 手里有一台Dell R620...
  • hadoop环境安装配置步骤详细解说

    千次阅读 2018-07-05 15:42:40
    在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先...
  • Hadoop入门(七)——Hadoop安装(图文详解步骤2021)

    万次阅读 多人点赞 2021-03-22 15:35:52
    2.4 在 hadoop102 安装 Hadoop Hadoop 下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 1 ) 用 XShell 文件传输 工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下 面 ...
  • 安装doc文档说明希望对大家有用,本人也是按照文档自学的
  • 详细介绍采用vmware虚拟机安装 hadoop系统的过程, 为学习hadoop创造一个良好的环境
  • 集群分布式 Hadoop安装详细步骤

    千次阅读 2015-04-08 16:21:56
    集群分布式Hadoop系统安装及测试 本系统一共有三个节点,一个namenode,两个datanode,IP和主机名对应如下: 192.168.1.19 namenode 192.168.1.7 datanode1 192.168.1.20 datanode2 1、安装配置 1)、安装配置JDK,...
  • CentOS中hadoop安装 安装环境 虚拟机上三台centos系统 使用NET模式连接有线网络 在命令行使用ifconfig命令查看静态IP地址 Xshell5安装在Windows上,用于连接虚拟机 所需软件下载 Hadoop官网下载...
  • http://blog.csdn.net/q176782/article/details/61416776
  • (2)已安装jdk,具体安装教程请看我以前的文章。 下载Hadoop Hadoop下载地址,推荐下载2.7.7版本,因为它比较稳定。 使用wget下载: root@instance-cqxyyrb2:/# mkdir Hadoop root@instance-cqxyyrb2:/# cd ...
  • Hadoop集群安装详细步骤,Hadoop集群安装详细步骤
  • 1 JDK 1.1 下载 ... ...1.2 安装 ...安装按提示,唯一要注意的是:JDK的安装路径不要带空格!否则会报错“C:\Program不是内部或外部命令”。...举栗子:E:\Hadoop\Java\jdk1.8.0_231 嗯……顺手把jre的安装目录也...
  • 新建虚拟机Ubuntu并安装Hadoop步骤

    千次阅读 2019-11-28 16:28:02
    新建虚拟机Ubuntu并安装Hadoop步骤 (初学Hadoop可能会要多次重新安装虚拟机,所有写下来方便自己) 新建虚拟机,自定义安装,双处理机双内核,如果经常使用,尽可能给多的磁盘空间 软件包software update立即同意...
  • Hadoop安装与配置详细教程

    万次阅读 多人点赞 2019-04-27 17:50:42
    【确保服务器集群安装和配置已经完成!】 前言 请根据读者的自身情况,进行相应随机应变。 我的三台CentOS7服务器: 主机:master(192.168.56.110) 从机:slave0(192.168.56.111) 从机:slave1(192.168.56.112...
  • hadoop安装和配置步骤

    千次阅读 2021-03-13 20:20:17
    本次安装是建立在之前安装完jdk以及mysql的基础上,如果其他朋友们想了解的可以查看下之前的安装步骤,这里是传送门 本次安装使用MobaXterm 辅助工具,先把对应的hadoop压缩包上传到 root/software文件夹内备用 1、...
  • 二、Hadoop虚拟机安装步骤 1.创建一个新的虚拟机 2.选择使用的使用类型 3.选择稍后安装 4.选择我们的操作系统:CentOS 64位 5.命名一个虚拟机名称,如:hadoop1。(注:位置不放在C盘) 6.选择磁盘大小,选择...
  • hadoop安装与配置; IDEA的安装与配置 版本说明 jdk:1.8 spark:2.4.5 hadoop:2.7.1 我把的安装软件的放到云盘了,链接:https://pan.baidu.com/s/1SLdfe40SZx9FjRl_09_beQ  提取码:tp7p  环境准备 A、JDK...
  • 在windows环境下进行hadoop安装
  • Linux安装Hadoop详细教程

    千次阅读 多人点赞 2020-01-28 13:30:00
    一、引言 首先说明一下,本文的安装教程仅是针对个人的操作经验所写的。...Hadoop(3.1.1) Ubuntu Linux(64位系统) 二、安装ssh服务 ubuntu中默认是没有安装ssh server的,只有 ssh client,可以使用如下命令...
  • 详细虚拟机hadoop集群环境安装步骤

    千次阅读 2016-11-17 11:25:22
    要想深入的学习Hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 82,033
精华内容 32,813
关键字:

hadoop安装详细步骤