精华内容
下载资源
问答
  • Hadoop单机模式

    千次阅读 2019-05-20 20:40:33
    Hadoop单机模式的部署与搭建 准备 Centos 7 64位操作系统(运行于VM虚拟机上) Hadoop开源文件 JDK(java的核心JDK) 开始部署与搭建Hadoop 1.VM虚拟机上打开centos 7(64位) 2.将下载好的hadoop压缩文件从...

    Hadoop单机模式的部署与搭建

    准备

    Centos 7 64位操作系统(运行于VM虚拟机上)https://mp.csdn.net/mdeditor/88190423#
    Hadoop-2.5.1开源文件 http://hadoop.apache.org/
    JDK(java的核心JDK,jdk-8u201-windows-x64) https://www.oracle.com/technetwork/java/javase/downloads/index.html

    开始部署与搭建Hadoop

    1.VM虚拟机上打开centos 7(64位)
    在这里插入图片描述

    2.将下载好的hadoop压缩文件从windows移动到centos的桌面,并解压

    在这里插入图片描述
    3.将Hadoop解压后的文件移动到用户目录HOME下。
    在这里插入图片描述
    4.配置hadoop的环境变量,打开命令行界面,vim打开/etc/profile文件,写入如下配置变量,wq退出保存!
    在这里插入图片描述
    5.可以选择重启虚拟机永久生效坏境变量,也可以命令行输入 source /etc/profile在当前命令行窗口暂时生效
    在这里插入图片描述
    6.下一步,命令行输入hadoop,回车,检查是否出现java_home错误提示,若出现,环境变量配置成功,若出现command not found,就重新再来一遍
    在这里插入图片描述
    7.配置java JDK环境,查看linux是否安装了jdk,输入java -version,可以看到linux已经默认安装了jdk(若无jdk,第八步可跳过)
    在这里插入图片描述
    8.输入命令 rpm -e --nodeps rpm -qa | grep java 删除linux默认安装的jdk,并再次查看,jdk已全部删除
    在这里插入图片描述
    9.创建文件夹目录
    在这里插入图片描述
    10.移动jdk压缩包 jdk-8u201-linux-x64.tar.gz到centos的桌面
    在这里插入图片描述
    11.通过命令行来到桌面,解压 jdk-8u201-linux-x64.tar.gz到桌面
    在这里插入图片描述
    12.将桌面jdk jdk-8u201-linux-x64.tar.gz解压文件jdk1.8.0_201移动到/usr/java/jdk下
    在这里插入图片描述
    13.vim打开/etc/profile文件,配置jdk环境变量
    在这里插入图片描述
    14.配置完成后,wq保存退出,可以选择重启虚拟机永久生效坏境变量,也可以命令行输入 source /etc/profile在当前命令行窗口暂时生效

    在这里插入图片描述
    15.输入java -version查看jdk安装情况,如图所示,jdk安装完成
    在这里插入图片描述
    16.再次输入hadoop,看到如下结果,表示hadoop安装配置完成
    在这里插入图片描述

    展开全文
  • 对于hadoop0.20.2的单机模式安装就需要在一个节点(一台主机)上运行5个节点。 分别是: JobTracker:负责Hadoop的Job任务分发和管理。 TaskTracker:负责在单个节点上执行MapReduce任务。 对于Hadoop里面的HDFS的...
  • 本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
  • Hadoop单机模式的搭建 JunLeon——go big or go home 前言:Hadoop集群有三种运行模式,即单机模式,伪分布模式、分布式模式。 单机模式:只有一个JVM进程数,只运行在一台机器上(作测试用); 伪分布模式:...

    Hadoop单机模式的搭建

    JunLeon——go big or go home


    前言:Hadoop集群有三种运行模式,即单机模式,伪分布模式、分布式模式。

    单机模式:只有一个JVM进程数,只运行在一台机器上(作测试用);

    伪分布模式:有多个JVM进程数,运行在同一台机器上;

    分布式(完全分布式)模式:多个JVM进程数,运行在三台或三台以上的机器上。

    说明:

    以下进入Hadoop单机模式的搭建,是在root用户下进行,如果在普通用户下,要注意权限、环境变量等,记得使用sudo命令。

    一、Hadoop单机模式的搭建

    1、创建用户

    useradd hadoop

    passwd hadoop (直接输入两次密码即可)

    注意:如果切换到普通用户,需要使用 su 命令,在root用户下给普通用户赋权。

    2、网络配置、修改主机名、配置网络映射

    具体配置请查看:Linux学习——linux网络配置、修改主机名、网络映射、远程连接工具XShell的使用(超详细)_JunLeon的博客-CSDN博客

    网络配置文件 /etc/sysconfig/network-scripts/ifcfg-eth0

    vi  /etc/sysconfig/network-scripts/ifcfg-eth0

    注意:CentOS7和8里面,网络配置文件为:/etc/sysconfig/network-scripts/ifcfg-ens33

    主机名配置文件 /etc/sysconfig/network,修改HOSTNAME=主机名

    vi   /etc/sysconfig/network

    将HOSTNAME=localhost.localdomain修改为HOSTNAME=BigData01

    注意:CentOS7或8,主机名配置文件为:/etc/hostname,直接删除以前的,添加主机名

    配置网络映射 /etc/hosts

    vi  /etc/hosts

    在最后一行添加 ip地址 主机名   

        例如:192.168.182.10  BigData01        # 192.168.182.10是IP地址,BigData01是主机名

    重启网络服务:

    service  network  restart

    3、安装ssh服务

    查看是否安装ssh

    rpm  -qa  |  grep  ssh

    如果有openssh-clients、openssh-server,则不需要安装

    如果没有,则需要安装,安装命令如下:

    yum  install  -y  openssh-clients  openssh-server

    启动ssh服务

    service  sshd  start|stop|restart|status

    start:开启、restart:重启、stop:关闭、status:状态,根据自己需要选择

    4、防火墙的管理

    service  iptables  start|stop|restart|status
    chkconfig  iptables  off  # 永久关闭防火墙

    start:开启、restart:重启、stop:关闭、status:状态,根据自己需要选择

    5、安装jdk

    1 XShell 6或者secureCRT远程登录

            XShell 6 的安装、使用请查看Linux学习——linux网络配置、修改主机名、网络映射、远程连接工具XShell的使用(超详细)_JunLeon的博客-CSDN博客

    2 上传JDK到/opt目录下,Windows-->Linux  

     使用XShell 6里面的文件传输工具进行上传,左边选择Windows下的文件,右边是Linux的文件系统。

    3 查看Linux是否安装java jdk

    rpm  -qa  |  grep  java

    如果查询有其他java版本,则需要卸载

    rpm  -e  --nodeps  包名

    4 解压上传的jdk,解压到/opt目录下

    tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt

    5 配置环境变量

    vi  /etc/profile

    在这个文件最后添加如下两行:

    export JAVA_HOME=/opt/jdk1.8.0_161
    export PATH=$JAVA_HOME/bin:$PATH

    6 使这个配置文件生效

    source /etc/profile

    7 验证(查看java版本)

    java -version

    6、安装hadoop

    1 上传hadoop安装包到Linux下的/opt目录

    2 解压安装包到/opt目录

    tar -zxvf hadoop-2.7.3.tar.gz -C /opt

    3 配置环境变量

    vi /etc/profile

    在文件最后添加如下两行(在配置java的环境变量基础上添加hadoop路径)

    export HADOOP_HOME=/opt/hadoop-2.7.3
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

    使配置文件生效

    source /etc/profile

    4 验证(查看hadoop版本)

    hadoop version

    如果看到以下信息,则安装成功

    下一篇:Hadoop集群伪分布模式的搭建(超详细)

    如果喜欢、对你有帮助,反手点赞+收藏,跟着军哥学知识…… 

    展开全文
  • 安装Java环境和搭建Hadoop单机模式环境 实验环境 VMware® Workstation 15 Pro、Ubuntu 16.04系统 实验步骤 启动Linux系统 打开VMware,启动虚拟机,输入系统密码。修改主机名。 (1)在桌面右键,打开终端。 (2)...

    实验原理

    安装Java环境和搭建Hadoop单机模式环境

    实验环境

    VMware® Workstation 15 Pro、Ubuntu 16.04系统

    实验步骤

    启动Linux系统

    打开VMware,启动虚拟机,输入系统密码。修改主机名。

    (1)在桌面右键,打开终端。

    (2)编辑文件
    $ sudo vim /etc/hostname
    按提示输入密码
    在文件中输入主机名,保存退出。

    (3)重启系统。可看到主机名已改为“zhouqiang”。
    在/etc/hosts 中添加本主机,否则后面代码运行出错。
    $ sudo vim /etc/hosts

    添加内容“127.0.0.1 主机名”,保存退出。
    

    安装java环境

    3.1、下载 JDK1.8
    下载链接:jdk

    3.2、解压安装包:
    进入/home/hadoop/software_tool/目录,所有实验用到的安装包都存放在本目录,通过官方或其他渠道下载。
    $ cd /home/hadoop/software_tool/

    解压jdk-8u181-linux-x64.tar.gz到/usr/local
    $sudo tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local
    (按提示输入密码,下同)

    到/usr/local查看是否有jdk1.8.0_181目录
    $ cd /usr/local
    $ ls

    3.3、配置JDK环境变量,修改家目录下的配置文件.bashrc。
    $ sudo vim /home/hadoop/.bashrc

    然后在末尾添加如下内容,保存退出。

    export JAVA_HOME=/usr/local/jdk1.8.0_181
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH
    

    3.4、刷新配置:使配置立即生效
    $ source /home/hadoop/.bashrc

    3.5、检验是否安装成功
    $ java –version
    出现如下版本号信息为成功安装
    java版本信息

    hadoop 安装

    4.1、下载安装 Hadoop
    下载方法一(推荐使用):
    进入Apache官网http://archive.apache.org/dist/hadoop/common/
    选择对应版本的hadoop二进制(binary)压缩包,下载到windows系统目录下,再通过WinSCP工具将安装包上传至Ubuntu系统。
    下载方法二:在Ubuntu终端用wget命令直接下载至Ubuntu系统中(命令在同
    一行)。
    $wget http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
    4.2、解压安装包:解压安装包至/usr/local目录下。
    先切换至安装包目录/home/hadoop/software_tool/
    $ cd /home/hadoop/software_tool/

    解压到/usr/local目录
    $ sudo tar -xzvf hadoop-2.7.3.tar.gz -C /usr/local

    解压完成后,切换到目标目录。
    $ cd /usr/local
    $ ls

    4.3、配置 hadoop 的 java 工作环境
    修改配置文件 hadoop-env.sh。该配置文件在 hadoop 的安装目录下的 etc/hadoop目录下。
    $ cd hadoop-2.7.3/etc/hadoop/
    $ sudo vim hadoop-env.sh

    找到export JAVA_HOME,并修改为:
    The java implementation to use.

    export JAVA_HOME=/usr/local/jdk1.8.0_181
    

    4.4、把 hadoop 加入到环境变量中
    配置hadoop环境变量,修改家目录下的配置文件.bashrc。
    $ sudo vim /home/hadoop/.bashrc
    然后在末尾添加如下内容,保存退出。

    export HADOOP_HOME=/usr/local/hadoop-2.7.3
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    

    刷新配置,使配置立即生效
    $ source /home/hadoop/.bashrc

    检验 hadoop 是否安装成功。
    $ hadoop version
    输出如下版本信息,说明安装成功。

    以上单机模式已安装好。
    4.5、单机模式已安装好,运行 demo 程序。
    先修改 hadoop-2.7.3 权限
    $cd /usr/local/
    $ sudo chmod 757 hadoop-2.7.3

    在/usr/local/hadoop-2.7.3 目录下创建 input 目录
    $mkdir input

    把 etc/hadoop/下的 xml 配置文件都拷贝到 input 目录中
    $ cp etc/hadoop/*.xml input

    运行 demo 程序
    $ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce?examples-2.7.3.jar grep input output 'dfs[a-z.]+'

    查看程序的输出结果
    $ cat output/*
    至此单机模式安装和测试完成。

    配 置 方 法 可 参 考 :hadoop配置文件地址

    展开全文
  • Hadoop模式分为以下四类,本文介绍单机部署的方式 1、本地模式: 本地模式就是解压源码包,不需要做任何的配置。通常用于开发调试,或者感受hadoop。 2、伪分布模式: 在学习当中一般都是使用这种模式,伪分布...

    不记录过程的细节,只记录最直接的方法.如有问题请留言哦

    Hadoop模式分为以下四类,本文介绍单机部署的方式
    1、本地模式:

    本地模式就是解压源码包,不需要做任何的配置。通常用于开发调试,或者感受hadoop。
    

    2、伪分布模式:

    在学习当中一般都是使用这种模式,伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程,但是却还是运行在同一个系统里面。所以叫伪分布式。
    

    3、完全分布式:

    这种模式才是工作当中所用的模式,hadoop运行在多台机器上面,我们称之为hadoop集群。
    

    4、HA:

    在实际的工作当中,对于hadoop完全分布式来说,并不真正的可靠,因为hadoop完全分布式集群会有单点故障(namenode单点故障、yarn单点故障),所以一般都会对这个集群做HA,一般都是做namenode和yarn的高可用
    

    首先必须要安装好Hadoop,可以参考Ubuntu下安装Hadoop

    1.设置好本地ssh访问不需要密码

    因为Hadoop启动的时候会通过ssh访问,不设置的话每次都要输入两次密码,很麻烦
    先安装ssh

    sudo apt-get install ssh | sudo  apt-get install sshopen-server
    

    生成key, -P是指指定密码 这里设置为’’,就是没有密码
    输入后回车

    ssh-keygen -t rsa -P ''
    

    如果是root用户,就把公钥放到/root/.ssh/
    如果是其他用户的话把公钥放到/home/用户/.ssh下
    我这里是第二种情况,我的用户是ubuntu

    cat /home/ubuntu/.ssh/id_rsa.pub >> authorized_keys
    

    测试一下是否成功配置

    ssh 你的本机名
    ssh localhost
    

    第一次输入他会提示你,输入yes回车就好了

    Welcome to Ubuntu 16.04.5 LTS (GNU/Linux 4.4.0-130-generic x86_64)
    

    2.Hadoop的core-site.xml

    这是我hadoop的文件夹 /usr/lib/hadoop-2.7.7/,需要加上读写权限

    vi /usr/lib/hadoop-2.7.7/etc/hadoop/core-site.xml 
    

    在文件最后一行输入

    <configuration>
            <property>
                 <name>hadoop.tmp.dir</name>
                 <value>file:/usr/lib/hadoop-2.7.7/tmp</value>
                 <description>Abase for other temporary directories.</description>
            </property>
            <property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://localhost:9000</value>
            </property>
    </configuration>
    

    hadoop.tmp.dir指临时目录设定
    fs.defaultFS指缺省的文件URI标识设定

    3.Hadoop的hdfs-site.xml

    vi /usr/lib/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
    

    最后一行加入

    <configuration>
            <property>
                 <name>dfs.replication</name>
                 <value>1</value>
            </property>
            <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/usr/lib/hadoop-2.7.7/data/name</value>
            </property>
            <property>
                 <name>dfs.datanode.data.dir</name>
                 <value>file:/usr/lib/hadoop-2.7.7/data/data</value>
            </property>
    </configuration>
    

    dfs.replication指块复制数量
    dfs.namenode.name.dir指namenode存放数据的目录
    dfs.datanode.data.dir指datanode存放数据的目录

    4.Hadoop的mapred-site.xml

    进入到Hadoop配置文件目录下,查看有没有mapred-site.xml

    cd /usr/lib/hadoop-2.7.7/etc/hadoop/
    

    如果没有,则把mapred-site.xml.template重命名成mapred-site.xml

    mv mapred-site.xml.template mapred-site.xml
    

    修改文件

    vi /usr/lib/hadoop-2.7.7/etc/hadoop/mapred-site.xml
    

    然后在文件最后一行加入

    <configuration>
            <property>
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
            </property>
    </configuration>
    

    5.Hadoop的yarn-site.xml

    修改yarn.site.xml

    vi /usr/lib/hadoop-2.7.7/etc/hadoop/yarn-site.xml
    

    在最后一行加入

    <configuration>
            <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
                </property>
    </configuration>
    

    6.启动Hadoop

    进入到Hadoop目录下的sbin目录,

    cd /usr/lib/hadoop-2.7.7/sbin
    

    启动Hadoop

    start-all.sh
    

    在这里插入图片描述
    提示localhost:starting nodemanager,则启动成功了

    jps
    

    用jps 查看java进程
    在这里插入图片描述
    结束.

    展开全文
  • 单机模式Hadoop的默认模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认...
  • title: Hadoop单机模式/伪分布式搭建 date: 2020-03-18 23:34:17 tags: Hadoop Hadoop单机模式/伪分布式搭建 准备 Hadoop三种安装模式简介 Hadoop共有三种安装模式可以使用:单机模式、伪分布式、完全分布式 1....
  • 安装Hadoop4.使用MapReduce 配置环境 CentOS7 Hadoop-3.2.2 1.安装ssh yum -y install openssh-server 验证ssh是否是免密登录 需要输入密码,所以我们要配置ssh免密登录,输入命令: ssh-keygen -t rsa -P '' ...
  • hadoop单机模式安装流程 这里的安装是在Linux系统上安装的 参考博客 : https://blog.csdn.net/cafebar123/article/details/73500014 https://blog.csdn.net/bingduanl...
  • 一.Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop ...
  • Linux配置Hadoop单机模式 一、准备工作 一台装有CentOS 7 的虚拟机并且要能远程连接 JDK和Hadoop的安装包 两个软件 Xshell 和Xftp(或filezilla) 1.首先,将JDK和Hadoop的安装包通过Xftp传入虚拟机 当然也...
  • Hadoop单机模式配置

    2017-12-05 14:14:31
    1.在ubuntu下创建hadoop用户,并添加到系统用户: (命令如下) sudo addgroup hadoop sudo adduser --ingroup hadoop hadoop 2.给新添加的账户hadoop添加权限:打开/etc/sudoers文件,在root ALL=(ALL:ALL) ...
  • Hadoop单机模式部署 - CentOS(结尾附视频)

    千次阅读 多人点赞 2020-06-17 11:43:57
    本文关键字:Hadoop单机模式、安装部署、CentOS。Hadoop软件库是一个计算框架,可以使用简单的编程模型以集群的方式对大型数据集进行分布式处理。
  • 五、安装配置hadoop单机版 一、前言 配置环境:阿里云服务器Centos hadoop版本:2.6.5 博客亲测有效,配置过程中借鉴了一些文章,文后会给出链接,侵删,希望能帮到大家,谢谢~ 二、配置java环境 1、查看...
  • centos7 hadoop 单机模式安装配置

    万次阅读 2018-05-07 22:31:48
    由于现在要用spark,而学习spark会和hdfs和hive打交道,之前在公司服务器配的分布式集群,离开公司之后,自己就不能用了,后来用ambari搭的三台虚拟机的集群太卡了,所以就上网查了一下hadoop+hive的单机部署,以便...
  • Mac下Hadoop单机模式安装

    千次阅读 2019-01-28 11:49:06
    一、安装Hadoop 1、配置ssh 配置ssh就是为了能够实现免密登录,这样方便远程管理Hadoop并无需登录密码在Hadoop集群上共享文件资源。 如果机子没有配置ssh的话,在命令终端输入ssh localhost是需要输入你的电脑登录...
  • hadoop单机模式、伪分布式和分布式

    千次阅读 2019-05-28 11:14:21
    单机模式 建立用户,设置密码(密码此次设置为redhat) [root@server1 ~]# useradd -u 1000 hadoop [root@server1 ~]# passwd hadoop 2.hadoop的安装配置 [root@server1 ~]# mv hadoop-3.0.3.tar.gz jdk-8u...
  • 单机模式:安装简单,几乎不用做任何配置,但仅限于调试用途; 伪分布模式:在单节点上同时启动 NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode 等 5 个进程,模拟分布式运行的各个节点; 完全...
  • Hadoop单机伪分布式环境搭建步骤 本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04,Ubuntu16.04 也行,32位、64位均可) Hadoop版本 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,...
  • 第二部分 配置Hadoop单机模式 1.1安装并配置 ssh,Hadoop是采用ssh通信,安装ssh,执行命令: 安装成功之后,启动ssh服务,执行ps -e | grep ssh查看服务启动: sshd服务没有启动,关于这个...
  • hadoop单机模式部署

    2019-05-01 23:33:53
    hadoop单机模式部署 1、下载hadoop安装包 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 2、解压安装包 tar zxvf hadoop-3.2.0.tar.gz 3、配置hadoop的环境变量 用vi /etc/...
  • Hadoop单机模式中Hive安装配置

    千次阅读 2016-09-29 17:49:59
    本文主要是演示在Hadoop单机模式中Hive默认(嵌入式derby 模式)安装配置过程,目录结构如下: 基础环境Hive安装配置启动及演示 [一]、基础环境 Mac OSX 10.9.1Java 1.6+ Hadoop 2.2.0 (安装配置详见: ...
  • 所以说这里一定要写一下了,由于之前偷懒,在没有运行hadoop自带的jar包的情况下就配置了hadoop的core-site.xml和hdfs-site.xml导致单机模式运行hadoop就会出现connection refused的错误,因此将以前配置的内容删除...
  • 搭建hadoop单机模式

    2020-04-17 22:45:39
    vmware workstation pro ubuntu 16.04 hadoop 2.6.0
  • 单机模式配置   mkdir input cp ./etc/hadoop/*xml ./input   // 将配置文件复制到 input 目录下 ./bin/hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-examples------- jar grep ./input./output 'dfs[a-z...
  • Hadoop单机模式和伪分布式搭建教程CentOS

    万次阅读 多人点赞 2015-12-26 22:25:46
    首先说明一下:采用的是新装的CentOS的环境,利用xshell进行远程操作来搭建Hadoop单机模式,伪分布式和完全分布式的文档。环节都是一环套一环,有先后顺序存在。本人是在win8.1 64位系统环境下,并且安装的Cent OS...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 23,587
精华内容 9,434
关键字:

hadoop单机模式