精华内容
下载资源
问答
  • HBase集群搭建

    2016-10-25 10:40:41
    HBase集群搭建
  • hbase 集群搭建

    2021-03-11 10:31:56
    hbase 集群搭建1、安装步骤1.1、安装 zookeeper 集群1.2、下载/解压 hbase1.3、修改配置文件1.3.1、hbase-env.sh1.3.2、hbase-site.xml1.3.3、regionservers1.3.4、backup-masters1.4、hadoop 配置文件分发 hbase1.5...

    1、安装步骤

    1.1、安装 zookeeper 集群

    点击进入 安装 zookeeper 集群

    1.2、下载/解压 hbase

    (1)找到官网下载 hbase 安装包 hbase-1.2.6-bin.tar.gz,这里给大家提供一个下载地址:
    http://mirrors.hust.edu.cn/apache/hbase/

    对应版本的官方文档:
    http://hbase.apache.org/1.2/book.html

    (2)下面这是本人使用的版本 hbase-1.6.0-bin.tar.gz(hbase-1.6.0-src.tar.gz) ,里面也有 1.2.6 版本文件:
    链接:https://pan.baidu.com/s/1KEAE8UpIDHG9egP51zPsoQ
    提取码:pyf3

    (3)上传安装包到服务器,并解压到对应的安装目录:

    tar -zxvf hbase-1.2.6-bin.tar.gz -C /home/hadoop/apps/
    

    1.3、修改配置文件

    进入 Hbase 解压目录中配置文件目录下,Linux 下 pwd 命令查看当前所在全路径:

    cd /home/hadoop/apps/hbase-1.2.6/conf
    

    1.3.1、hbase-env.sh

    (1)编辑文件:

    vi hbase-env.sh
    

    (2)修改这两个地方:

    # 表示修改为自己的 jdk 目录
    export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_73
    # 表示不引用 hbase 自带的 zookeeper,用我们自己安装的
    export HBASE_MANAGES_ZK=false
    

    (3)Linux下 vi / vim 编辑命令 :wq 保存退出。

    1.3.2、hbase-site.xml

    (1)编辑文件:

    vi hbase-site.xml
    

    (2)增加以下配置:

    <configuration>
    	<property>
    		<!-- 指定 hbase 在 HDFS 上存储的路径 -->
    		<name>hbase.rootdir</name>
    		<value>hdfs://myha01/hbase</value>
    	</property>
    	<property>
    		<!-- 指定 hbase 是分布式的 -->
    		<name>hbase.cluster.distributed</name>
    		<value>true</value>
    	</property>
    	<property>
    		<!-- 指定 zk 的地址,多个用“,”分割 -->
    		<name>hbase.zookeeper.quorum</name>
    		<value>hadoop03:2181,hadoop04:2181,hadoop05:2181</value>
    	</property>
    </configuration>
    

    (3)保存退出。

    1.3.3、regionservers

    (1)编辑文件:

    vi regionservers
    

    (2)修改添加节点信息:

    hadoop02
    hadoop03
    hadoop04
    hadoop05
    

    1.3.4、backup-masters

    (1)修改 backup-masters(自行创建),指定备用的主节点,该文件是不存在的,先自行创建:

    vi backup-masters
    

    (2)添加备用的主节点地址:

    hadoop05
    

    1.4、hadoop 配置文件分发 hbase

    此步是最重要一步,要把 hadoop 的 hdfs-site.xmlcore-site.xml 放到 hbase-1.2.6/conf 下:

    cp ~/apps/hadoop-2.7.5/etc/hadoop/core-site.xml ~/apps/hbase-1.2.6/conf/
    cp ~/apps/hadoop-2.7.5/etc/hadoop/hdfs-site.xml ~/apps/hbase-1.2.6/conf/
    
    

    1.5、 hbase 分发安装到各节点

    scp -r /home/hadoop/apps/hbase-1.2.6 hadoop@hadoop03:/home/hadoop/apps/
    scp -r /home/hadoop/apps/hbase-1.2.6 hadoop@hadoop04:/home/hadoop/apps/
    scp -r /home/hadoop/apps/hbase-1.2.6 hadoop@hadoop05:/home/hadoop/apps/
    
    

    1.6、同步时间

    HBase 集群对于时间的同步要求的比 HDFS 严格,所以,集群启动之前千万记住要进行时间同步,要求相差不要超过 30s。

    查看时间:

    # 第一种
    date
    # 第二种
    date -R
    # 第三种
    date "+%Y-%m-%d %H:%M:%S"
    

    修改时区:

    # 第一种
    sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
    # 第二种
    sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
    

    自动更新时间:

    # 第一种
    sudo ntpdate ntp.aliyun.com 
    # 第二种
    sudo ntpdate ntp.sjtu.edu.cn 
    

    1.7、 配置环境变量

    (1)编辑环境配置文件(想用哪种配置方式就随意):

    # 第一种
    vi ~/.bashrc
    # 第二种
    vi /etc/profile
    

    (2)添加两行:

    export HBASE_HOME=/home/hadoop/apps/hbase-1.2.6
    export PATH=$PATH:$HBASE_HOME/bin
    

    (3)保存退出!!!
    (4)别忘了使配置生效,执行:

    # 第一种
    source ~/.bashrc
    # 第二种
    source /etc/profile
    

    2、集群启动

    启动顺序别搞错了!!!!!!

    2.1、启动 zookeeper 集群

    在每个节点上都执行启动命令:

    zkServer.sh start
    

    2.2、启动 hdfs 集群

    在 hdfs 集群 namenode 节点机器(HA 集群的话选其中一个 namenode 节点就可以了) 上执行启动命令:

    start-dfs.sh
    

    2.3、 启动 hbase 集群

    保证 ZooKeeper 集群和 HDFS 集群启动正常的情况下启动 HBase 集群,除了在配置的备用主节点 hadoop05 上启动之外,其余节点都可以启动(一个节点执行就可以了),启动命令:

    start-hbase.sh
    

    在这里插入图片描述
    观看启动日志可以看到:
    (1)首先在命令执行节点启动 master;
    (2)然后分别在 hadoop02,hadoop03,hadoop04,hadoop05 启动 regionserver;
    (3)然后在 backup-masters 文件中配置的备用主节点 hadoop05 上再启动一个 master 主进程。

    2.4、 验证集群

    (1)检查各进程是否启动正常:主节点和备用节点都启动 HMaster 进程,各从节点都启动 HRegionServer 进程。
    在这里插入图片描述
    按照对应的配置信息各个节点应该要启动的进程如上图所示。

    (2)通过访问浏览器页面,格式为”主节点:16010”:
    http://hadoop02:16010/

    (3)如果有节点相应的进程没有启动,那么可以手动启动:

    hbase-daemon.sh start master
    hbase-daemon.sh start regionserver
    
    展开全文
  • hbase集群搭建

    2019-09-24 14:56:16
    内存:region服务器和blockcache需要内存无上限,hbase master server 2GB,hbase region server 16GB 磁盘:服务器需要大量存储空间,1TB或2TB,可以根据数据规模及操作挂载磁盘 Java:1.7以上版本对hbase支持较好 ...

    一、规划
    硬件
    内存:region服务器和blockcache需要内存无上限,hbase master server 2GB,hbase region server 16GB
    磁盘:服务器需要大量存储空间,1TB或2TB,可以根据数据规模及操作挂载磁盘
    Java:1.7以上版本对hbase支持较好
    二、安装
    1、上传安装包到bdmaster节点的/home/hadoop/app目录下,并解压安装;使用mv hbase-1.1.2 hbase重新命名文件夹,然后移除安装文件。
    2、建立软连接 ln -s hbase-1.1.2 hbase
    3、配置hbase配置文件,配置文件在/hbase/conf/目录下,主要配置
    Hbase-env.sh
    在这里插入图片描述
    在这里插入图片描述
    Hbase-site.xml
    在这里插入图片描述
    Regionservers
    在这里插入图片描述
    Backup-masters
    在这里插入图片描述

    4、将hdfs的配置文件hdfs-site.xml、core-site.xml拷贝到master节点的hbase配置文件目录下
    5、将hbase文件夹分发到其他两个节点
    6、分别在各个节点创建hbase的日志及进程文件夹,/home/hadoop/data/hbase/logs,/home/hadoop/data/hbase/pids(如步骤3中hbase-env.sh中配置的目录)
    7、启动集群:先启动zookeeper,再启动hdfs,再启动hbase

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    8、Web验证
    在这里插入图片描述

    展开全文
  • HBase集群搭建教程

    2020-05-06 20:51:16
    本文以hbase-1.6.0为例来分享一下Centos6上的HBase集群的部署流程。实验环境使用三个节点: node01.aries.com node02.aries.com node03.aries.com 服务分布 服务 node01 node02 node03 NameNode 是 是 否 ...

    前言

    如果对英文比较熟悉,建议直接看HBase官网

    本文以hbase-1.6.0为例来分享一下Centos6上的HBase集群的部署流程。实验环境使用三个节点:

    node01.aries.com
    node02.aries.com
    node03.aries.com
    

    服务分布

    服务node01node02node03
    NameNode
    DataNode
    HMaster
    RegionServer
    ZooKeeper
    Journalnode

    正常的HBase集群的部署流程是先搭建zookeeper集群,然后搭建HDFS集群,再部署HBase集群。关于如何部署zookeeper集群和HDFS集群可以参考ZooKeeper集群搭建教程HDFS HA高可用集群搭建教程,这里不做赘述。

    下载安装

    # 下载HBase
    wget http://us.mirrors.quenda.co/apache/hbase/1.6.0/hbase-1.6.0-bin.tar.gz
    # 解压
    tar -zxvf hbase-1.6.0-bin.tar.gz -C /usr/local/
    

    配置修改

    hbase-env.sh

    export JAVA_HOME=/usr/local/jdk1.8.0_131
    # 如果使用已有的zookeeper集群,则不需要HBase管理zk实例
    export HBASE_MANAGES_ZK=false
    

    regionservers

    node01.aries.com
    node02.aries.com
    node03.aries.com
    

    hbase-site.xml

    <configuration>
        <!-- 指定hbase根目录,此处使用hdfs,aries为笔者的集群,读者需要与自己的hdfs-site的ha集群名称保持一致-->
    	<property>
    		<name>hbase.rootdir</name>
    		<value>hdfs://aries/hbase</value>
    	</property>
    	<!-- 使用分布式部署方案-->
    	<property>
    		<name>hbase.cluster.distributed</name>
    		<value>true</value>
    	</property>
    	<property>
    		<name>hbase.zookeeper.quorum</name>
    		<value>node01.aries.com,node02.aries.com,node03.aries.com</value>
    	</property>
    	<property>
    		<name>zookeeper.session.timeout</name>
    		<value>60000</value>
    	</property>
    	<property>
    		<name>hbase.zookeeper.property.clientPort</name>
    		<value>2181</value>
    	</property>
    	<property>
    		<name>hbase.master.info.port</name>
    		<value>60010</value>
    	</property>
    	<property>
    		<name>hbase.master.port</name>
    		<value>60000</value>
    	</property>
    </configuration>
    

    此外,需要将hadoop HA的core-site.xml和hdfs-site.xml链接到HBase的conf目录下,否则HBase无法识别HA集群,不建议直接拷贝,因为后续对hdfs配置有更新的场景不太好维护

    ln -s /usr/local/hadoop/2.10.0/etc/hadoop/core-site.xml /usr/local/hbase-1.6.0/conf/core-site.xml 
    ln -s /usr/local/hadoop/2.10.0/etc/hadoop/hdfs-site.xml /usr/local/hbase-1.6.0/conf/hdfs-site.xml 
    

    如果希望启动多个HMaster,可以在conf目录下增加backup-masters文件,添加要用做Backup Master的节点hostname。这里笔者使用node02作为备选Master。

    node02.aries.com
    

    内容分发

    接下来将配置好的部署包分发到其他节点。

    scp -p -r hbase-1.6.0 root@node02.aries.com:/usr/local
    scp -p -r hbase-1.6.0 root@node03.aries.com:/usr/local
    

    服务启动

    完成上述配置后,我们就可以启动服务了。选择一个主节点,执行

    # 选择一个主节点执行
    bin/start-hbase.sh
    # 启动后会自动启动每个节点的服务,通过jps查看HMaster和RegionServer的启动情况
    jps
    

    服务验证

    我们可以通过hbase shell来验证服务。

    # 打开hbase shell
    sh ./bin/hbase shell
    
    # ----在hbase shell操作----
    # 查看hbase状态
    status
    
    # 创建表和列族
    create 'test','cf'
    
    # 检查表是否存在
    list 'test'
    
    # 获取表描述
    describe 'test'
    
    # 添加数据
    put 'test','rowkey','cf:col','value'
    
    # 扫描表,面向单元格的形式输出每列数据
    scan 'test'
    
    # 获取某行数据
    get 'test','rowkey'
    
    # 删除单元格
    delete 'test','rowkey','cf:col'
    
    # 禁用表
    disable 'test'
    
    # 删除表
    drop 'test'
    
    # 退出shell
    quit
    

    我们也可以打开hdfs的web页面来浏览文件(即集群的50070端口),根目录下会有我们设置的hbase目录。
    HBase在HDFS中的文件目录

    展开全文
  • HBASE集群搭建过程

    千次阅读 2018-08-14 13:10:30
    安装hbase的条件: Hadoop zookeeper 开始安装: 上传、解压: 删除压缩包: 删除hbase下的docs文件 因为docs’文件中,都是html无用的文件,会严重影响传输效率 —-如果不是apache下的产品,建议不删除 ...

    安装hbase的条件:
    Hadoop zookeeper
    开始安装:
    上传、解压:
    这里写图片描述
    删除压缩包:这里写图片描述
    删除hbase下的docs文件
    因为docs’文件中,都是html无用的文件,会严重影响传输效率
    —-如果不是apache下的产品,建议不删除
    这里写图片描述
    配置环境变量:
    这里写图片描述
    打开官网:开始配置hbase的配置文件:
    这里写图片描述
    这里写图片描述
    说明:
    hbase.rootdir:hbase的数据,放到hdfs的哪个位置上存储

    hbase.cluster.distributed:集群是否开启,默认是false,我们需要修改成true

    hbase.zookeeper.quorum:关联zookeeper在哪里
    多个主句之间用,隔开
    这里写图片描述
    由安装文档可知,我们需要配置conf 下的hbase-site.xml文件:
    这里写图片描述
    这里写图片描述
    继续读官方安装文档:
    这里写图片描述
    这里写图片描述
    这里写图片描述
    —关联jdk:
    这里写图片描述
    发送安装文件到其他服务器:
    这里写图片描述
    发环境变量:
    这里写图片描述
    三台主机,同时保存环境变量
    这里写图片描述
    启动hdfs:
    启动时有数据同步过程,会进入安全模式 耐心等待数据同步完成,三个节点启动成功 50070端口查看
    这里写图片描述
    分别jps查看
    这里写图片描述
    确认dfs启动完成,再启动zookeeper
    这里写图片描述
    启动zookeeper以后,一定要查看状态
    zkServer.sh start 启动
    zkServer.sh status 查看状态
    这里写图片描述
    这里写图片描述
    **所有服务器启动zookeeper成功,所有主机选择了响应的leader和follower
    此时我们就可以启动我们的hbase

    这里写图片描述
    说明:1.zookeeper启动和hdfs没有关系,如果zookeeper启动失败,只需停止zookeeper重新启动,不需要关闭dfs
    2.hbase依赖zookeeper协调,因此必须先将zookeeper启动成功,再启动hbase
    3.zookeeper没有主从关系,需要每一台服务器逐个启动,但是hbase,只需要在中心主机启动就可以

    jps查看,中心主机go有hmaster和hregionserver节点,其他主机有hregionserver
    此时启动成功
    —————————-hbase集群搭建结束————-

    展开全文
  • Hbase集群搭建

    2021-03-17 17:13:58
    Hbase集群搭建集群搭建HBASE集群测试 集群搭建 以三台虚拟机为例 1、解压安装 上传HBASE安装包到第一台机器的/export/software目录下 cd /export/software/ 解压安装 tar -zxvf hbase-2.1.0.tar.gz -C /export/...
  • 记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢
  • 一、上传hbase安装包 cd /usr/hbase (没有hbase...三、配置hbase集群(首先zk集群要安装好,可以参考我的zk集群安装步骤) 1.先把要把hadoop的hdfs-site.xml和core-site.xml 拷贝到hbase/conf下(注意:Hadoop路径...
  • Hbase集群搭建总结

    2020-06-03 08:31:05
    注意:HBase集群建立在hadoop集群基础之上,所以在搭建HBase集群之前需要把Hadoop集群搭建起来, 搭建步骤 一.搭建Hadoop集群 参考:hadoop 分布式集群搭建 二.安装zookeeper 参考:zookeeper集群安装 三.部署...
  • 搭建Hadoop+Hbase集群

    2017-08-17 13:09:30
    通过本文档,你将掌握搭建hadoop和hbase的方法,深入浅出,易学上手快。
  • 新手Hadoop_hbase集群搭建,3台服务器节点Centos7,Hadoop2.7.4,HBase1.3.1,jdk8,zookpeer3.4.10 安装包也将上传,亲手搭建编写文档
  • HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群HBase – Hadoop Database,是一个高可靠性、高性能、面向列...
  • 数据仓库hadoop+zookeeper+hbase集群安装方法记录,自己搭建纯手写的记录。相关软件请自行下载
  • Hbase集群搭建的配置参考 如果主机足够强大10台小集群可以将Hadoop JobTrackerNameNodeSecondary NameNode配置在这台机器上但Secondary NameNode尽量不要 如果Hbase和MapReduce的负载都很重的话通常将他们分开到两个...
  • HBASE集群搭建

    2014-07-24 17:12:37
    集群搭建配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/local/jdk1.6.0_45 //告诉...
  • hbase集群搭建(四)

    2021-06-23 16:43:31
    start-hbase.sh --启动hbase集群 配置文件 hbase.env.sh <configuration> <property><!--需要和hdfs namenode端口一致--> <name>hbase.rootdir</name> <value>hdfs://my...
  • hbase 五、 集群操作 (一) hadoop监控 Hdfs 管理情况 A. master1主机 1)访问地址 http://master1:50070/ 2)页面内容 B. slave1主机 1)访问地址 http://slave1:50070/ 页面内容 MapReduce管理情况 A. sla...
  • hbase集群搭建后感悟

    2016-07-24 23:53:20
    Hbase集群搭建后感想 本次搭建的是hadoop集群生态的一个子系统,一个特殊的“数据库”,其实它是一个数据仓库。数据仓库的管理工具是Hive,这里不做引申。今天就说一说,搭建过Hbase后的感悟。   搭建hbase集群前...
  • hbase集群搭建步骤

    2019-07-03 14:02:43
    hbase集群搭建步骤 hbase完全分布式安装: 1、准备工作 1.首先集群中应该部署了Hadoop集群和zookeeper集群。 2、对每个节点之间做免密钥处理 ​ ssh-keygen ​ ssh-copy-id -i .ssh/id_rsa.pub node1 ​ 3、时间...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 25,167
精华内容 10,066
关键字:

hbase集群搭建