zookeeper 订阅
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集,提供Java和C的接口。ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在$zookeeper_home\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本。(概述图片来源: [1]  ) 展开全文
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集,提供Java和C的接口。ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在$zookeeper_home\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本。(概述图片来源: [1]  )
信息
领    域
大数据技术,分布式系统
类    别
分布式系统的可靠协调系统
特    点
高效,可靠
所    属
Hadoop的正式子项目
外文名
ZooKeeper
zookeeper原理
ZooKeeper是以Fast Paxos算法为基础的,Paxos 算法存在活锁的问题,即当有多个proposer交错提交时,有可能互相排斥导致没有一个proposer能提交成功,而Fast Paxos做了一些优化,通过选举产生一个leader (领导者),只有leader才能提交proposer,具体算法可见Fast Paxos。因此,要想弄懂ZooKeeper首先得对Fast Paxos有所了解。ZooKeeper的基本运转流程:1、选举Leader。2、同步数据。3、选举Leader过程中算法有很多,但要达到的选举标准是一致的。4、Leader要具有最高的执行ID,类似root权限。5、集群中大多数的机器得到响应并接受选出的Leader。
收起全文
精华内容
参与话题
问答
  • zookeeper

    万次阅读 2017-11-15 17:19:42
    zookeeper有配置维护、域名服务、分布式同步、组服务等这些功能,它可以通过投票选举机制选举出leader,并且在hbase中,zookeeper尤为重要,zookeeper存储了hbase的元数据,所以想要搭建hbase集群之前,必

    一、zookeeper

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。zookeeper有配置维护、域名服务、分布式同步、组服务等这些功能,它可以通过投票选举机制选举出leader,并且在hbase中,zookeeper尤为重要,zookeeper存储了hbase的元数据,所以想要搭建hbase集群之前,必须要搭建zookeeper。

    操作步骤

    1. zookeeper3.4.10下载

    zookeeper下载地址,并上传到主服务器的/opt目录下
    虽然zookeeper在我们hadoop集群的三个节点都需要安装,但我们可以先在主服务器上做好配置,然后分发到从服务器

    2. zookeeper解压并修改目录名

     # cd /opt
     # tar -xzvf zookeeper-3.4.10.tar.gz
     # mv zookeeper-3.4.10 zookeeper3.4.10
    

    3. 创建data和dataLog目录

     # mkdir /opt/zookeeper3.4.10/data                      # 创建data目录
     # mkdir /opt/zookeeper3.4.10/dataLog                # 创建dataLog目录
    

    4. 创建myid文件

     # cd /opt/zookeeper3.4.10/data
     # vim myid                  # 输入数字1,然后保存,第二个节点输入2,第三个节点输入3
    
     # chmod 777 -R /opt/zookeeper3.4.10    # 对zookeeper的目录进行授权
    

    5. 修改配置文件zoo.cfg

     # cd /opt/zookeeper3.4.10/conf
     # cp zoo_sample.cfg zoo.cfg
     # vim zoo.cfg             #在文件末尾添加如下内容
    
    dataDir=/opt/zookeeper3.4.10/data  
    dataLogDir=/opt/zookeeper3.4.10/dataLog  
    server.1=hadoop0:2888:3888  
    server.2=hadoop1:2888:3888  
    server.3=hadoop2:2888:3888  
    
     # 注hadoop0,hadoop1,hadoop2为三个节点的主机名!
    

    6. 把在主节点上修改的zookeeper分发到hadoop1和hadoop2

     # cd /opt/
     # scp -r zookeeper3.4.10  root@hadoop1:/opt/
     # scp -r zookeeper3.4.10  root@hadoop2:/opt/
    

    分发后别忘了修改data目录下的myid文件中的内容,也给从节点的zookeeper目录赋权

    7. 启动和测试集群

    分别在三台服务器上运行如下命令
     # zkServer.sh start
    

    8. 验证效果

    分别在三台服务器上运行如下命令
     # zkServer.sh status
    

    这里写图片描述

    这里写图片描述

    这里写图片描述

    查看zookeeper集群中的zookeeper节点的状态,会发现其中一个是leader,其余是follower。这就是zookeeper的投票选举机制,所以一般zookeeper为单数个节点的集群,这样投票容易一些;当然如果双数节点也可以,只是投票难度大了一些,比如6个节点的zookeeper,那么必须一个节点票数为4票及以上,才行,而不像单数个节点!

    二、注意

    安装了zookeeper集群之后,应用命令zkServer.sh start后,启动了zookeeper服务,用jps进程发现存在QuorumPeerMain进程,但是查看zookeeper状态的时候,发现报Error contacting service. It is probably not running.错误,提示服务并没有启动,那这是什么原因呢?原因可能有多种造成的,下面我们来分析一下。

    操作步骤

    报错提示如下:

    这里写图片描述

    1. 查看zoo.cfg文件

    查看最后添加的内容,server后面的数字为data目录下myid中的数字,hadoop0,hadoop1,hadoop2为自己的主机名!

     # vim /opt/zookeeper3.4.10/conf/zoo.cfg
     
     dataDir=/opt/zookeeper3.4.10/data  
     dataLogDir=/opt/zookeeper3.4.10/dataLog  
     server.1=hadoop0:2888:3888  
     server.2=hadoop1:2888:3888  
     server.3=hadoop2:2888:3888
    

    2. 查看data目录中的myid文件

    如果myid文件中的数字不和zoo.cfg中的数字对应,也会造成错误!

    # vim /opt/zookeeper3.4.10/data/myid
    

    我当时就是把数字搞错了,第一个myid中的数字为1,第二个myid中的数字为2,第三个myid中的数字还是写的2,最后导致第三个服务器的zookeeper老是报错,排查了一会!

    3. 查看防火墙是否关闭

     # systemctl stop firewalld.service
     # systemctl disable firewalld.service
    
    展开全文
  • ZooKeeper

    千次阅读 2019-05-09 21:04:31
    1. ZooKeeper 开源的分布式的协调服务,是Google的Chubby一个开源的实现,它是一个为分布式应用提供一致性服务的软件 2. ZooKeeper提供的功能 配置维护 域名服务 分布式锁 组服务 3. ZooKeeper的特点 简单 ...

    1. ZooKeeper

    开源的分布式的协调服务,是Google的Chubby一个开源的实现,它是一个为分布式应用提供一致性服务的软件

    2. ZooKeeper提供的功能

    • 配置维护
    • 域名服务
    • 分布式锁
    • 组服务

    3. ZooKeeper的特点

    • 简单

      • ZooKeeper的核心是一个精简的文件系统 ,它支持一些简单的操作和一些抽象操作
    • 丰富

      • ZooKeeper的操作是很丰富的,可实现一些协调数据结构和协议。例如,分布式队列、分布式锁和一组同级别节点中的“领导者选举”
    • 高可靠

      • ZooKeeper支持集群模式,可以很容易的解决单点故障问题
    • 松耦合交互

      • 不同进程间的交互不需要了解彼此,甚至可以不必同时存在,某进程在ZooKeeper中留下消息后,该进程结束后其它进程还可以读这条消息
    • 资源库

      • ZooKeeper实现了一个关于通用协调模式的开源共享存储库,能使开发者免于编写这类通用协议

    4. ZooKeeper的角色

    • leader(领导者)

      • 负责进行投票的发起和决议,更新系统状态
    • learner (学习者)

      • 包括跟随者(follower)和观察者(observer),follower用于接

        受客户端请求并向客户端返回结果,在选举过程中参与投票。Observer可以接受客户端连接,

        将写请求转发给leader,但observer不参与投票过程,只同步leader的状态,observe r的

        目的是为了扩展系统,提高读取速度

    • 客户端(client)

      • 请求发起方

    5. ZooKeeper数据模型

    • 层次化的目录结构,命名符合常规文件系统规范
    • 每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识
    • 节点znode可以包含数据和子节点,但是EPHEMERAL类型的节点不能有子节点
    • znode中的数据可以有多个版本,比如某一个路径下存有多个数据版本,那么查询这个路径下的数据就需要带上版本
    • 客户端应用可以在节点上设置监视器
    • 节点不支持部分读写,而是一次性完整读写

    6. ZooKeeper的节点

    • zookeeper中的节点包含下面两个类型的节点

      • 临时节点(ephemeral)
      • 持久节点(persistent)

      znode的类型在创建时确定并且之后不能再修改

      znode默认不指定类型是持久节点

    • ephemeral类型的节点

      • 在节点客户端会话结束时,会将zookeeper中的节点删除
      • 不能有子节点
    • persistent节点不依赖与客户端会话,只有当客户端明确要删除该persistent节点时才会被删除

    • ZooKeeper的客户端和服务器通信采用长连接方式 ,每个客户端和服务器通过心跳来保持连接,这个连接状态称之为session ,如果znode是临时节点,这个seesion失效,znode也就删除了

    7. ZooKeeper中的选举机制

    • 服务器的ID

      • 分别1,2,3
      • 编号越大在选择算法中的权重越大
    • 数据的ID

      • 服务器中存放的最大数据ID.
      • 值越大说明数据越新,在选举算法中数据越新权重越大
    • 编辑时钟

      • 投票的次数
      • 同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加,然后与接收到的其它服务器返回的投票信息中的数值相比,根据不同的值做出不同的判断
    • 选举状态

      • LOOKING,竞选状态。
      • FOLLOWING,随从状态,同步leader状态,参与投票。
      • OBSERVING,观察状态,同步leader状态,不参与投票。
      • LEADING,领导者状态。
    • 选举信息的内容

      ​ 在投票完成后,需要将投票信息发送给集群中的所有服务器,它包含如下内容。

      • 服务器ID
      • 数据ID
      • 逻辑时钟
      • 选举状态
    • 选举机制的结果

      • zk启动之后通过选举机制,来选举出来一个leader

    8. ZooKeeper集群搭建

    安装zookeeper集群要求大于1的奇数台机器

    8.1 准备安装包

    zookeeper-3.4.6.tar.gz

    8.2 解压

    tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/

    8.3 重命名

    mv zookeeper-3.4.6/ zookeeper

    8.4 配置环境变量

    vim /etc/profile
    export ZOOKEEPER_HOME=/opt/zookeeper
    export PATH=$PATH:$ZOOKEEPER_HOME/bin
    
    • 发送环境变量给其他主机
    scp /etc/profile mini02:/etc/
    scp /etc/profile mini03:/etc/
    scp /etc/profile mini04:/etc/
    scp /etc/profile mini05:/etc/
    
    • 使环境变量生效
    source /etc/profile
    

    8.5 配置zookeeper

    • 拷贝一份
        cp zoo_sample.cfg zoo.cfg
    
    • 在zookeeper下创建data
       mkdir data
    
    • 编辑文件 :
    vim conf/zoo.cfg
    dataDir=/opt/zookeeper/data 
    
    • 发送到mini03
    scp -r /opt/zookeeper/ mini03:/opt/
    

    8.6 myid文件

    在zookeeper的各个机器中分别创建myid文件(/opt/zookeeper/data ),内容分别为1 2 3

    vim myid
    或者
    echo 1 > myid
    

    8.7 配置zoo.cfg

    server.1=mini03:2888:3888
    server.2=mini04:2888:3888
    server.3=mini05:2888:3888
    
    • 发送到其他主机
    scp zoo.cfg mini04:/opt/zookeeper/conf/
    scp zoo.cfg mini05:/opt/zookeeper/conf/
    

    8.8 查看zookeeper集群的时间

    保证zookeeper 集群中的时间不能有超过20秒的误差

    ntpdate -u ntp.api.bz 根据时间同步服务器同步时间,-u是绕过防火请

    8.9 启动zookeeper服务

    zkServer.sh start

    9. ZooKeeper

    9.1 zookeeper的Shell操作

    • zkCli.sh -server mini05:2181 :进入

    • create znodename data :创建znode

    • get znodename :查看znode

    • set znodename data : 修改znode的数据

    • rmr znodename : 删除znode节点

    • quit :退出会话

    • delete : 删除节点

    • setquota -b 长度配额 :设置节点长度配额

    • setquota -n 数量配额 :设置节点数量配额

    • listquoat path : 列出配额

    • delquota path :删除配额

      • zookeeper中的配额管理超出配额的大小之后依然可以进行操作
    • create -e znode :创建临时节点

      • 临时节点不能创建子节点
      • 临时节点可以有数据
      • 临时节点会话结束时会自动删除

    9.2 zookeeper原生的API操作

    package com.mini.bigdata.zookeeper;
    
    import org.apache.zookeeper.*;
    import org.junit.After;
    import org.junit.Before;
    import org.junit.Test;
    
    public class ZookeeperTest {
        private ZooKeeper zooKeeper;
    
        @Before
        public void init() throws Exception {
            String connStr = "mini03:2181,mini04:2181,mini05:2181";
            zooKeeper = new ZooKeeper(connStr, 3000, new Watcher() {
                @Override
                public void process(WatchedEvent watchedEvent) {
                    System.out.println("watch..." + watchedEvent.getType());
                }
            });
        }
    
        /**
         * 创建节点
         */
        @Test
        public void testCreateZNode() throws Exception {
            String path = "/test01";
            zooKeeper.exists(path, true);
            String ret = zooKeeper.create(path, "HELLO2".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
            System.out.println(ret);
        }
    
        @Test
        public void testSetZnode() throws KeeperException, InterruptedException {
            zooKeeper.setData("/test02", "mini02".getBytes(), 1);
        }
    
    
        @Test
        public void testGetZnode() throws KeeperException, InterruptedException {
            byte[] data = zooKeeper.getData("/test02", true, null);
            System.out.println(new String(data, 0, data.length));
        }
    
        @Test
        public void testDeleteZnode() throws KeeperException, InterruptedException {
            zooKeeper.delete("/test02", -1);
        }
    
        @After
        public void destory() throws Exception {
            zooKeeper.close();
        }
    }
    
    • 实现注册监听的方法

      • exists
      • getData
      • getChild
    • 事件的类型

      • NodeCreated
      • NodeDeleted
      • NodeDataChanged

    10 ZooKeeper客户端神器Curator

    • Netflix公司开源的一套Zookeeper客户端框架
    • 封装了原生的zookeeper的API操作
    • apache的顶级项目
    • 基于Fluent的编程风格(链式编程)
    • Curator有2.x.x和3.x.x两个系列的版本,支持不同版本的Zookeeper。其中Curator 2.x.x兼容Zookeeper的3.4.x和3.5.x。而Curator 3.x.x只兼容Zookeeper 3.5.x,并且提供了一些诸如动态重新配置、watch删除等新特性
    • 推荐使用curator2.x的版本

    11 Curator中的组件

    名称 描述
    Recipes Zookeeper典型应用场景的实现,这些实现是基于Curator Framework。
    Framework Zookeeper API的高层封装,大大简化Zookeeper客户端编程,添加了例如Zookeeper连接管理、重试机制等。
    Utilities 为Zookeeper提供的各种实用程序。
    Client Zookeeper client的封装,用于取代原生的Zookeeper客户端(ZooKeeper类),提供一些非常有用的客户端特性。
    Errors Curator如何处理错误,连接问题,可恢复的例外等。

    12 依赖POM

    <dependency>
        <groupId>org.apache.curator</groupId>
        <artifactId>curator-recipes</artifactId>
        <version>2.12.0</version>
    </dependency>
    

    package com.mini.bigdata.zookeeper;
    import org.apache.curator.framework.CuratorFramework;
    import org.apache.curator.framework.CuratorFrameworkFactory;
    import org.apache.curator.retry.RetryForever;
    import org.junit.Before;
    import org.junit.Test;
    public class CuratorTest {
        public String connStr = "mini03:2181,mini04:2181,mini05:2181";
        private CuratorFramework zkClient;
    
        @Before
        public void init() {
            zkClient = CuratorFrameworkFactory.newClient(connStr, new RetryForever(6000));
            zkClient.start();
        }
    
        /**
         * 创建空节点(其实不是空节点,是给节点默认设置了ip地址)
         *
         * @throws Exception
         */
        @Test
        public void createZnode() throws Exception {
            zkClient.create().forPath("/test03");
        }
    
        @Test
        public void createZnode1() throws Exception {
            zkClient.create().forPath("/test02", "h".getBytes());
        }
    
    
        @Test
        public void deleteZnode() throws Exception {
            zkClient.delete().deletingChildrenIfNeeded().forPath("/test02");
        }
    
        @Test
        public void setZnode() throws Exception {
            zkClient.setData().forPath("/test03");
        }
    
        @Test
        public void getZnode() throws Exception {
            byte[] bytes = zkClient.getData().forPath("/test03");
            System.out.println(new String(bytes, 0, bytes.length));
        }
    }
    

    10.4 Curator的监听器

    • PathChildrenCache(监听一级子节点的改变)
      • 监听的节点如果不存在则会自动创建一个
      • 监听的节点如果途中被删除了,那么监听器则无效了
    • NodeCache(当前节点的的改变)
      • 节点的改变(节点的添加也属于节点的改变)
      • 节点的删除
    • TreeCache(当前节点以及后代节点的改变)
    10.4.1 NodeCache监听器
    String conn = "mini03:2181,mini05:2181,mini04:2181";
            RetryNTimes retryNTimes = new RetryNTimes(3,3000);
            //建立链接
            CuratorFramework curatorFramework = CuratorFrameworkFactory.newClient(conn, retryNTimes);
            curatorFramework.start();
            //创建监听器
            NodeCache nodeCache = new NodeCache(curatorFramework, "/tes01");
            //启动监听器
            nodeCache.start();
    
    nodeCache.getListenable().addListener(new NodeCacheListener() {
        @Override
        public void nodeChanged() throws Exception {
            if (nodeCache.getCurrentData() == null) {
                System.out.println("删除了节点...."+path);
            } else {
                System.out.println("节点改变.." + "路径为:" + nodeCache.getCurrentData().getPath() + "数据为:" + new String(nodeCache.getCurrentData().getData()));
            }
        }
    });
    Thread.sleep(Integer.MAX_VALUE);
    curatorFramework.close();
    
    10.4.2 PathChildrenCache监听器
    String connStr = "mini03:2181,mini04:2181,mini05:2181";
    RetryPolicy retryPolicy = new RetryNTimes(3, 3000);
    CuratorFramework zkClient = CuratorFrameworkFactory.newClient(connStr, retryPolicy);
    zkClient.start();
    String path = "/test01";
    //创建监听监听器
    PathChildrenCache pathChildrenCache = new PathChildrenCache(zkClient, path, true);
    pathChildrenCache.start();
    pathChildrenCache.getListenable().addListener(new PathChildrenCacheListener() {
        @Override
        public void childEvent(CuratorFramework client, PathChildrenCacheEvent event) throws Exception {
            System.out.println("一级子节点改变.."+event.getData()+ event.getType());
        }
    });
    Thread.sleep(Integer.MAX_VALUE);
    zkClient.close();
    
    展开全文
  • Zookeeper

    万次阅读 2019-04-01 21:21:37
    Zookeeper

    主页:https://zookeeper.apache.org/ 


    1 Zookeeper默认的几个端口号

    • 2888:Leader 和 Follower 之间通信的端口号。
    • 3888:是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
    • 2181:clientPort 客户端连接端口,用于监听客户端连接的端口,客户端连接集群就需要访问这个端口。

    2 Zookeeper入门

    2.1 概述

    Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。

    2.2 特点

    1. Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群。
    2. 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。 
    3. 全局数据一致:每个server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。 
    4. 更新请求顺序进行,来自同一个Client的更新请求按其发送顺序依次执行。 
    5. 数据更新原子性,一次数据更新要么成功,要么失败。 
    6. 实时性,在一定时间范围内,Client能读到最新数据。 

    2.3 数据结构

    ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。

    2.4 应用场景

    提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

     

    2.5 下载地址 

    官网首页:https://zookeeper.apache.org/


    3 Zookeeper安装

    3.1 本地模式安装部署

    3.1.1 安装前准备

    (1)安装Jdk

    (2)拷贝Zookeeper安装包到Linux系统下

    (3)解压到指定目录

    [atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

    3.1.2 配置修改

    (1)将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg。

    [atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

     (2)打开zoo.cfg文件,修改dataDir路径。

    [atguigu@hadoop102 zookeeper-3.4.10]$ vim zoo.cfg

     修改如下内容:

    dataDir=/opt/module/zookeeper-3.4.10/zkData

    (3)在/opt/module/zookeeper-3.4.10/这个目录上创建zkData文件夹

    [atguigu@hadoop102 zookeeper-3.4.10]$ mkdir zkData

    注:这里必须手动创建,和 hdfs 不同,hdfs 里面的配置不需要手动创建。

    3.1.3 操作Zookeeper

    (1)启动Zookeeper

    [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start

     (2)查看进程是否启动

    [atguigu@hadoop102 zookeeper-3.4.10]$ jps
    4020 Jps
    4001 QuorumPeerMain

    (3)查看状态

     [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: standalone

     (4)启动客户端

    [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkCli.sh

     (5)退出客户端

    [zk: localhost:2181(CONNECTED) 0] quit

     (6)停止Zookeeper

     [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh stop

    3.2 配置参数解读

    Zookeeper中的配置文件zoo.cfg中参数含义解读如下

    1.tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒

    Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。

    它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

    2.initLimit =10:LF初始通信时限

    集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限。

    3.syncLimit =5:LF同步通信时限

    集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。

    4.dataDir:数据文件目录+数据持久化路径

    主要用于保存Zookeeper中的数据。

    5.clientPort =2181:客户端连接端口

    监听客户端连接的端口。 


    4 Zookeeper内部原理

    4.1 选举机制(面试重点)

    1)半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。

    2)Zookeeper虽然在配置文件中并没有指定MasterSlave但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的。

    3)以一个简单的例子来说明整个选举的过程。

    假设有五台服务器组成的Zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。假设这些服务器依序启动,来看看会发生什么,下图所示。

    (1)服务器1启动,此时只有它一台服务器启动了,它发出去的报文没有任何响应,所以它的选举状态一直是LOOKING状态。

    (2)服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1、2还是继续保持LOOKING状态。

    (3)服务器3启动,根据前面的理论分析,服务器3成为服务器1、2、3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的Leader。

    (4)服务器4启动,根据前面的分析,理论上服务器4应该是服务器1、2、3、4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3,所以它只能接收当小弟的命了。

    (5)服务器5启动,同4一样当小弟。

    4.2 节点类型

    4.3 Stat结构体

    1)czxid-创建节点的事务zxid

    每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。

    事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。

    2)ctime - znode被创建的毫秒数(从1970年开始)

    3)mzxid - znode最后更新的事务zxid

    4)mtime - znode最后修改的毫秒数(从1970年开始)

    5)pZxid-znode最后更新的子节点zxid

    6)cversion - znode子节点变化号,znode子节点修改次数

    7)dataversion - znode数据变化号

    8)aclVersion - znode访问控制列表的变化号

    9)ephemeralOwner- 如果是临时节点,这个是znode拥有者的session id。如果不是临时节点则是0。

    10)dataLength- znode的数据长度

    11)numChildren - znode子节点数量

    4.4 监听器原理(面试重点)

    4.5 写数据流程


    5 Zookeeper实战(开发重点) 

    5.1 分布式安装部署

    5.1.1 集群规划

    在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

    5.1.2 解压安装

    (1)解压Zookeeper安装包到/opt/module/目录下

    [atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

     (2)同步/opt/module/zookeeper-3.4.10目录内容到hadoop103、hadoop104

    [atguigu@hadoop102 module]$ xsync zookeeper-3.4.10/

    5.1.3 配置服务器编号

    (1)在/opt/module/zookeeper-3.4.10/这个目录下创建zkData

    [atguigu@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData

     (2)在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件

    [atguigu@hadoop102 zkData]$ touch myid

    注意:添加myid文件,注意一定要在linux里面创建,在notepad++里面很可能乱码

    (3)编辑myid文件

     [atguigu@hadoop102 zkData]$ vi myid

     在文件中添加与server对应的编号:

    2

     (4)拷贝配置好的zookeeper到其他机器上

    [atguigu@hadoop102 zkData]$ xsync myid

     并分别在hadoop102、hadoop103上修改myid文件中内容为3、4

    5.1.4 配置zoo.cfg文件

    (1)重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

    [atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

    (2)打开zoo.cfg文件

    [atguigu@hadoop102 conf]$ vim zoo.cfg

    修改数据存储路径配置

    dataDir=/opt/module/zookeeper-3.4.10/zkData

    增加如下配置

    #######################cluster##########################
    server.2=hadoop102:2888:3888
    server.3=hadoop103:2888:3888
    server.4=hadoop104:2888:3888

     (3)同步zoo.cfg配置文件

    [atguigu@hadoop102 conf]$ xsync zoo.cfg

     (4)配置参数解读

    server.A=B:C:D
    • A:是一个数字,表示这个是第几号服务器,集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
    • B:是这个服务器的ip地址;
    • C:是这个服务器与集群中的Leader服务器交换信息的端口;
    • D:是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

    5.1.5 集群操作

    (1)分别启动Zookeeper

    [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
    [atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
    [atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start

     (2)查看状态

    [atguigu@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    [atguigu@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: leader
    [atguigu@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
     

    5.2 客户端命令行操作

    命令基本语法

    功能描述

    help

    显示所有操作命令

    ls path [watch]

    使用 ls 命令来查看当前znode中所包含的内容

    ls2 path [watch]

    查看当前节点数据并能看到更新次数等数据

    create

    普通创建

    -s  含有序列

    -e  临时(重启或者超时消失)

    get path [watch]

    获得节点的值

    set

    设置节点的具体值

    stat

    查看节点状态

    delete

    删除节点

    rmr

    递归删除节点

    5.2.1 启动客户端

    [atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh

    5.2.2 显示所有操作命令

    [zk: localhost:2181(CONNECTED) 1] help

    5.2.3 查看当前znode中所包含的内容

    [zk: localhost:2181(CONNECTED) 0] ls /

    [zookeeper]

    5.2.4 查看当前节点详细数据

    [zk: localhost:2181(CONNECTED) 1] ls2 /
    [zookeeper]
    cZxid = 0x0
    ctime = Thu Jan 01 08:00:00 CST 1970
    mZxid = 0x0
    mtime = Thu Jan 01 08:00:00 CST 1970
    pZxid = 0x0
    cversion = -1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 0
    numChildren = 1

    5.2.5 分别创建2个普通节点

    [zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"
    Created /sanguo
    [zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
    Created /sanguo/shuguo

    5.2.6 获得节点的值

    [zk: localhost:2181(CONNECTED) 5] get /sanguo
    jinlian
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000003
    mtime = Wed Aug 29 00:03:23 CST 2018
    pZxid = 0x100000004
    cversion = 1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 7
    numChildren = 1

    [zk: localhost:2181(CONNECTED) 6]
    [zk: localhost:2181(CONNECTED) 6] get /sanguo/shuguo
    liubei
    cZxid = 0x100000004
    ctime = Wed Aug 29 00:04:35 CST 2018
    mZxid = 0x100000004
    mtime = Wed Aug 29 00:04:35 CST 2018
    pZxid = 0x100000004
    cversion = 0
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 6
    numChildren = 0

    5.2.7 创建短暂节点

    [zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"
    Created /sanguo/wuguo

     (1)在当前客户端是能查看到的

    [zk: localhost:2181(CONNECTED) 3] ls /sanguo 
    [wuguo, shuguo]

     (2)退出当前客户端然后再重启客户端

    [zk: localhost:2181(CONNECTED) 12] quit
    [atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh

     (3)再次查看根目录下短暂节点已经删除

    [zk: localhost:2181(CONNECTED) 0] ls /sanguo
    [shuguo]

    5.2.8 创建带序号的节点

    (1)先创建一个普通的根节点/sanguo/weiguo

    [zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao"
    Created /sanguo/weiguo

     (2)创建带序号的节点

    [zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
    Created /sanguo/weiguo/xiaoqiao0000000000
    [zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
    Created /sanguo/weiguo/daqiao0000000001
    [zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
    Created /sanguo/weiguo/diaocan0000000002

     如果原来没有序号节点,序号从0开始依次递增。如果原节点下已有2个节点,则再排序时从2开始,以此类推。

    5.2.9 修改节点数据值

    [zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"

    5.2.10 节点的值变化监听

    (1)在hadoop104主机上注册监听/sanguo节点数据变化

    [zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch

    (2)在hadoop103主机上修改/sanguo节点的数据

    [zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"

    (3)观察hadoop104主机收到数据变化的监听

    WATCHER::
    WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

    5.2.11 节点的子节点变化监听(路径变化)

    (1)在hadoop104主机上注册监听/sanguo节点的子节点变化

    [zk: localhost:2181(CONNECTED) 1] ls /sanguo watch
    [aa0000000001, server101]

    (2)在hadoop103主机/sanguo节点上创建子节点

    [zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
    Created /sanguo/jin

    (3)观察hadoop104主机收到子节点变化的监听

    WATCHER::
    WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

    5.2.12 删除节点

    [zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

    5.2.13 递归删除节点

    [zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo

    5.2.14 查看节点状态

     [zk: localhost:2181(CONNECTED) 17] stat /sanguo
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000011
    mtime = Wed Aug 29 00:21:23 CST 2018
    pZxid = 0x100000014
    cversion = 9
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 4
    numChildren = 1

    5.3 API应用 

    4.3.1 Eclipse环境搭建

    1.创建一个Maven工程

    2.添加pom文件

    <dependencies>
    		<dependency>
    			<groupId>junit</groupId>
    			<artifactId>junit</artifactId>
    			<version>4.12</version>
    		</dependency>
    		<dependency>
    			<groupId>org.apache.logging.log4j</groupId>
    			<artifactId>log4j-core</artifactId>
    			<version>2.8.2</version>
    		</dependency>
    		<!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
    		<dependency>
    			<groupId>org.apache.zookeeper</groupId>
    			<artifactId>zookeeper</artifactId>
    			<version>3.4.10</version>
    		</dependency>
    </dependencies>
    
    // https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper
    compile group: 'org.apache.zookeeper', name: 'zookeeper', version: '3.4.10'
    // https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core
    compile group: 'org.apache.logging.log4j', name: 'log4j-core', version: '2.8.2'
    
    compile group: 'junit', name: 'junit', version: '4.12'

    3.拷贝log4j.properties文件到项目根目录

    需要在项目的src/main/resources目录下,新建一个文件,命名为“log4j.properties”,在文件中填入。

    log4j.rootLogger=INFO, stdout  
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
    log4j.appender.logfile=org.apache.log4j.FileAppender  
    log4j.appender.logfile.File=target/spring.log  
    log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
    log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n  
    

    4.3.2 创建ZooKeeper客户端

    private static String connectString =
     "hadoop102:2181,hadoop103:2181,hadoop104:2181";
    	private static int sessionTimeout = 2000;
    	private ZooKeeper zkClient = null;
    
    	@Before
    	public void init() throws Exception {
    	zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
    			@Override
    			public void process(WatchedEvent event) {
    				// 收到事件通知后的回调函数(用户的业务逻辑)
    				System.out.println(event.getType() + "--" + event.getPath());
    				// 再次启动监听
    				try {
    					zkClient.getChildren("/", true);
    				} catch (Exception e) {
    					e.printStackTrace();
    				}
    			}
    		});
    	}
    

    Lambda 简写: 

    /**
     * 创建ZooKeeper客户端
     * 提前运行
     */
    @Before
    public void init() throws Exception {
        zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {
            // 收到事件通知后的回调函数(用户的业务逻辑)
            System.out.println(event.getType() + "--" + event.getPath());
            // 再次启动监听
            try {
                zkClient.getChildren("/", true);
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
    }

    注释:注解 @Before 是提前执行的意思,多个集群之间用逗号前面不能有空格。

    2181 端口的来源:(客户端访问集群的时候,需要访问的端口号。)

    [atguigu@hadoop103 zookeeper-3.4.10]$ cat conf/zoo.cfg 
    ....省略........
    # the port at which the clients will connect
    clientPort=2181
    ....省略........
    [atguigu@hadoop103 zookeeper-3.4.10]$ 

    4.3.3 创建子节点

    // 创建子节点
    @Test
    public void create() throws Exception {
    		// 参数1:要创建的节点的路径; 参数2:节点数据 ; 参数3:节点权限 ;参数4:节点的类型
    		String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }
    
    public String create(final String path, byte data[], List<ACL> acl, CreateMode createMode)
    1.  path 创建的一个路径,你在哪个路径下创建节点。
    2. data[] 向这个路径上写什么数据,在客户端我们就演示过,如何不给数据的话创建是不成功的。
    3. acl 访问权限的控制。
    4. createMode 创建节点的时候节点的类型有两大类,一共四种。(短暂,持久,短暂带序号,持久带序号)

     权限控制解释: 

    org.apache.zookeeper.ZooDefs

     

    ZooDefs.Ids.ANYONE_ID_UNSAFE
    ZooDefs.Ids.AUTH_IDS
    ZooDefs.Ids.CREATOR_ALL_ACL (只有创建者才有ACL权限)
    ZooDefs.Ids.OPEN_ACL_UNSAFE (完全开放的ACL,任何连接的客户端都可以操作该属性znode)
    ZooDefs.Ids.READ_ACL_UNSAFE (只能读取ACL)

    CreateMode:

    CreateMode.EPHEMERAL 临时节点(连接断开自动删除)ephemeral 短暂的
    CreateMode.EPHEMERAL_SEQUENTIAL 临时有序节点(连接断开自动删除)sequential 按次序的
    CreateMode.PERSISTENT 持久化节点
    CreateMode.PERSISTENT_SEQUENTIAL 持久化有序节点persistent 持久的

    ephemeral 就shi 

    4.3.4 获取子节点并监听节点变化

    /**
     * 获取子节点并监听节点变化
     */
    @Test
    public void getChildren() throws Exception {
        List<String> children = zkClient.getChildren("/", true);
        for (String child : children) {
            System.out.println(child);
        }
        // 延时阻塞
        Thread.sleep(Long.MAX_VALUE);
    }

    监听器:

    /**
     * 创建ZooKeeper客户端
     * 提前运行
     */
    @Before
    public void init() throws Exception {
        zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {
            // 收到事件通知后的回调函数(用户的业务逻辑)
            System.out.println(event.getType() + "--" + event.getPath());
            // 再次启动监听
            try {
                zkClient.getChildren("/", true);//这里没有打印
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
    }
    public List<String> getChildren(String path, boolean watch)

     获取某个路径下所有的子节点,第二个参数为是否监听,是否监听这个路径上还有节点的增删。

    4.3.5 判断Znode是否存在

    // 判断znode是否存在
    @Test
    public void exist() throws Exception {
        Stat stat = zkClient.exists("/eclipse", false);
        System.out.println(stat == null ? "not exist" : "exist");
    }

    所有代码:

    import org.apache.zookeeper.*;
    import org.apache.zookeeper.data.Stat;
    import org.junit.Before;
    import org.junit.Test;
    import java.util.List;
    public class TestZookeeper {
        private static String connectString =
                "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        private static int sessionTimeout = 2000;
        private ZooKeeper zkClient = null;
    
    //
    //    /**
    //     * 创建ZooKeeper客户端
    //     * 提前运行
    //     */
    //    @Before
    //    public void init() throws Exception {
    //        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
    //            @Override
    //            public void process(WatchedEvent event) {
    //                // 收到事件通知后的回调函数(用户的业务逻辑)
    //                System.out.println(event.getType() + "--" + event.getPath());
    //                // 再次启动监听
    //                try {
    //                    zkClient.getChildren("/", true);
    //                } catch (Exception e) {
    //                    e.printStackTrace();
    //                }
    //            }
    //        });
    //    }
    
    
    
        /**
         * 创建ZooKeeper客户端
         * 提前运行
         */
        @Before
        public void init() throws Exception {
            zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {
                // 收到事件通知后的回调函数(用户的业务逻辑)
                System.out.println(event.getType() + "--" + event.getPath());
                // 再次启动监听
                try {
                    zkClient.getChildren("/", true);
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }
    
    
    
        /**
         * 创建子节点
         */
        @Test
        public void create() throws Exception {
            // 参数1:要创建的节点的路径; 参数2:节点数据 ; 参数3:节点权限 ;参数4:节点的类型
            String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
            System.out.println(nodeCreated);
        }
    
    
        /**
         * 获取子节点并监听节点变化
         */
        @Test
        public void getChildren() throws Exception {
            List<String> children = zkClient.getChildren("/", true);
            for (String child : children) {
                System.out.println(child);
            }
            // 延时阻塞
            Thread.sleep(Long.MAX_VALUE);
        }
    
    
        // 判断znode是否存在
        @Test
        public void exist() throws Exception {
            Stat stat = zkClient.exists("/eclipse", false);
            System.out.println(stat == null ? "not exist" : "exist");
        }
    
    
    }
    

    5.4 监听服务器节点动态上下线案例

    5.4.1 需求

    某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线。

    5.4.2 需求分析,如下图所示

    注:我们这里区分的客户端和服务端相对于 Zookeeper 集群来说都是客户端。 

    5.4.3 具体实现

    (0)先在集群上创建/servers节点

    [zk: localhost:2181(CONNECTED) 10] create /servers "servers"
    Created /servers

     (1)服务器端向Zookeeper注册代码

    import java.io.IOException;
    
    import org.apache.zookeeper.CreateMode;
    import org.apache.zookeeper.ZooKeeper;
    import org.apache.zookeeper.ZooDefs.Ids;
    
    public class DistributeServer {
        private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        private static int sessionTimeout = 2000;
        private ZooKeeper zk = null;
        private String parentNode = "/servers";
    
        // 创建到zk的客户端连接
        public void getConnect() throws IOException {
            zk = new ZooKeeper(connectString, sessionTimeout, event -> {
            });
        }
    
        /**
         *注册服务器
         * 创建一个临时的带序号的   CreateMode.EPHEMERAL_SEQUENTIAL  -e -s
         * @param hostname  当前服务器的名称
         */
        public void registServer(String hostname) throws Exception {
            String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
            System.out.println(hostname + " is online " + create);
        }
    
        // 业务功能
        public void business(String hostname) throws Exception {
            System.out.println(hostname + " is working ...");
            Thread.sleep(Long.MAX_VALUE);
        }
    
        public static void main(String[] args) throws Exception {
            args = new String[] {"hadoop101"};
    
            // 1获取zk连接
            DistributeServer server = new DistributeServer();
            server.getConnect();
            // 2 利用zk连接注册服务器信息
            server.registServer(args[0]);
            // 3 启动业务功能
            server.business(args[0]);
        }
    }
    

    (2)客户端代码

    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.List;
    
    import org.apache.zookeeper.ZooKeeper;
    
    public class DistributeClient {
        private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        private static int sessionTimeout = 2000;
        private ZooKeeper zk = null;
        private String parentNode = "/servers";
    
        // 创建到zk的客户端连接
        public void getConnect() throws IOException {
            zk = new ZooKeeper(connectString, sessionTimeout, event -> {
                // 再次启动监听
                try {
                    getServerList();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }
    
        // 获取服务器列表信息
        public void getServerList() throws Exception {
            // 1获取服务器子节点信息,并且对父节点进行监听
            List<String> children = zk.getChildren(parentNode, true);
            // 2存储服务器信息列表
            ArrayList<String> servers = new ArrayList<>();
            // 3遍历所有节点,获取节点中的主机名称信息
            for (String child : children) {
                byte[] data = zk.getData(parentNode + "/" + child, false, null);
                servers.add(new String(data));
            }
            // 4打印服务器列表信息
            System.out.println(servers);
        }
    
        // 业务功能
        public void business() throws Exception {
            System.out.println("client is working ...");
            Thread.sleep(Long.MAX_VALUE);
        }
    
        public static void main(String[] args) throws Exception {
            // 1获取zk连接
            DistributeClient client = new DistributeClient();
            client.getConnect();
            // 2获取servers的子节点信息,从中获取服务器信息列表
            client.getServerList();
            // 3业务进程启动
            client.business();
        }
    }
    
    

    测试:

    [zk: localhost:2181(CONNECTED) 10] create -e -s /servers/server "hadoop102" 

    注意:/servers 这个文件要提前存在。 


    6 企业面试真题

    6.1 请简述ZooKeeper的选举机制

    详见3.1。

    6.2 ZooKeeper的监听原理是什么?

    详见3.4。

    6.3 ZooKeeper的部署方式有哪几种?集群中的角色有哪些?集群最少需要几台机器?

    (1)部署方式单机模式、集群模式

    (2)角色:Leader和Follower

    (3)集群最少需要机器数:3

    6.4 ZooKeeper的常用命令

    ls create get delete set…


    参考:https://blog.51cto.com/zero01/2108483 

    展开全文
  • ZOOKEEPER

    千次阅读 2017-06-19 10:53:26
    上传zookeeper包 /usr 下; 解压; tar -xzvf zookeeper-3.4.10.tar.gz 换名字; mv zookeeper-3.4.10 zookeeper 删包; rm -rf zookeeper-3.4.10.tar.gz 进入zookeeper; cd zookeeper/ 复制zoo.cfg; cp conf/zoo...
    1. 上传zookeeper包 /usr 下;
    2. 进入/usr目录
      cd /usr/
    3. 解压;
      tar -xzvf zookeeper-3.4.10.tar.gz
    4. 换名字;
      mv zookeeper-3.4.10 zookeeper
    5. 删包;
      rm -rf zookeeper-3.4.10.tar.gz
    6. 进入zookeeper;
      cd zookeeper/
    7. 复制zoo.cfg;
      cp conf/zoo_sample.cfg conf/zoo.cfg
    8. 修改zoo.cfg;
      vi conf/zoo.cfg
    9. 添加如下代码;
      dataDir=/usr/zookeeper/data
      dataLogDir=/usr/zookeeper/logs
      server.1=centos201:2888:3888
      server.2=centos202:2888:3888
      server.3=centos203:2888:3888
    10. 创建data和logs;
      mkdir data mkdir logs
    11. 写入myid
      主节点echo 1 > data/myid
      次节点echo 2 > data/myid
      次节点echo 3 > data/myid
    12. 修改zkEnv.sh
      vi bin/zkEnv.sh
    13. 添加如下代码
      在这代码下
      **ZOOBINDIR="${ZOOBINDIR:-/usr/bin}"
      ZOOKEEPER_PREFIX="${ZOOBINDIR}/.."**
      添加以下代码
      ZOOKEEPER_LOG_DIR=/usr/zookeeper/logs/
    在bin/zkEnv.sh 
    
     中修改:​
    
    if [ "x${ZOO_LOG_DIR}" = "x" ]
    
    then
    
        ZOO_LOG_DIR="/usr/zookeeper"
    
    fi

    再source zkEnv.sh

    1. 授权
      chown -R wuyang:wuyang /usr/zookeeper/

    2. 切换用户
      su wuyang

    3. 启动三台
      bin/zkServer.sh start

    4. 查看状态
      bin/zkServer.sh status

    创建脚本vi start-all.sh,这样就不用一台一台运行

    #!/bin/bash
    #ip映射名字
    ip_array=("centos201" "centos202" "centos203")
    #用户
    user="wuyang"
    for ip in ${ip_array[*]}
    do
        ssh $user@$ip   << remotessh
        cd /usr/zookeeper/bin/
        ./zkServer.sh start
        exit
    remotessh
    
    done

    脚本全部停止vi stop-all.sh

    #!/bin/bash
    ip_array=("centos201" "centos202" "centos203")
    user="wuyang"
    for ip in ${ip_array[*]}
    do
        ssh $user@$ip   << remotessh
        cd /usr/zookeeper/bin/
        ./zkServer.sh stop
        exit
    remotessh
    done

    脚本授权
    777 是最高权限,有读、写、执行权限;和属组用户和其他用户的读、写、执行权限。
    其他权限分别是
    -rw——- (600) – 只有读写权限。
    -rw-r–r– (644) – 只有有读写权限;而属组用户和其他用户只有读权限。
    -rwx—— (700) – 只有有读、写、执行权限。
    -rwxr-xr-x (755) – 有读、写、执行权限;而属组用户和其他用户只有读、执行权限。
    -rwx–x–x (711) – 有读、写、执行权限;而属组用户和其他用户只有执行权限。

    chmod 777 start-all.sh
    chmod 777 stop-all.sh
    展开全文
  • Zookeeper入门看这篇就够了

    万次阅读 多人点赞 2018-07-12 14:48:06
    Zookeeper是什么官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、...
  • zookeeper-3.4.13:http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz 2. 主机规划 192.168.233.134 host14 192.168.233.133 host15 192.168.233.136 host16 二、...
  • 监听zookeeper启动

    万次阅读 2019-12-30 17:16:17
    #!/bin/sh . /etc/profile .... date=`date` cd /usr/local/zookeeper echo "$date star to monitor zookeeper" >> ./monitor.log pid=`jps | grep 'QuorumPeerMain'` if [ -z "$pid" ];then ...
  • zookeeper运维

    万次阅读 2014-02-09 15:06:37
    尽管zookeeper在编程上有很多的阱陷,API也非常的难用,但zookeeper服务本身可以说是很牢靠的了,所以在网上貌似关于运维的文章比较少。 但省心并不代表不会出麻烦,下面总结下zookeeper运维相关的东东。 重要的...
  • docker启动zookeeper服务器

    万次阅读 2020-05-06 15:17:27
    docker_hub上搜索zookeeper 我选择了第一个,也就是官方的镜像 网易云镜像地址,找一个合适的zookeeper镜像下载下来,并且参考下面的启动zookeeper的命令启动容器 下载镜像 docker pull zookeeper 启动容器 ...
  • springCloud微服务注册进zookeeper

    万次阅读 2020-06-18 17:51:57
    加入依赖 <dependency> <groupId>...spring-cloud-starter-zookeeper-discovery</artifactId> </dependency> 添加配置 spring: application: name: zookeeper-demo cloud: zo
  • CentOS下搭建Zookeeper集群

    万次阅读 多人点赞 2018-08-13 21:02:51
    Zookeeper简介 ZooKeeper是一个开源的分布式应用协调服务,用于在分布式应用各个节点之间进行协调,并通过稳健的同步技术维护共享数据。 这里提到了一个新名词:“分布式应用”,让我们先来简单地快速了解一下什么...
  • ZooKeeper面试题(2020最新版)

    万次阅读 多人点赞 2020-02-19 18:08:59
    ZooKeeper 是什么?2. ZooKeeper 提供了什么?3. Zookeeper 文件系统4. Zookeeper 怎么保证主从节点的状态同步?5. 四种类型的数据节点 Znode6. Zookeeper Watcher 机制 -- 数据变更通知7. 客户端注册 Watcher 实现...
  • ZooKeeper详解

    万次阅读 2020-09-17 14:49:45
    ZooKeeper 是什么? ZooKeeper 是一个开源的分布式协调服务。它是一个为分布式应用提供一致性服务的软件,分布式应用程序可以基于 Zookeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群...
  • Zookeeper简单介绍

    万次阅读 2017-07-06 23:00:17
    三、ZooKeeper概述 四、ZooKeeper数据模型 4.1 ZooKeeper数据模型Znode 4.2 ZooKeeper中的时间 4.3 ZooKeeper节点属性 五、ZooKeeper服务中操作 六、Watch触发器 七、ZooKeeper应用举例 7.1 分布式锁...
  • zookeeper 大量连接断开重连原因排查

    万次阅读 多人点赞 2014-11-24 19:56:41
    最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G,后来设置下日志为滚动输出,参考: http://blog.csdn.net/hengyunabc/article/details/19006911 但是改了之后,发现一天的日志量就是100多M,滚动日志...
  • Zookeeper的CP特性

    万次阅读 2016-08-23 14:33:42
    原文链接: Oracle报错:不是单组分组函数解决 - Oracle数据库栏目 - 红黑联盟 ... Oracle报错:不是单组分组函数解决 报错:不是单组分组函数 实例:select deptno,count(empno) from emp;...报错:不是单组分组函数
  • 分布式Zookeeper安装搭建详解

    万次阅读 多人点赞 2018-11-14 21:33:17
    一、下载zookeeper安装包 在官网中下载,对于在墙内的用户,并不推荐该方式下载速度可能比较慢 推荐方式:在cloudera仓库进行下载,相较于官网下载更加稳定快速,地址http://archive.cloudera.com/cdh5/cdh/5/,...
  • Zookeeper系列(一)

    万次阅读 2017-08-12 14:57:05
    一、ZooKeeper的背景 1.1 认识ZooKeeper 1.2 为什么使用ZooKeeper 1.3 ZooKeeper的应用 二、ZooKeeper的介绍 2.1 ZooKeeper的概述 2.2 ZooKeeper的设计目标 (1)简单化 (2)健壮性 (3)有序性 (4)...
  • 下拉zookeeper镜像 docker pull zookeeper version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ...
  • zookeeper集群搭建问题

    2016-10-09 14:44:50
    at org.apache.zookeeper.server.quorum.QuorumCnxManager$Listener.run(QuorumCnxManager.java:507) 2016-10-09 22:36:38,654 [myid:3] - INFO [QuorumPeer[myid=3]/0.0.0.0:2183:QuorumPeer@714] - LOOKING ...
  • 我是在eclipse上引用dubbo服务连接zookeeper时出现了问题,问题代码如下: 2017-08-30 20:44:22,156 [localhost-startStop-1] [org.apache.zookeeper.ClientCnxn]-[DEBUG] zookeeper.disableAutoWatchReset is false...
  • 自动化安装zookeeper脚本

    万次阅读 2017-12-20 16:39:31
    linux下shell编写的zookeeper自动化安装脚本
  • Zookeeper】研究Zookeeper

    千次阅读 2015-08-26 00:31:33
    研究zookeepering
  • ZooKeeper之(一)ZooKeeper是什么

    万次阅读 多人点赞 2016-10-23 13:38:33
    鉴于CSDN对**版权保护的不作为**以及落后的运营手段,本博客将于近期关闭,并清空全部文章。 原有文章将会经过再次的校对、整理,转移至本人在**简书**的[博客空间](https://www.jianshu.com/u/3ec23ef9a408)... ...
  • 配置类,读取properties中的配置属性 import lombok.Data; import org.springframework.boot.context.properties.ConfigurationProperties; import org.springframework.context.annotation.PropertySource;...
  • Zookeeper原理架构

    万次阅读 多人点赞 2016-04-22 11:59:44
    本文纯属个人笔记,通俗易懂,转载请附上原文链接!部分资料摘自网络,如有雷同,纯属巧合!Zookeeper到底是什么!?学一个东西,不搞明白他是什么东西,哪...在Zookeeper的官网上有这么一句话:ZooKeeper is a central

空空如也

1 2 3 4 5 ... 20
收藏数 105,913
精华内容 42,365
热门标签
关键字:

zookeeper