zookeeper 订阅
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集,提供Java和C的接口。ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在$zookeeper_home\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本。(概述图片来源: [1]  ) 展开全文
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集,提供Java和C的接口。ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在$zookeeper_home\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本。(概述图片来源: [1]  )
信息
领    域
大数据技术,分布式系统
类    别
分布式系统的可靠协调系统
特    点
高效,可靠
所    属
Hadoop的正式子项目
外文名
ZooKeeper
zookeeper原理
ZooKeeper是以Fast Paxos算法为基础的,Paxos 算法存在活锁的问题,即当有多个proposer交错提交时,有可能互相排斥导致没有一个proposer能提交成功,而Fast Paxos做了一些优化,通过选举产生一个leader (领导者),只有leader才能提交proposer,具体算法可见Fast Paxos。因此,要想弄懂ZooKeeper首先得对Fast Paxos有所了解。ZooKeeper的基本运转流程:1、选举Leader。2、同步数据。3、选举Leader过程中算法有很多,但要达到的选举标准是一致的。4、Leader要具有最高的执行ID,类似root权限。5、集群中大多数的机器得到响应并接受选出的Leader。
收起全文
精华内容
下载资源
问答
  • Zookeeper

    万次阅读 2019-04-01 21:21:37
    Zookeeper

    主页:https://zookeeper.apache.org/ 


    1 Zookeeper默认的几个端口号

    • 2888:Leader 和 Follower 之间通信的端口号。
    • 3888:是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
    • 2181:clientPort 客户端连接端口,用于监听客户端连接的端口,客户端连接集群就需要访问这个端口。

    2 Zookeeper入门

    2.1 概述

    Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。

    2.2 特点

    1. Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群。
    2. 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。 
    3. 全局数据一致:每个server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。 
    4. 更新请求顺序进行,来自同一个Client的更新请求按其发送顺序依次执行。 
    5. 数据更新原子性,一次数据更新要么成功,要么失败。 
    6. 实时性,在一定时间范围内,Client能读到最新数据。 

    2.3 数据结构

    ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。

    2.4 应用场景

    提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

     

    2.5 下载地址 

    官网首页:https://zookeeper.apache.org/


    3 Zookeeper安装

    3.1 本地模式安装部署

    3.1.1 安装前准备

    (1)安装Jdk

    (2)拷贝Zookeeper安装包到Linux系统下

    (3)解压到指定目录

    [atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

    3.1.2 配置修改

    (1)将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg。

    [atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

     (2)打开zoo.cfg文件,修改dataDir路径。

    [atguigu@hadoop102 zookeeper-3.4.10]$ vim zoo.cfg

     修改如下内容:

    dataDir=/opt/module/zookeeper-3.4.10/zkData

    (3)在/opt/module/zookeeper-3.4.10/这个目录上创建zkData文件夹

    [atguigu@hadoop102 zookeeper-3.4.10]$ mkdir zkData

    注:这里必须手动创建,和 hdfs 不同,hdfs 里面的配置不需要手动创建。

    3.1.3 操作Zookeeper

    (1)启动Zookeeper

    [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start

     (2)查看进程是否启动

    [atguigu@hadoop102 zookeeper-3.4.10]$ jps
    4020 Jps
    4001 QuorumPeerMain

    (3)查看状态

     [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: standalone

     (4)启动客户端

    [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkCli.sh

     (5)退出客户端

    [zk: localhost:2181(CONNECTED) 0] quit

     (6)停止Zookeeper

     [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh stop

    3.2 配置参数解读

    Zookeeper中的配置文件zoo.cfg中参数含义解读如下

    1.tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒

    Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。

    它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

    2.initLimit =10:LF初始通信时限

    集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限。

    3.syncLimit =5:LF同步通信时限

    集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。

    4.dataDir:数据文件目录+数据持久化路径

    主要用于保存Zookeeper中的数据。

    5.clientPort =2181:客户端连接端口

    监听客户端连接的端口。 


    4 Zookeeper内部原理

    4.1 选举机制(面试重点)

    1)半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。

    2)Zookeeper虽然在配置文件中并没有指定MasterSlave但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的。

    3)以一个简单的例子来说明整个选举的过程。

    假设有五台服务器组成的Zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。假设这些服务器依序启动,来看看会发生什么,下图所示。

    (1)服务器1启动,此时只有它一台服务器启动了,它发出去的报文没有任何响应,所以它的选举状态一直是LOOKING状态。

    (2)服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1、2还是继续保持LOOKING状态。

    (3)服务器3启动,根据前面的理论分析,服务器3成为服务器1、2、3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的Leader。

    (4)服务器4启动,根据前面的分析,理论上服务器4应该是服务器1、2、3、4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3,所以它只能接收当小弟的命了。

    (5)服务器5启动,同4一样当小弟。

    4.2 节点类型

    4.3 Stat结构体

    1)czxid-创建节点的事务zxid

    每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。

    事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。

    2)ctime - znode被创建的毫秒数(从1970年开始)

    3)mzxid - znode最后更新的事务zxid

    4)mtime - znode最后修改的毫秒数(从1970年开始)

    5)pZxid-znode最后更新的子节点zxid

    6)cversion - znode子节点变化号,znode子节点修改次数

    7)dataversion - znode数据变化号

    8)aclVersion - znode访问控制列表的变化号

    9)ephemeralOwner- 如果是临时节点,这个是znode拥有者的session id。如果不是临时节点则是0。

    10)dataLength- znode的数据长度

    11)numChildren - znode子节点数量

    4.4 监听器原理(面试重点)

    4.5 写数据流程


    5 Zookeeper实战(开发重点) 

    5.1 分布式安装部署

    5.1.1 集群规划

    在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

    5.1.2 解压安装

    (1)解压Zookeeper安装包到/opt/module/目录下

    [atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

     (2)同步/opt/module/zookeeper-3.4.10目录内容到hadoop103、hadoop104

    [atguigu@hadoop102 module]$ xsync zookeeper-3.4.10/

    5.1.3 配置服务器编号

    (1)在/opt/module/zookeeper-3.4.10/这个目录下创建zkData

    [atguigu@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData

     (2)在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件

    [atguigu@hadoop102 zkData]$ touch myid

    注意:添加myid文件,注意一定要在linux里面创建,在notepad++里面很可能乱码

    (3)编辑myid文件

     [atguigu@hadoop102 zkData]$ vi myid

     在文件中添加与server对应的编号:

    2

     (4)拷贝配置好的zookeeper到其他机器上

    [atguigu@hadoop102 zkData]$ xsync myid

     并分别在hadoop102、hadoop103上修改myid文件中内容为3、4

    5.1.4 配置zoo.cfg文件

    (1)重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

    [atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

    (2)打开zoo.cfg文件

    [atguigu@hadoop102 conf]$ vim zoo.cfg

    修改数据存储路径配置

    dataDir=/opt/module/zookeeper-3.4.10/zkData

    增加如下配置

    #######################cluster##########################
    server.2=hadoop102:2888:3888
    server.3=hadoop103:2888:3888
    server.4=hadoop104:2888:3888

     (3)同步zoo.cfg配置文件

    [atguigu@hadoop102 conf]$ xsync zoo.cfg

     (4)配置参数解读

    server.A=B:C:D
    • A:是一个数字,表示这个是第几号服务器,集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
    • B:是这个服务器的ip地址;
    • C:是这个服务器与集群中的Leader服务器交换信息的端口;
    • D:是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

    5.1.5 集群操作

    (1)分别启动Zookeeper

    [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
    [atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
    [atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start

     (2)查看状态

    [atguigu@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    [atguigu@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: leader
    [atguigu@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
     

    5.2 客户端命令行操作

    命令基本语法

    功能描述

    help

    显示所有操作命令

    ls path [watch]

    使用 ls 命令来查看当前znode中所包含的内容

    ls2 path [watch]

    查看当前节点数据并能看到更新次数等数据

    create

    普通创建

    -s  含有序列

    -e  临时(重启或者超时消失)

    get path [watch]

    获得节点的值

    set

    设置节点的具体值

    stat

    查看节点状态

    delete

    删除节点

    rmr

    递归删除节点

    5.2.1 启动客户端

    [atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh

    5.2.2 显示所有操作命令

    [zk: localhost:2181(CONNECTED) 1] help

    5.2.3 查看当前znode中所包含的内容

    [zk: localhost:2181(CONNECTED) 0] ls /

    [zookeeper]

    5.2.4 查看当前节点详细数据

    [zk: localhost:2181(CONNECTED) 1] ls2 /
    [zookeeper]
    cZxid = 0x0
    ctime = Thu Jan 01 08:00:00 CST 1970
    mZxid = 0x0
    mtime = Thu Jan 01 08:00:00 CST 1970
    pZxid = 0x0
    cversion = -1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 0
    numChildren = 1

    5.2.5 分别创建2个普通节点

    [zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"
    Created /sanguo
    [zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
    Created /sanguo/shuguo

    5.2.6 获得节点的值

    [zk: localhost:2181(CONNECTED) 5] get /sanguo
    jinlian
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000003
    mtime = Wed Aug 29 00:03:23 CST 2018
    pZxid = 0x100000004
    cversion = 1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 7
    numChildren = 1

    [zk: localhost:2181(CONNECTED) 6]
    [zk: localhost:2181(CONNECTED) 6] get /sanguo/shuguo
    liubei
    cZxid = 0x100000004
    ctime = Wed Aug 29 00:04:35 CST 2018
    mZxid = 0x100000004
    mtime = Wed Aug 29 00:04:35 CST 2018
    pZxid = 0x100000004
    cversion = 0
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 6
    numChildren = 0

    5.2.7 创建短暂节点

    [zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"
    Created /sanguo/wuguo

     (1)在当前客户端是能查看到的

    [zk: localhost:2181(CONNECTED) 3] ls /sanguo 
    [wuguo, shuguo]

     (2)退出当前客户端然后再重启客户端

    [zk: localhost:2181(CONNECTED) 12] quit
    [atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh

     (3)再次查看根目录下短暂节点已经删除

    [zk: localhost:2181(CONNECTED) 0] ls /sanguo
    [shuguo]

    5.2.8 创建带序号的节点

    (1)先创建一个普通的根节点/sanguo/weiguo

    [zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao"
    Created /sanguo/weiguo

     (2)创建带序号的节点

    [zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
    Created /sanguo/weiguo/xiaoqiao0000000000
    [zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
    Created /sanguo/weiguo/daqiao0000000001
    [zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
    Created /sanguo/weiguo/diaocan0000000002

     如果原来没有序号节点,序号从0开始依次递增。如果原节点下已有2个节点,则再排序时从2开始,以此类推。

    5.2.9 修改节点数据值

    [zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"

    5.2.10 节点的值变化监听

    (1)在hadoop104主机上注册监听/sanguo节点数据变化

    [zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch

    (2)在hadoop103主机上修改/sanguo节点的数据

    [zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"

    (3)观察hadoop104主机收到数据变化的监听

    WATCHER::
    WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

    5.2.11 节点的子节点变化监听(路径变化)

    (1)在hadoop104主机上注册监听/sanguo节点的子节点变化

    [zk: localhost:2181(CONNECTED) 1] ls /sanguo watch
    [aa0000000001, server101]

    (2)在hadoop103主机/sanguo节点上创建子节点

    [zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
    Created /sanguo/jin

    (3)观察hadoop104主机收到子节点变化的监听

    WATCHER::
    WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

    5.2.12 删除节点

    [zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

    5.2.13 递归删除节点

    [zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo

    5.2.14 查看节点状态

     [zk: localhost:2181(CONNECTED) 17] stat /sanguo
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000011
    mtime = Wed Aug 29 00:21:23 CST 2018
    pZxid = 0x100000014
    cversion = 9
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 4
    numChildren = 1

    5.3 API应用 

    4.3.1 Eclipse环境搭建

    1.创建一个Maven工程

    2.添加pom文件

    <dependencies>
    		<dependency>
    			<groupId>junit</groupId>
    			<artifactId>junit</artifactId>
    			<version>4.12</version>
    		</dependency>
    		<dependency>
    			<groupId>org.apache.logging.log4j</groupId>
    			<artifactId>log4j-core</artifactId>
    			<version>2.8.2</version>
    		</dependency>
    		<!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
    		<dependency>
    			<groupId>org.apache.zookeeper</groupId>
    			<artifactId>zookeeper</artifactId>
    			<version>3.4.10</version>
    		</dependency>
    </dependencies>
    
    // https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper
    compile group: 'org.apache.zookeeper', name: 'zookeeper', version: '3.4.10'
    // https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core
    compile group: 'org.apache.logging.log4j', name: 'log4j-core', version: '2.8.2'
    
    compile group: 'junit', name: 'junit', version: '4.12'

    3.拷贝log4j.properties文件到项目根目录

    需要在项目的src/main/resources目录下,新建一个文件,命名为“log4j.properties”,在文件中填入。

    log4j.rootLogger=INFO, stdout  
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
    log4j.appender.logfile=org.apache.log4j.FileAppender  
    log4j.appender.logfile.File=target/spring.log  
    log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
    log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n  
    

    4.3.2 创建ZooKeeper客户端

    private static String connectString =
     "hadoop102:2181,hadoop103:2181,hadoop104:2181";
    	private static int sessionTimeout = 2000;
    	private ZooKeeper zkClient = null;
    
    	@Before
    	public void init() throws Exception {
    	zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
    			@Override
    			public void process(WatchedEvent event) {
    				// 收到事件通知后的回调函数(用户的业务逻辑)
    				System.out.println(event.getType() + "--" + event.getPath());
    				// 再次启动监听
    				try {
    					zkClient.getChildren("/", true);
    				} catch (Exception e) {
    					e.printStackTrace();
    				}
    			}
    		});
    	}
    

    Lambda 简写: 

    /**
     * 创建ZooKeeper客户端
     * 提前运行
     */
    @Before
    public void init() throws Exception {
        zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {
            // 收到事件通知后的回调函数(用户的业务逻辑)
            System.out.println(event.getType() + "--" + event.getPath());
            // 再次启动监听
            try {
                zkClient.getChildren("/", true);
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
    }

    注释:注解 @Before 是提前执行的意思,多个集群之间用逗号前面不能有空格。

    2181 端口的来源:(客户端访问集群的时候,需要访问的端口号。)

    [atguigu@hadoop103 zookeeper-3.4.10]$ cat conf/zoo.cfg 
    ....省略........
    # the port at which the clients will connect
    clientPort=2181
    ....省略........
    [atguigu@hadoop103 zookeeper-3.4.10]$ 

    4.3.3 创建子节点

    // 创建子节点
    @Test
    public void create() throws Exception {
    		// 参数1:要创建的节点的路径; 参数2:节点数据 ; 参数3:节点权限 ;参数4:节点的类型
    		String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }
    
    public String create(final String path, byte data[], List<ACL> acl, CreateMode createMode)
    1.  path 创建的一个路径,你在哪个路径下创建节点。
    2. data[] 向这个路径上写什么数据,在客户端我们就演示过,如何不给数据的话创建是不成功的。
    3. acl 访问权限的控制。
    4. createMode 创建节点的时候节点的类型有两大类,一共四种。(短暂,持久,短暂带序号,持久带序号)

     权限控制解释: 

    org.apache.zookeeper.ZooDefs

     

    ZooDefs.Ids.ANYONE_ID_UNSAFE
    ZooDefs.Ids.AUTH_IDS
    ZooDefs.Ids.CREATOR_ALL_ACL (只有创建者才有ACL权限)
    ZooDefs.Ids.OPEN_ACL_UNSAFE (完全开放的ACL,任何连接的客户端都可以操作该属性znode)
    ZooDefs.Ids.READ_ACL_UNSAFE (只能读取ACL)

    CreateMode:

    CreateMode.EPHEMERAL 临时节点(连接断开自动删除)ephemeral 短暂的
    CreateMode.EPHEMERAL_SEQUENTIAL 临时有序节点(连接断开自动删除)sequential 按次序的
    CreateMode.PERSISTENT 持久化节点
    CreateMode.PERSISTENT_SEQUENTIAL 持久化有序节点persistent 持久的

    ephemeral 就shi 

    4.3.4 获取子节点并监听节点变化

    /**
     * 获取子节点并监听节点变化
     */
    @Test
    public void getChildren() throws Exception {
        List<String> children = zkClient.getChildren("/", true);
        for (String child : children) {
            System.out.println(child);
        }
        // 延时阻塞
        Thread.sleep(Long.MAX_VALUE);
    }

    监听器:

    /**
     * 创建ZooKeeper客户端
     * 提前运行
     */
    @Before
    public void init() throws Exception {
        zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {
            // 收到事件通知后的回调函数(用户的业务逻辑)
            System.out.println(event.getType() + "--" + event.getPath());
            // 再次启动监听
            try {
                zkClient.getChildren("/", true);//这里没有打印
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
    }
    public List<String> getChildren(String path, boolean watch)

     获取某个路径下所有的子节点,第二个参数为是否监听,是否监听这个路径上还有节点的增删。

    4.3.5 判断Znode是否存在

    // 判断znode是否存在
    @Test
    public void exist() throws Exception {
        Stat stat = zkClient.exists("/eclipse", false);
        System.out.println(stat == null ? "not exist" : "exist");
    }

    所有代码:

    import org.apache.zookeeper.*;
    import org.apache.zookeeper.data.Stat;
    import org.junit.Before;
    import org.junit.Test;
    import java.util.List;
    public class TestZookeeper {
        private static String connectString =
                "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        private static int sessionTimeout = 2000;
        private ZooKeeper zkClient = null;
    
    //
    //    /**
    //     * 创建ZooKeeper客户端
    //     * 提前运行
    //     */
    //    @Before
    //    public void init() throws Exception {
    //        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
    //            @Override
    //            public void process(WatchedEvent event) {
    //                // 收到事件通知后的回调函数(用户的业务逻辑)
    //                System.out.println(event.getType() + "--" + event.getPath());
    //                // 再次启动监听
    //                try {
    //                    zkClient.getChildren("/", true);
    //                } catch (Exception e) {
    //                    e.printStackTrace();
    //                }
    //            }
    //        });
    //    }
    
    
    
        /**
         * 创建ZooKeeper客户端
         * 提前运行
         */
        @Before
        public void init() throws Exception {
            zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {
                // 收到事件通知后的回调函数(用户的业务逻辑)
                System.out.println(event.getType() + "--" + event.getPath());
                // 再次启动监听
                try {
                    zkClient.getChildren("/", true);
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }
    
    
    
        /**
         * 创建子节点
         */
        @Test
        public void create() throws Exception {
            // 参数1:要创建的节点的路径; 参数2:节点数据 ; 参数3:节点权限 ;参数4:节点的类型
            String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
            System.out.println(nodeCreated);
        }
    
    
        /**
         * 获取子节点并监听节点变化
         */
        @Test
        public void getChildren() throws Exception {
            List<String> children = zkClient.getChildren("/", true);
            for (String child : children) {
                System.out.println(child);
            }
            // 延时阻塞
            Thread.sleep(Long.MAX_VALUE);
        }
    
    
        // 判断znode是否存在
        @Test
        public void exist() throws Exception {
            Stat stat = zkClient.exists("/eclipse", false);
            System.out.println(stat == null ? "not exist" : "exist");
        }
    
    
    }
    

    5.4 监听服务器节点动态上下线案例

    5.4.1 需求

    某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线。

    5.4.2 需求分析,如下图所示

    注:我们这里区分的客户端和服务端相对于 Zookeeper 集群来说都是客户端。 

    5.4.3 具体实现

    (0)先在集群上创建/servers节点

    [zk: localhost:2181(CONNECTED) 10] create /servers "servers"
    Created /servers

     (1)服务器端向Zookeeper注册代码

    import java.io.IOException;
    
    import org.apache.zookeeper.CreateMode;
    import org.apache.zookeeper.ZooKeeper;
    import org.apache.zookeeper.ZooDefs.Ids;
    
    public class DistributeServer {
        private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        private static int sessionTimeout = 2000;
        private ZooKeeper zk = null;
        private String parentNode = "/servers";
    
        // 创建到zk的客户端连接
        public void getConnect() throws IOException {
            zk = new ZooKeeper(connectString, sessionTimeout, event -> {
            });
        }
    
        /**
         *注册服务器
         * 创建一个临时的带序号的   CreateMode.EPHEMERAL_SEQUENTIAL  -e -s
         * @param hostname  当前服务器的名称
         */
        public void registServer(String hostname) throws Exception {
            String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
            System.out.println(hostname + " is online " + create);
        }
    
        // 业务功能
        public void business(String hostname) throws Exception {
            System.out.println(hostname + " is working ...");
            Thread.sleep(Long.MAX_VALUE);
        }
    
        public static void main(String[] args) throws Exception {
            args = new String[] {"hadoop101"};
    
            // 1获取zk连接
            DistributeServer server = new DistributeServer();
            server.getConnect();
            // 2 利用zk连接注册服务器信息
            server.registServer(args[0]);
            // 3 启动业务功能
            server.business(args[0]);
        }
    }
    

    (2)客户端代码

    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.List;
    
    import org.apache.zookeeper.ZooKeeper;
    
    public class DistributeClient {
        private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        private static int sessionTimeout = 2000;
        private ZooKeeper zk = null;
        private String parentNode = "/servers";
    
        // 创建到zk的客户端连接
        public void getConnect() throws IOException {
            zk = new ZooKeeper(connectString, sessionTimeout, event -> {
                // 再次启动监听
                try {
                    getServerList();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }
    
        // 获取服务器列表信息
        public void getServerList() throws Exception {
            // 1获取服务器子节点信息,并且对父节点进行监听
            List<String> children = zk.getChildren(parentNode, true);
            // 2存储服务器信息列表
            ArrayList<String> servers = new ArrayList<>();
            // 3遍历所有节点,获取节点中的主机名称信息
            for (String child : children) {
                byte[] data = zk.getData(parentNode + "/" + child, false, null);
                servers.add(new String(data));
            }
            // 4打印服务器列表信息
            System.out.println(servers);
        }
    
        // 业务功能
        public void business() throws Exception {
            System.out.println("client is working ...");
            Thread.sleep(Long.MAX_VALUE);
        }
    
        public static void main(String[] args) throws Exception {
            // 1获取zk连接
            DistributeClient client = new DistributeClient();
            client.getConnect();
            // 2获取servers的子节点信息,从中获取服务器信息列表
            client.getServerList();
            // 3业务进程启动
            client.business();
        }
    }
    
    

    测试:

    [zk: localhost:2181(CONNECTED) 10] create -e -s /servers/server "hadoop102" 

    注意:/servers 这个文件要提前存在。 


    6 企业面试真题

    6.1 请简述ZooKeeper的选举机制

    详见3.1。

    6.2 ZooKeeper的监听原理是什么?

    详见3.4。

    6.3 ZooKeeper的部署方式有哪几种?集群中的角色有哪些?集群最少需要几台机器?

    (1)部署方式单机模式、集群模式

    (2)角色:Leader和Follower

    (3)集群最少需要机器数:3

    6.4 ZooKeeper的常用命令

    ls create get delete set…


    参考:https://blog.51cto.com/zero01/2108483 

    展开全文
  • zookeeper

    千人学习 2017-01-20 07:38:11
    ZooKeeper是现在企业项目开发之中使用多的协调一致性组件,其不仅仅在大数据领域内有着重要的作用,在分布式开发领域内依然重要,本课程将为读者讲解ZooKeeper的作用,以及相关的代码开发操作。
  • ZooKeeper

    万次阅读 2020-06-05 15:11:21
    ZooKeeper的概述,单体安装以及分布式安装、客户端操作命令以及Java客户端操作

    一、概述

    Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。

    1.1 工作机制

    Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管理模式。
    ZooKeeper工作机制

    1.2 特点

    在这里插入图片描述

    1. Zookeeper是由一个领导者(leader),多个跟随者(follower)组成的集群。Leader负责进行投票的发起和决议,更新系统状态;Follower用于接收客户请求并向客户端返回结果,在选举Leader过程中参与投票
    2. 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。
    3. 全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个server,数据都是一致的。
    4. 更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行。
    5. 数据更新原子性,一次数据更新要么成功,要么失败。
    6. 实时性,在一定时间范围内,client能读到最新数据。

    1.3 数据结构

    ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。
    在这里插入图片描述

    1.4 应用场景

    提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

    ①统一命名服务
    在分布式环境下,经常需要对应用/服务进行统一命名,便于识别不同服务。

    • 类似于域名与ip之间对应关系,ip不容易记住,而域名容易记住
    • 通过名称来获取资源或服务的地址,提供者等信息
      在这里插入图片描述
      ②统一配管理

    分布式环境下,配置文件管理和同步是一个常见问题。一个集群中,所有节点的配置信息是一致的,比如Hadoop集群。对配置文件修改后,希望能够快速同步到各个节点上。

    配置管理可交由ZooKeeper实现。可将配置信息写入ZooKeeper上的一个Znode,各个节点监听这个Znode,一旦Znode中的数据被修改,ZooKeeper将通知各个节点。
    在这里插入图片描述
    ③统一集群管理
    分布式环境中,实时掌握每个节点的状态是必要的,可根据节点实时状态做出一些调整。

    统一集群管理可交由ZooKeeper实现,可将节点信息写入ZooKeeper上的一个Znode,监听这个Znode可获取它的实时状态变化。

    典型应用:HBaseMaster状态监控与选举。
    在这里插入图片描述
    ④服务器动态上下线

    客户端能实时洞察到服务器上下线的变化
    在这里插入图片描述
    ⑤软负载均衡
    Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求
    在这里插入图片描述

    二、Zookeeper安装

    2.1 本地模式安装部署

    ①前提:安装Jdk和下载zookeeper-3.4.10.tar.gz

    ②复制配置文件

    [root@hadoop100 conf]$ cp zoo_sample.cfg zoo.cfg
    

    ③修改dataDir

    [root@hadoop100 conf]$ vim zoo.cfg
    dataDir=/opt/module/zookeeper-3.4.10/zkData
    [root@hadoop100 zookeeper-3.4.10]$ mkdir zkData
    

    ④启动Zookeeper

    [root@hadoop100 conf]$ bin/zkServer.sh start
    

    ⑤查看ZooKeeper启动状态

    [root@hadoop100 conf]$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: standalone
    

    2.2 配置参数解读

    Zookeeper中的配置文件zoo.cfg中参数含义解读如下:

    1. tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒
      Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
    2. initLimit =10:LF初始通信时限
      集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限
    3. syncLimit =5:LF同步通信时限
      集群中LeaderFollower之间的最大响应时间单位,假如响应超过syncLimit * tickTimeLeader认为Follwer死掉,从服务器列表中删除Follwer
    4. dataDir:数据文件目录+数据持久化路径
      主要用于保存Zookeeper中的数据
    5. clientPort =2181:客户端连接端口
      监听客户端连接的端口

    2.3 分布式安装部署

    ①在zkData目录下创建一个myid的文件

    [root@hadoop100 zkData]$ vim myid
    0
    

    ②分发该文件并修改值为1、2

    [root@hadoop100 conf]$ xsync myid
    

    ③修改配置文件zoo.cfg并分发到其他服务器

    [root@hadoop100 conf]$ vim zoo.cfg
    #######################cluster##########################
    server.0=hadoop100:2888:3888
    server.1=hadoop101:2888:3888
    server.2=hadoop102:2888:3888
    

    配置参数说明server.A=B:C:D

    A:表示这个是第几号服务器,即配置的myid
    B:服务器的地址
    C:服务器Follower与集群中的Leader服务器交换信息的端口
    D:执行选举时服务器相互通信的端口

    ④分别启动Zookeeper

    [root@hadoop100 zookeeper-3.4.10]$ bin/zkServer.sh start
    [root@hadoop101 zookeeper-3.4.10]$ bin/zkServer.sh start
    [root@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
    

    ⑤查看集群状态

    [root@hadoop100 zookeeper-3.4.10]$ bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    [root@hadoop101 zookeeper-3.4.10]$ bbin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: leader
    [root@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    

    三、客户端命令行操作

    命令基本语法 功能描述
    help 显示所有操作命令
    ls path [watch] 使用ls命令来查看当前znode中所包含的内容
    ls path [watch] 查看当前节点数据并能看到更新次数等数据
    create 普通创建
    -s 含有序列
    -e 临时(重启或者超时消失)
    get path [watch] 获得节点的值
    set 设置节点的具体值
    stat 查看节点状态
    delete 删除节点
    rmr 递归删除节点

    ①启动客户端

    [root@hadoop100 zookeeper-3.4.10]$ bin/zkCli.sh
    

    ②显示所有操作命令

    [zk: localhost:2181(CONNECTED) 0] help
    

    ③查看当前znode中所包含的内容

    [zk: localhost:2181(CONNECTED) 1] ls /
    [zookeeper]
    

    ④查看当前节点详细数据

    [zk: localhost:2181(CONNECTED) 2] ls2 /
    [zookeeper]
    cZxid = 0x0
    ctime = Thu Jan 01 08:00:00 CST 1970
    mZxid = 0x0
    mtime = Thu Jan 01 08:00:00 CST 1970
    pZxid = 0x0
    cversion = -1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 0
    numChildren = 1
    

    ⑤创建普通节点

    [zk: localhost:2181(CONNECTED) 3] create /sanguo "history"
    Created /sanguo
    

    ⑥获得节点的值

    [zk: localhost:2181(CONNECTED) 5] get /sanguo
    history
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000003
    mtime = Wed Aug 29 00:03:23 CST 2018
    pZxid = 0x100000004
    cversion = 1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 7
    numChildren = 1
    

    ⑦修改节点数据值

    [zk: localhost:2181(CONNECTED) 6] set /sanguo "wuchenen"
    

    ⑧删除节点

    [zk: localhost:2181(CONNECTED) 7] delete /sanguo
    

    ⑨递归删除节点

    [zk: localhost:2181(CONNECTED) 8] rmr /sanguo
    

    ⑩查看节点状态

    [zk: localhost:2181(CONNECTED) 9] stat /sanguo
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000011
    mtime = Wed Aug 29 00:21:23 CST 2018
    pZxid = 0x100000014
    cversion = 9
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 4
    numChildren = 1
    

    四、Java客户端操作

    引入依赖:

    <dependency>
    	<groupId>org.apache.zookeeper</groupId>
    	<artifactId>zookeeper</artifactId>
    	<version>3.4.10</version>
    </dependency>
    

    初始化ZooKeeper对象:

    public class ZKTest {
    
        private static String connectString = "192.168.192.100:2181";
    
        private static int sessionTimeout = 2000;
    
        private ZooKeeper zkClient = null;
    
        @Before
        public void init() throws IOException {
    		zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {});
        }
    }
    

    创建子节点:

        @Test
        public void create() throws KeeperException, InterruptedException {
                 zkClient.create("/jinguo", "simayu".getBytes(),
                    ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        }
    

    查看子节点信息:

        @Test
        public void chlidren() throws KeeperException, InterruptedException {
            List<String> children = zkClient.getChildren("/", true);
            children.forEach(child -> System.out.println(child));
        }
    

    判断Znode是否存在

    @Test
    public void exist() throws Exception {
    	Stat stat = zkClient.exists("/eclipse", false);
    	System.out.println(stat == null ? "not exist" : "exist");
    }
    
    
    展开全文
  • ZOOKEEPER

    千次阅读 2017-06-19 10:53:26
    上传zookeeper包 /usr 下; 解压; tar -xzvf zookeeper-3.4.10.tar.gz 换名字; mv zookeeper-3.4.10 zookeeper 删包; rm -rf zookeeper-3.4.10.tar.gz 进入zookeeper; cd zookeeper/ 复制zoo.cfg; cp conf/zoo...
    1. 上传zookeeper包 /usr 下;
    2. 进入/usr目录
      cd /usr/
    3. 解压;
      tar -xzvf zookeeper-3.4.10.tar.gz
    4. 换名字;
      mv zookeeper-3.4.10 zookeeper
    5. 删包;
      rm -rf zookeeper-3.4.10.tar.gz
    6. 进入zookeeper;
      cd zookeeper/
    7. 复制zoo.cfg;
      cp conf/zoo_sample.cfg conf/zoo.cfg
    8. 修改zoo.cfg;
      vi conf/zoo.cfg
    9. 添加如下代码;
      dataDir=/usr/zookeeper/data
      dataLogDir=/usr/zookeeper/logs
      server.1=centos201:2888:3888
      server.2=centos202:2888:3888
      server.3=centos203:2888:3888
    10. 创建data和logs;
      mkdir data mkdir logs
    11. 写入myid
      主节点echo 1 > data/myid
      次节点echo 2 > data/myid
      次节点echo 3 > data/myid
    12. 修改zkEnv.sh
      vi bin/zkEnv.sh
    13. 添加如下代码
      在这代码下
      **ZOOBINDIR="${ZOOBINDIR:-/usr/bin}"
      ZOOKEEPER_PREFIX="${ZOOBINDIR}/.."**
      添加以下代码
      ZOOKEEPER_LOG_DIR=/usr/zookeeper/logs/
    在bin/zkEnv.sh 
    
     中修改:​
    
    if [ "x${ZOO_LOG_DIR}" = "x" ]
    
    then
    
        ZOO_LOG_DIR="/usr/zookeeper"
    
    fi

    再source zkEnv.sh

    1. 授权
      chown -R wuyang:wuyang /usr/zookeeper/

    2. 切换用户
      su wuyang

    3. 启动三台
      bin/zkServer.sh start

    4. 查看状态
      bin/zkServer.sh status

    创建脚本vi start-all.sh,这样就不用一台一台运行

    #!/bin/bash
    #ip映射名字
    ip_array=("centos201" "centos202" "centos203")
    #用户
    user="wuyang"
    for ip in ${ip_array[*]}
    do
        ssh $user@$ip   << remotessh
        cd /usr/zookeeper/bin/
        ./zkServer.sh start
        exit
    remotessh
    
    done

    脚本全部停止vi stop-all.sh

    #!/bin/bash
    ip_array=("centos201" "centos202" "centos203")
    user="wuyang"
    for ip in ${ip_array[*]}
    do
        ssh $user@$ip   << remotessh
        cd /usr/zookeeper/bin/
        ./zkServer.sh stop
        exit
    remotessh
    done

    脚本授权
    777 是最高权限,有读、写、执行权限;和属组用户和其他用户的读、写、执行权限。
    其他权限分别是
    -rw——- (600) – 只有读写权限。
    -rw-r–r– (644) – 只有有读写权限;而属组用户和其他用户只有读权限。
    -rwx—— (700) – 只有有读、写、执行权限。
    -rwxr-xr-x (755) – 有读、写、执行权限;而属组用户和其他用户只有读、执行权限。
    -rwx–x–x (711) – 有读、写、执行权限;而属组用户和其他用户只有执行权限。

    chmod 777 start-all.sh
    chmod 777 stop-all.sh
    展开全文
  • Zookeeper入门看这篇就够了

    万次阅读 多人点赞 2018-07-12 14:48:06
    Zookeeper是什么官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、...
    Zookeeper是什么

    官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

    上面的解释有点抽象,简单来说zookeeper=文件系统+监听通知机制。

    1、 文件系统

    Zookeeper维护一个类似文件系统的数据结构:


    每个子目录项如 NameService 都被称作为 znode(目录节点),和文件系统一样,我们能够自由的增加、删除znode,在一个znode下增加、删除子znode,唯一的不同在于znode是可以存储数据的。

    有四种类型的znode:

    • PERSISTENT-持久化目录节点

      客户端与zookeeper断开连接后,该节点依旧存在

    • PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点

      客户端与zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号

    • EPHEMERAL-临时目录节点

      客户端与zookeeper断开连接后,该节点被删除

    • EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点

      客户端与zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号

    2、 监听通知机制

    客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、被删除、子目录节点增加删除)时,zookeeper会通知客户端。

    就这么简单,下面我们看看Zookeeper能做点什么呢?

    Zookeeper能做什么

    zookeeper功能非常强大,可以实现诸如分布式应用配置管理、统一命名服务、状态同步服务、集群管理等功能,我们这里拿比较简单的分布式应用配置管理为例来说明。

    假设我们的程序是分布式部署在多台机器上,如果我们要改变程序的配置文件,需要逐台机器去修改,非常麻烦,现在把这些配置全部放到zookeeper上去,保存在 zookeeper 的某个目录节点中,然后所有相关应用程序对这个目录节点进行监听,一旦配置信息发生变化,每个应用程序就会收到 zookeeper 的通知,然后从 zookeeper 获取新的配置信息应用到系统中。

    如上,你大致应该了解zookeeper是个什么东西,大概能做些什么了,我们马上来学习下zookeeper的安装及使用,并开发一个小程序来实现zookeeper这个分布式配置管理的功能。

    Zookeeper单机模式安装

    Step1:配置JAVA环境,检验环境:java -version

    Step2:下载并解压zookeeper

    # cd /usr/local
    # wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
    # tar -zxvf zookeeper-3.4.12.tar.gz
    # cd zookeeper-3.4.12

    Step3:重命名配置文件zoo_sample.cfg

    # cp conf/zoo_sample.cfg conf/zoo.cfg

    Step4:启动zookeeper

    # bin/zkServer.sh start

    Step5:检测是否成功启动,用zookeeper客户端连接下服务端

    # bin/zkCli.sh

    Zookeeper使用

    使用客户端命令操作zookeeper

    1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容



    2、创建一个新的 znode ,使用 create /zkPro myData


    3、再次使用 ls 命令来查看现在 zookeeper 中所包含的内容:


    4、下面我们运行 get 命令来确认第二步中所创建的 znode 是否包含我们所创建的字符串:


    5、下面我们通过 set 命令来对 zk 所关联的字符串进行设置:


    6、下面我们将刚才创建的 znode 删除


    使用Java API操作zookeeper

    使用Java API操作zookeeper需要引用下面的包


    下面我们来实现上面说的分布式配置中心:

    1、在zookeeper里增加一个目录节点,并且把配置信息存储在里面

    2、启动两个zookeeper客户端程序,代码如下所示

    import java.util.concurrent.CountDownLatch;
    import org.apache.zookeeper.WatchedEvent;
    import org.apache.zookeeper.Watcher;
    import org.apache.zookeeper.Watcher.Event.EventType;
    import org.apache.zookeeper.Watcher.Event.KeeperState;
    import org.apache.zookeeper.ZooKeeper;
    import org.apache.zookeeper.data.Stat;
    
    /**
     * 分布式配置中心demo
     * @author 
     *
     */
    public class ZooKeeperProSync implements Watcher {
    
        private static CountDownLatch connectedSemaphore = new CountDownLatch(1);
        private static ZooKeeper zk = null;
        private static Stat stat = new Stat();
    
        public static void main(String[] args) throws Exception {
            //zookeeper配置数据存放路径
            String path = "/username";
            //连接zookeeper并且注册一个默认的监听器
            zk = new ZooKeeper("192.168.31.100:2181", 5000, //
                    new ZooKeeperProSync());
            //等待zk连接成功的通知
            connectedSemaphore.await();
            //获取path目录节点的配置数据,并注册默认的监听器
            System.out.println(new String(zk.getData(path, true, stat)));
    
            Thread.sleep(Integer.MAX_VALUE);
        }
    
        public void process(WatchedEvent event) {
            if (KeeperState.SyncConnected == event.getState()) {  //zk连接成功通知事件
                if (EventType.None == event.getType() && null == event.getPath()) {
                    connectedSemaphore.countDown();
                } else if (event.getType() == EventType.NodeDataChanged) {  //zk目录节点数据变化通知事件
                    try {
                        System.out.println("配置已修改,新值为:" + new String(zk.getData(event.getPath(), true, stat)));
                    } catch (Exception e) {
                    }
                }
            }
        }
    }

    两个程序启动后都正确的读取到了zookeeper的/username目录节点下的数据'qingfeng'

    3、我们在zookeeper里修改下目录节点/username下的数据


    修改完成后,我们看见两个程序后台都及时收到了他们监听的目录节点数据变更后的值,如下所示


    Zookeeper集群模式安装

    本例搭建的是伪集群模式,即一台机器上启动三个zookeeper实例组成集群,真正的集群模式无非就是实例IP地址不同,搭建方法没有区别

    Step1:配置JAVA环境,检验环境:java -version

    Step2:下载并解压zookeeper

    # cd /usr/local
    # wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
    # tar -zxvf zookeeper-3.4.12.tar.gz
    # cd zookeeper-3.4.12

    Step3:重命名 zoo_sample.cfg文件

    # cp conf/zoo_sample.cfg conf/zoo-1.cfg

    Step4:修改配置文件zoo-1.cfg,原配置文件里有的,修改成下面的值,没有的则加上

    # vim conf/zoo-1.cfg
    dataDir=/tmp/zookeeper-1
    clientPort=2181
    server.1=127.0.0.1:2888:3888
    server.2=127.0.0.1:2889:3889
    server.3=127.0.0.1:2890:3890

    配置说明

    • tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
    • initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒
    • syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10秒
    • dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
    • clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
    • server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

    Step4:再从zoo-1.cfg复制两个配置文件zoo-2.cfg和zoo-3.cfg,只需修改dataDir和clientPort不同即可

    # cp conf/zoo-1.cfg conf/zoo-2.cfg
    # cp conf/zoo-1.cfg conf/zoo-3.cfg
    # vim conf/zoo-2.cfg
    dataDir=/tmp/zookeeper-2
    clientPort=2182
    # vim conf/zoo-2.cfg
    dataDir=/tmp/zookeeper-3
    clientPort=2183

    Step5:标识Server ID

    创建三个文件夹/tmp/zookeeper-1,/tmp/zookeeper-2,/tmp/zookeeper-2,在每个目录中创建文件myid 文件,写入当前实例的server id,即1.2.3

    # cd /tmp/zookeeper-1
    # vim myid
    1
    # cd /tmp/zookeeper-2
    # vim myid
    2
    # cd /tmp/zookeeper-3
    # vim myid
    3

    Step6:启动三个zookeeper实例

    # bin/zkServer.sh start conf/zoo-1.cfg
    # bin/zkServer.sh start conf/zoo-2.cfg
    # bin/zkServer.sh start conf/zoo-3.cfg

    Step7:检测集群状态,也可以直接用命令“zkCli.sh -server IP:PORT”连接zookeeper服务端检测


    至此,我们对zookeeper就算有了一个入门的了解,当然zookeeper远比我们这里描述的功能多,比如用zookeeper实现集群管理,分布式锁,分布式队列,zookeeper集群leader选举等等

    推荐阅读:https://www.roncoo.com/course/view/255bac222b1b4300b42838b58fea3a2e

    文章来源:https://my.oschina.net/u/3796575/blog/1845035

    展开全文
  • ZooKeeper面试题(2020最新版)

    万次阅读 多人点赞 2020-02-19 18:08:59
    ZooKeeper 是什么?2. ZooKeeper 提供了什么?3. Zookeeper 文件系统4. Zookeeper 怎么保证主从节点的状态同步?5. 四种类型的数据节点 Znode6. Zookeeper Watcher 机制 -- 数据变更通知7. 客户端注册 Watcher 实现...
  • ZooKeeper详解

    万次阅读 2020-09-17 14:49:45
    ZooKeeper 是什么? ZooKeeper 是一个开源的分布式协调服务。它是一个为分布式应用提供一致性服务的软件,分布式应用程序可以基于 Zookeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群...
  • 一致性(Consistency)、 ...zookeeper 一致性协议 CP + AP 可切换 AP CP CP 健康检查 TCP/HTTP/MySQL/Client Beat Client Beat TCP/HTTP/gRPC/CMD Client Beat 负载均衡 权重/DSL/metadata/CMDB Ribbon Fabio
  • 大数据_09 【zookeeper集群搭建】

    万次阅读 2020-10-20 17:56:48
    大数据_08 【zookeeper集群搭建】01 linux 环境02 下载安装包 上传 解压03 修改环境变量(注意:3台zookeeper都需要修改)04 修改Zookeeper配置文件05 创建文件夹06 分发安装包到其他机器07 启动(每台机器)08 查看...
  • 分布式面试之ZooKeeper面试题

    万次阅读 2020-10-05 23:38:37
    文章目录1、ZooKeeper 是什么?2、ZooKeeper 提供了什么?3、Zookeeper文件系统4、四种类型的znode5、Zookeeper通知机制6、Zookeeper 做了什么?7、zk的命名服务(文件系统)8、zk的配置管理(文件系统、通知机制)9...
  • zookeeper运维

    万次阅读 2014-02-09 15:06:37
    尽管zookeeper在编程上有很多的阱陷,API也非常的难用,但zookeeper服务本身可以说是很牢靠的了,所以在网上貌似关于运维的文章比较少。 但省心并不代表不会出麻烦,下面总结下zookeeper运维相关的东东。 重要的...
  • zookeeper笔记

    万次阅读 2020-09-06 00:15:33
    【1】zookeeper安装与启动 【2】集群配置(伪集群) 【3】常用命令 【4】CentOS安装zookeeper 【5】zookeeper启动占用8080端口 【6】ubuntu16.04部署zookeeper集群 【7】端口说明 【8】日志说明 【9】配置开机启动 ...
  • Apache ZooKeeper

    万次阅读 2019-12-09 21:24:18
    1丶Zookeeper基本知识 1.1、ZooKeeper集群搭建 Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台 servers组成。这是因为为了保证Leader选举(基于Paxos算法的实现)能过得 到多数的支持,所以...
  • Zookeeper简单介绍

    万次阅读 2017-07-06 23:00:17
    三、ZooKeeper概述 四、ZooKeeper数据模型 4.1 ZooKeeper数据模型Znode 4.2 ZooKeeper中的时间 4.3 ZooKeeper节点属性 五、ZooKeeper服务中操作 六、Watch触发器 七、ZooKeeper应用举例 7.1 分布式锁...
  • 【1】zookeeper集群搭建

    万次阅读 2019-12-10 14:16:45
    知识点1:搭建Zookeeper集群 1、搭建要求 2、准备工作 3、配置集群 4、启动集群 5、模拟集群异常 知识点2:Dubbox连接zookeeper集群 知识点1:搭建Zookeeper集群 1、搭建要求 真实的集群是需要部署在不同的...
  • CentOS下搭建Zookeeper集群

    万次阅读 多人点赞 2018-08-13 21:02:51
    Zookeeper简介 ZooKeeper是一个开源的分布式应用协调服务,用于在分布式应用各个节点之间进行协调,并通过稳健的同步技术维护共享数据。 这里提到了一个新名词:“分布式应用”,让我们先来简单地快速了解一下什么...
  • ZooKeeper 简介

    万次阅读 2019-12-10 09:05:11
    Zookeeper基本知识1.1 ZooKeeper集群搭建1.2 ZooKeeper概述1.3 ZooKeeper特性1.4 ZooKeeper集群角色2. ZooKeeper shell2.1 客户端连接2.2 shell基本操作3. ZooKeeper数据模型3.1 数据结构图3.2 节点类型3.3 节点...
  • 自动化安装zookeeper脚本

    万次阅读 2017-12-20 16:39:31
    linux下shell编写的zookeeper自动化安装脚本
  • 安装Zookeeper

    万次阅读 2019-12-09 21:32:01
    安装zookeeper的注意事项: 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 下载安装包、解压 下载地址: CDH版本:...
  • Zookeeper系列(一)

    万次阅读 2017-08-12 14:57:05
    一、ZooKeeper的背景 1.1 认识ZooKeeper 1.2 为什么使用ZooKeeper 1.3 ZooKeeper的应用 二、ZooKeeper的介绍 2.1 ZooKeeper的概述 2.2 ZooKeeper的设计目标 (1)简单化 (2)健壮性 (3)有序性 (4)...
  • Zookeeper集群安装教程

    万次阅读 2019-10-13 16:37:53
    引言 好久没有安装这些东西,在此处记录一下 ========================教程开始===========...[root@acs soft]# wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 2、解...
  • Zookeeper原理架构

    万次阅读 多人点赞 2016-04-22 11:59:44
    本文纯属个人笔记,通俗易懂,转载请附上原文链接!部分资料摘自网络,如有雷同,纯属巧合!Zookeeper到底是什么!?学一个东西,不搞明白他是什么东西,哪...在Zookeeper的官网上有这么一句话:ZooKeeper is a central
  • 单节点ZooKeeper搭建

    千次阅读 2020-02-28 16:56:16
    ZooKeeper
  • zookeeper单机与集群的部署

    万次阅读 2020-10-16 14:21:31
    zookeeper单机与集群的部署 zookeeper采用java语言开发,所以zookeeper的运行需要安装JDK。 安装环境: # cat /proc/version Linux version 3.10.0-123.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version ...
  • ZooKeeper入门

    千次阅读 2020-08-09 18:25:19
    ZooKeeper是一个分布式服务协调框架,提供了分布式数据一致性的解决方案,基于ZooKeeper的数据结构,Watcher,选举机制等特点,可以实现数据的发布/订阅,软负载均衡,命名服务,统一配置管理,分布式锁,集群管理...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 120,178
精华内容 48,071
关键字:

zookeeper