zookeeper 订阅
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集,提供Java和C的接口。ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在$zookeeper_home\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本。(概述图片来源: [1]  ) 展开全文
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集,提供Java和C的接口。ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在$zookeeper_home\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本。(概述图片来源: [1]  )
信息
领    域
大数据技术,分布式系统
类    别
分布式系统的可靠协调系统
特    点
高效,可靠
所    属
Hadoop的正式子项目
外文名
ZooKeeper
zookeeper原理
ZooKeeper是以Fast Paxos算法为基础的,Paxos 算法存在活锁的问题,即当有多个proposer交错提交时,有可能互相排斥导致没有一个proposer能提交成功,而Fast Paxos做了一些优化,通过选举产生一个leader (领导者),只有leader才能提交proposer,具体算法可见Fast Paxos。因此,要想弄懂ZooKeeper首先得对Fast Paxos有所了解。ZooKeeper的基本运转流程:1、选举Leader。2、同步数据。3、选举Leader过程中算法有很多,但要达到的选举标准是一致的。4、Leader要具有最高的执行ID,类似root权限。5、集群中大多数的机器得到响应并接受选出的Leader。
收起全文
精华内容
下载资源
问答
  • Zookeeper

    万次阅读 2019-04-01 21:21:37
    Zookeeper

    主页:https://zookeeper.apache.org/ 


    1 Zookeeper默认的几个端口号

    • 2888:Leader 和 Follower 之间通信的端口号。
    • 3888:是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
    • 2181:clientPort 客户端连接端口,用于监听客户端连接的端口,客户端连接集群就需要访问这个端口。

    2 Zookeeper入门

    2.1 概述

    Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。

    2.2 特点

    1. Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群。
    2. 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。 
    3. 全局数据一致:每个server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。 
    4. 更新请求顺序进行,来自同一个Client的更新请求按其发送顺序依次执行。 
    5. 数据更新原子性,一次数据更新要么成功,要么失败。 
    6. 实时性,在一定时间范围内,Client能读到最新数据。 

    2.3 数据结构

    ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。

    2.4 应用场景

    提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

     

    2.5 下载地址 

    官网首页:https://zookeeper.apache.org/


    3 Zookeeper安装

    3.1 本地模式安装部署

    3.1.1 安装前准备

    (1)安装Jdk

    (2)拷贝Zookeeper安装包到Linux系统下

    (3)解压到指定目录

    [atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

    3.1.2 配置修改

    (1)将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg。

    [atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

     (2)打开zoo.cfg文件,修改dataDir路径。

    [atguigu@hadoop102 zookeeper-3.4.10]$ vim zoo.cfg

     修改如下内容:

    dataDir=/opt/module/zookeeper-3.4.10/zkData

    (3)在/opt/module/zookeeper-3.4.10/这个目录上创建zkData文件夹

    [atguigu@hadoop102 zookeeper-3.4.10]$ mkdir zkData

    注:这里必须手动创建,和 hdfs 不同,hdfs 里面的配置不需要手动创建。

    3.1.3 操作Zookeeper

    (1)启动Zookeeper

    [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start

     (2)查看进程是否启动

    [atguigu@hadoop102 zookeeper-3.4.10]$ jps
    4020 Jps
    4001 QuorumPeerMain

    (3)查看状态

     [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: standalone

     (4)启动客户端

    [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkCli.sh

     (5)退出客户端

    [zk: localhost:2181(CONNECTED) 0] quit

     (6)停止Zookeeper

     [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh stop

    3.2 配置参数解读

    Zookeeper中的配置文件zoo.cfg中参数含义解读如下

    1.tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒

    Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。

    它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

    2.initLimit =10:LF初始通信时限

    集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限。

    3.syncLimit =5:LF同步通信时限

    集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。

    4.dataDir:数据文件目录+数据持久化路径

    主要用于保存Zookeeper中的数据。

    5.clientPort =2181:客户端连接端口

    监听客户端连接的端口。 


    4 Zookeeper内部原理

    4.1 选举机制(面试重点)

    1)半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。

    2)Zookeeper虽然在配置文件中并没有指定MasterSlave但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的。

    3)以一个简单的例子来说明整个选举的过程。

    假设有五台服务器组成的Zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。假设这些服务器依序启动,来看看会发生什么,下图所示。

    (1)服务器1启动,此时只有它一台服务器启动了,它发出去的报文没有任何响应,所以它的选举状态一直是LOOKING状态。

    (2)服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1、2还是继续保持LOOKING状态。

    (3)服务器3启动,根据前面的理论分析,服务器3成为服务器1、2、3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的Leader。

    (4)服务器4启动,根据前面的分析,理论上服务器4应该是服务器1、2、3、4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3,所以它只能接收当小弟的命了。

    (5)服务器5启动,同4一样当小弟。

    4.2 节点类型

    4.3 Stat结构体

    1)czxid-创建节点的事务zxid

    每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。

    事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。

    2)ctime - znode被创建的毫秒数(从1970年开始)

    3)mzxid - znode最后更新的事务zxid

    4)mtime - znode最后修改的毫秒数(从1970年开始)

    5)pZxid-znode最后更新的子节点zxid

    6)cversion - znode子节点变化号,znode子节点修改次数

    7)dataversion - znode数据变化号

    8)aclVersion - znode访问控制列表的变化号

    9)ephemeralOwner- 如果是临时节点,这个是znode拥有者的session id。如果不是临时节点则是0。

    10)dataLength- znode的数据长度

    11)numChildren - znode子节点数量

    4.4 监听器原理(面试重点)

    4.5 写数据流程


    5 Zookeeper实战(开发重点) 

    5.1 分布式安装部署

    5.1.1 集群规划

    在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

    5.1.2 解压安装

    (1)解压Zookeeper安装包到/opt/module/目录下

    [atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

     (2)同步/opt/module/zookeeper-3.4.10目录内容到hadoop103、hadoop104

    [atguigu@hadoop102 module]$ xsync zookeeper-3.4.10/

    5.1.3 配置服务器编号

    (1)在/opt/module/zookeeper-3.4.10/这个目录下创建zkData

    [atguigu@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData

     (2)在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件

    [atguigu@hadoop102 zkData]$ touch myid

    注意:添加myid文件,注意一定要在linux里面创建,在notepad++里面很可能乱码

    (3)编辑myid文件

     [atguigu@hadoop102 zkData]$ vi myid

     在文件中添加与server对应的编号:

    2

     (4)拷贝配置好的zookeeper到其他机器上

    [atguigu@hadoop102 zkData]$ xsync myid

     并分别在hadoop102、hadoop103上修改myid文件中内容为3、4

    5.1.4 配置zoo.cfg文件

    (1)重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

    [atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

    (2)打开zoo.cfg文件

    [atguigu@hadoop102 conf]$ vim zoo.cfg

    修改数据存储路径配置

    dataDir=/opt/module/zookeeper-3.4.10/zkData

    增加如下配置

    #######################cluster##########################
    server.2=hadoop102:2888:3888
    server.3=hadoop103:2888:3888
    server.4=hadoop104:2888:3888

     (3)同步zoo.cfg配置文件

    [atguigu@hadoop102 conf]$ xsync zoo.cfg

     (4)配置参数解读

    server.A=B:C:D
    • A:是一个数字,表示这个是第几号服务器,集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
    • B:是这个服务器的ip地址;
    • C:是这个服务器与集群中的Leader服务器交换信息的端口;
    • D:是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

    5.1.5 集群操作

    (1)分别启动Zookeeper

    [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
    [atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
    [atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start

     (2)查看状态

    [atguigu@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    [atguigu@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: leader
    [atguigu@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
     

    5.2 客户端命令行操作

    命令基本语法

    功能描述

    help

    显示所有操作命令

    ls path [watch]

    使用 ls 命令来查看当前znode中所包含的内容

    ls2 path [watch]

    查看当前节点数据并能看到更新次数等数据

    create

    普通创建

    -s  含有序列

    -e  临时(重启或者超时消失)

    get path [watch]

    获得节点的值

    set

    设置节点的具体值

    stat

    查看节点状态

    delete

    删除节点

    rmr

    递归删除节点

    5.2.1 启动客户端

    [atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh

    5.2.2 显示所有操作命令

    [zk: localhost:2181(CONNECTED) 1] help

    5.2.3 查看当前znode中所包含的内容

    [zk: localhost:2181(CONNECTED) 0] ls /

    [zookeeper]

    5.2.4 查看当前节点详细数据

    [zk: localhost:2181(CONNECTED) 1] ls2 /
    [zookeeper]
    cZxid = 0x0
    ctime = Thu Jan 01 08:00:00 CST 1970
    mZxid = 0x0
    mtime = Thu Jan 01 08:00:00 CST 1970
    pZxid = 0x0
    cversion = -1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 0
    numChildren = 1

    5.2.5 分别创建2个普通节点

    [zk: localhost:2181(CONNECTED) 3] create /sanguo "jinlian"
    Created /sanguo
    [zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
    Created /sanguo/shuguo

    5.2.6 获得节点的值

    [zk: localhost:2181(CONNECTED) 5] get /sanguo
    jinlian
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000003
    mtime = Wed Aug 29 00:03:23 CST 2018
    pZxid = 0x100000004
    cversion = 1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 7
    numChildren = 1

    [zk: localhost:2181(CONNECTED) 6]
    [zk: localhost:2181(CONNECTED) 6] get /sanguo/shuguo
    liubei
    cZxid = 0x100000004
    ctime = Wed Aug 29 00:04:35 CST 2018
    mZxid = 0x100000004
    mtime = Wed Aug 29 00:04:35 CST 2018
    pZxid = 0x100000004
    cversion = 0
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 6
    numChildren = 0

    5.2.7 创建短暂节点

    [zk: localhost:2181(CONNECTED) 7] create -e /sanguo/wuguo "zhouyu"
    Created /sanguo/wuguo

     (1)在当前客户端是能查看到的

    [zk: localhost:2181(CONNECTED) 3] ls /sanguo 
    [wuguo, shuguo]

     (2)退出当前客户端然后再重启客户端

    [zk: localhost:2181(CONNECTED) 12] quit
    [atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh

     (3)再次查看根目录下短暂节点已经删除

    [zk: localhost:2181(CONNECTED) 0] ls /sanguo
    [shuguo]

    5.2.8 创建带序号的节点

    (1)先创建一个普通的根节点/sanguo/weiguo

    [zk: localhost:2181(CONNECTED) 1] create /sanguo/weiguo "caocao"
    Created /sanguo/weiguo

     (2)创建带序号的节点

    [zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
    Created /sanguo/weiguo/xiaoqiao0000000000
    [zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
    Created /sanguo/weiguo/daqiao0000000001
    [zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
    Created /sanguo/weiguo/diaocan0000000002

     如果原来没有序号节点,序号从0开始依次递增。如果原节点下已有2个节点,则再排序时从2开始,以此类推。

    5.2.9 修改节点数据值

    [zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"

    5.2.10 节点的值变化监听

    (1)在hadoop104主机上注册监听/sanguo节点数据变化

    [zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch

    (2)在hadoop103主机上修改/sanguo节点的数据

    [zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"

    (3)观察hadoop104主机收到数据变化的监听

    WATCHER::
    WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

    5.2.11 节点的子节点变化监听(路径变化)

    (1)在hadoop104主机上注册监听/sanguo节点的子节点变化

    [zk: localhost:2181(CONNECTED) 1] ls /sanguo watch
    [aa0000000001, server101]

    (2)在hadoop103主机/sanguo节点上创建子节点

    [zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
    Created /sanguo/jin

    (3)观察hadoop104主机收到子节点变化的监听

    WATCHER::
    WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

    5.2.12 删除节点

    [zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

    5.2.13 递归删除节点

    [zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo

    5.2.14 查看节点状态

     [zk: localhost:2181(CONNECTED) 17] stat /sanguo
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000011
    mtime = Wed Aug 29 00:21:23 CST 2018
    pZxid = 0x100000014
    cversion = 9
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 4
    numChildren = 1

    5.3 API应用 

    4.3.1 Eclipse环境搭建

    1.创建一个Maven工程

    2.添加pom文件

    <dependencies>
    		<dependency>
    			<groupId>junit</groupId>
    			<artifactId>junit</artifactId>
    			<version>4.12</version>
    		</dependency>
    		<dependency>
    			<groupId>org.apache.logging.log4j</groupId>
    			<artifactId>log4j-core</artifactId>
    			<version>2.8.2</version>
    		</dependency>
    		<!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
    		<dependency>
    			<groupId>org.apache.zookeeper</groupId>
    			<artifactId>zookeeper</artifactId>
    			<version>3.4.10</version>
    		</dependency>
    </dependencies>
    
    // https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper
    compile group: 'org.apache.zookeeper', name: 'zookeeper', version: '3.4.10'
    // https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core
    compile group: 'org.apache.logging.log4j', name: 'log4j-core', version: '2.8.2'
    
    compile group: 'junit', name: 'junit', version: '4.12'

    3.拷贝log4j.properties文件到项目根目录

    需要在项目的src/main/resources目录下,新建一个文件,命名为“log4j.properties”,在文件中填入。

    log4j.rootLogger=INFO, stdout  
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
    log4j.appender.logfile=org.apache.log4j.FileAppender  
    log4j.appender.logfile.File=target/spring.log  
    log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
    log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n  
    

    4.3.2 创建ZooKeeper客户端

    private static String connectString =
     "hadoop102:2181,hadoop103:2181,hadoop104:2181";
    	private static int sessionTimeout = 2000;
    	private ZooKeeper zkClient = null;
    
    	@Before
    	public void init() throws Exception {
    	zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
    			@Override
    			public void process(WatchedEvent event) {
    				// 收到事件通知后的回调函数(用户的业务逻辑)
    				System.out.println(event.getType() + "--" + event.getPath());
    				// 再次启动监听
    				try {
    					zkClient.getChildren("/", true);
    				} catch (Exception e) {
    					e.printStackTrace();
    				}
    			}
    		});
    	}
    

    Lambda 简写: 

    /**
     * 创建ZooKeeper客户端
     * 提前运行
     */
    @Before
    public void init() throws Exception {
        zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {
            // 收到事件通知后的回调函数(用户的业务逻辑)
            System.out.println(event.getType() + "--" + event.getPath());
            // 再次启动监听
            try {
                zkClient.getChildren("/", true);
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
    }

    注释:注解 @Before 是提前执行的意思,多个集群之间用逗号前面不能有空格。

    2181 端口的来源:(客户端访问集群的时候,需要访问的端口号。)

    [atguigu@hadoop103 zookeeper-3.4.10]$ cat conf/zoo.cfg 
    ....省略........
    # the port at which the clients will connect
    clientPort=2181
    ....省略........
    [atguigu@hadoop103 zookeeper-3.4.10]$ 

    4.3.3 创建子节点

    // 创建子节点
    @Test
    public void create() throws Exception {
    		// 参数1:要创建的节点的路径; 参数2:节点数据 ; 参数3:节点权限 ;参数4:节点的类型
    		String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }
    
    public String create(final String path, byte data[], List<ACL> acl, CreateMode createMode)
    1.  path 创建的一个路径,你在哪个路径下创建节点。
    2. data[] 向这个路径上写什么数据,在客户端我们就演示过,如何不给数据的话创建是不成功的。
    3. acl 访问权限的控制。
    4. createMode 创建节点的时候节点的类型有两大类,一共四种。(短暂,持久,短暂带序号,持久带序号)

     权限控制解释: 

    org.apache.zookeeper.ZooDefs

     

    ZooDefs.Ids.ANYONE_ID_UNSAFE
    ZooDefs.Ids.AUTH_IDS
    ZooDefs.Ids.CREATOR_ALL_ACL (只有创建者才有ACL权限)
    ZooDefs.Ids.OPEN_ACL_UNSAFE (完全开放的ACL,任何连接的客户端都可以操作该属性znode)
    ZooDefs.Ids.READ_ACL_UNSAFE (只能读取ACL)

    CreateMode:

    CreateMode.EPHEMERAL 临时节点(连接断开自动删除)ephemeral 短暂的
    CreateMode.EPHEMERAL_SEQUENTIAL 临时有序节点(连接断开自动删除)sequential 按次序的
    CreateMode.PERSISTENT 持久化节点
    CreateMode.PERSISTENT_SEQUENTIAL 持久化有序节点persistent 持久的

    ephemeral 就shi 

    4.3.4 获取子节点并监听节点变化

    /**
     * 获取子节点并监听节点变化
     */
    @Test
    public void getChildren() throws Exception {
        List<String> children = zkClient.getChildren("/", true);
        for (String child : children) {
            System.out.println(child);
        }
        // 延时阻塞
        Thread.sleep(Long.MAX_VALUE);
    }

    监听器:

    /**
     * 创建ZooKeeper客户端
     * 提前运行
     */
    @Before
    public void init() throws Exception {
        zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {
            // 收到事件通知后的回调函数(用户的业务逻辑)
            System.out.println(event.getType() + "--" + event.getPath());
            // 再次启动监听
            try {
                zkClient.getChildren("/", true);//这里没有打印
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
    }
    public List<String> getChildren(String path, boolean watch)

     获取某个路径下所有的子节点,第二个参数为是否监听,是否监听这个路径上还有节点的增删。

    4.3.5 判断Znode是否存在

    // 判断znode是否存在
    @Test
    public void exist() throws Exception {
        Stat stat = zkClient.exists("/eclipse", false);
        System.out.println(stat == null ? "not exist" : "exist");
    }

    所有代码:

    import org.apache.zookeeper.*;
    import org.apache.zookeeper.data.Stat;
    import org.junit.Before;
    import org.junit.Test;
    import java.util.List;
    public class TestZookeeper {
        private static String connectString =
                "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        private static int sessionTimeout = 2000;
        private ZooKeeper zkClient = null;
    
    //
    //    /**
    //     * 创建ZooKeeper客户端
    //     * 提前运行
    //     */
    //    @Before
    //    public void init() throws Exception {
    //        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
    //            @Override
    //            public void process(WatchedEvent event) {
    //                // 收到事件通知后的回调函数(用户的业务逻辑)
    //                System.out.println(event.getType() + "--" + event.getPath());
    //                // 再次启动监听
    //                try {
    //                    zkClient.getChildren("/", true);
    //                } catch (Exception e) {
    //                    e.printStackTrace();
    //                }
    //            }
    //        });
    //    }
    
    
    
        /**
         * 创建ZooKeeper客户端
         * 提前运行
         */
        @Before
        public void init() throws Exception {
            zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {
                // 收到事件通知后的回调函数(用户的业务逻辑)
                System.out.println(event.getType() + "--" + event.getPath());
                // 再次启动监听
                try {
                    zkClient.getChildren("/", true);
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }
    
    
    
        /**
         * 创建子节点
         */
        @Test
        public void create() throws Exception {
            // 参数1:要创建的节点的路径; 参数2:节点数据 ; 参数3:节点权限 ;参数4:节点的类型
            String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
            System.out.println(nodeCreated);
        }
    
    
        /**
         * 获取子节点并监听节点变化
         */
        @Test
        public void getChildren() throws Exception {
            List<String> children = zkClient.getChildren("/", true);
            for (String child : children) {
                System.out.println(child);
            }
            // 延时阻塞
            Thread.sleep(Long.MAX_VALUE);
        }
    
    
        // 判断znode是否存在
        @Test
        public void exist() throws Exception {
            Stat stat = zkClient.exists("/eclipse", false);
            System.out.println(stat == null ? "not exist" : "exist");
        }
    
    
    }
    

    5.4 监听服务器节点动态上下线案例

    5.4.1 需求

    某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线。

    5.4.2 需求分析,如下图所示

    注:我们这里区分的客户端和服务端相对于 Zookeeper 集群来说都是客户端。 

    5.4.3 具体实现

    (0)先在集群上创建/servers节点

    [zk: localhost:2181(CONNECTED) 10] create /servers "servers"
    Created /servers

     (1)服务器端向Zookeeper注册代码

    import java.io.IOException;
    
    import org.apache.zookeeper.CreateMode;
    import org.apache.zookeeper.ZooKeeper;
    import org.apache.zookeeper.ZooDefs.Ids;
    
    public class DistributeServer {
        private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        private static int sessionTimeout = 2000;
        private ZooKeeper zk = null;
        private String parentNode = "/servers";
    
        // 创建到zk的客户端连接
        public void getConnect() throws IOException {
            zk = new ZooKeeper(connectString, sessionTimeout, event -> {
            });
        }
    
        /**
         *注册服务器
         * 创建一个临时的带序号的   CreateMode.EPHEMERAL_SEQUENTIAL  -e -s
         * @param hostname  当前服务器的名称
         */
        public void registServer(String hostname) throws Exception {
            String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
            System.out.println(hostname + " is online " + create);
        }
    
        // 业务功能
        public void business(String hostname) throws Exception {
            System.out.println(hostname + " is working ...");
            Thread.sleep(Long.MAX_VALUE);
        }
    
        public static void main(String[] args) throws Exception {
            args = new String[] {"hadoop101"};
    
            // 1获取zk连接
            DistributeServer server = new DistributeServer();
            server.getConnect();
            // 2 利用zk连接注册服务器信息
            server.registServer(args[0]);
            // 3 启动业务功能
            server.business(args[0]);
        }
    }
    

    (2)客户端代码

    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.List;
    
    import org.apache.zookeeper.ZooKeeper;
    
    public class DistributeClient {
        private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        private static int sessionTimeout = 2000;
        private ZooKeeper zk = null;
        private String parentNode = "/servers";
    
        // 创建到zk的客户端连接
        public void getConnect() throws IOException {
            zk = new ZooKeeper(connectString, sessionTimeout, event -> {
                // 再次启动监听
                try {
                    getServerList();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }
    
        // 获取服务器列表信息
        public void getServerList() throws Exception {
            // 1获取服务器子节点信息,并且对父节点进行监听
            List<String> children = zk.getChildren(parentNode, true);
            // 2存储服务器信息列表
            ArrayList<String> servers = new ArrayList<>();
            // 3遍历所有节点,获取节点中的主机名称信息
            for (String child : children) {
                byte[] data = zk.getData(parentNode + "/" + child, false, null);
                servers.add(new String(data));
            }
            // 4打印服务器列表信息
            System.out.println(servers);
        }
    
        // 业务功能
        public void business() throws Exception {
            System.out.println("client is working ...");
            Thread.sleep(Long.MAX_VALUE);
        }
    
        public static void main(String[] args) throws Exception {
            // 1获取zk连接
            DistributeClient client = new DistributeClient();
            client.getConnect();
            // 2获取servers的子节点信息,从中获取服务器信息列表
            client.getServerList();
            // 3业务进程启动
            client.business();
        }
    }
    
    

    测试:

    [zk: localhost:2181(CONNECTED) 10] create -e -s /servers/server "hadoop102" 

    注意:/servers 这个文件要提前存在。 


    6 企业面试真题

    6.1 请简述ZooKeeper的选举机制

    详见3.1。

    6.2 ZooKeeper的监听原理是什么?

    详见3.4。

    6.3 ZooKeeper的部署方式有哪几种?集群中的角色有哪些?集群最少需要几台机器?

    (1)部署方式单机模式、集群模式

    (2)角色:Leader和Follower

    (3)集群最少需要机器数:3

    6.4 ZooKeeper的常用命令

    ls create get delete set…


    参考:https://blog.51cto.com/zero01/2108483 

    展开全文
  • zookeeper

    万次阅读 2020-10-11 15:51:16
    什么是zookeeper? 开源的,为分布式应用提供协调服务的Apache项目。 zookeeper的工作机制? 采用观察者设计模式,获取存储服务器的状态信息,然后接受客户端的注册,一旦客户端观的这些数据的状态发生了变化,就...


    什么是zookeeper?
        开源的,为分布式应用提供协调服务的Apache项目。

    zookeeper的工作机制?
        采用观察者设计模式,获取存储服务器的状态信息,然后接受客户端的注册,一旦客户端观的这些数据的状态发生了变化,就通知客户端。
        zookeeper = 文件系统 + 通知机制 ;就是这么理解的
        
    zookeeper特点:
        一个Leader,多个Followers组成的集群;
        集群只要半数以上的服务器存活,zookeeper集群就能正常服务;
        每台server的数据都是一样的,#这些数据是配置文件,所以内存不大,
        同一个client的更新请求按其发送的顺序依次执行
        实时性,更新数据非常快
        
    zookeeper的数据结构:
        数结构,每个节点叫ZNode,每个ZNode只能存1MB数据,每个ZNode路径唯一
        
    应用场景:
        统一命名:多个ip对应相同的域名,域名也就是url,例如:www.baidu.com
        统一配置管理:所有节点的配置信息是一致的、对配置文件修改,能快速同步到各个节点上
        统一集群管理:
        
    服务器动态上下线:
        客户端能实时观察到服务器上下线的变化
        
    软负载均衡:
        让访问数最少的服务器去访问最新的客户请求

    zookeeper的内部原理:
        集群半数以上机器存活,集群就可用,适合安装奇数台服务器
        选举机制:第一次都选自己,不行就选id最大的,一旦半数以上票马上当选,后来者也改变不了
        
    节点的类型:
        持久的(persistent):客户端与服务器断开连接后,创建的节点不删除。
            持久化目录节点:客户端与服务器断开连接后,创建的节点不删除。
            持久化顺序编号目录节点:客户端与服务器断开连接后,创建的节点不删除,对节点进行顺序编号
        短暂的(ephemeral):客户端与服务器断开连接后,创建的节点删除
            临时目录节点:连接断开,节点删除
            临时顺序编号目录节点:连接断开,节点删除,不过zookeeper对节点名称进行顺序编号
        
    启动zookeeper:
        bin下执行:zkServer.sh start # 启动服务器
        bin下执行:zkServer.sh stop # 停止服务器
        要启动过半服务器,zookeeper才能工作
        jps  # 产看服务器
        zkServer.sh status # 查看zookeeper的服务器状态
        bin下执行:zkCli.sh   # 启动客户端
        
    客户端命令行操作:
        quit:退出
        创建节点:create /znode1 "data"  # 创建节点必须同时在节点存数据,不然会失败
        get /znode1 # 获取节点znode1的内容
        创建短暂节点:create -e /znode1 "data" 
        创建顺序编号节点:create -s /znode1 "data" 
        ls /znode1  # 可以查看有哪些节点   
        set /znode1 "data2"  #修改为data2
        注册监听是在客户端执行:get /znode1 watch  注册一次,只能监听一次,当其他客户端修改了监听点,马上收到通知。
        ls /znode1 watch  # 监听节点变化 ,依然是只能监听一次变化
        delete /znode1  # 删除节点
        rmr /znode1  # 递归删除节点
        stat / # 查看结点的详细信息

    展开全文
  • ZooKeeper

    万次阅读 2020-06-05 15:11:21
    ZooKeeper的概述,单体安装以及分布式安装、客户端操作命令以及Java客户端操作

    一、概述

    Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。

    1.1 工作机制

    Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管理模式。
    ZooKeeper工作机制

    1.2 特点

    在这里插入图片描述

    1. Zookeeper是由一个领导者(leader),多个跟随者(follower)组成的集群。Leader负责进行投票的发起和决议,更新系统状态;Follower用于接收客户请求并向客户端返回结果,在选举Leader过程中参与投票
    2. 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。
    3. 全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个server,数据都是一致的。
    4. 更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行。
    5. 数据更新原子性,一次数据更新要么成功,要么失败。
    6. 实时性,在一定时间范围内,client能读到最新数据。

    1.3 数据结构

    ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。
    在这里插入图片描述

    1.4 应用场景

    提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

    ①统一命名服务
    在分布式环境下,经常需要对应用/服务进行统一命名,便于识别不同服务。

    • 类似于域名与ip之间对应关系,ip不容易记住,而域名容易记住
    • 通过名称来获取资源或服务的地址,提供者等信息
      在这里插入图片描述
      ②统一配管理

    分布式环境下,配置文件管理和同步是一个常见问题。一个集群中,所有节点的配置信息是一致的,比如Hadoop集群。对配置文件修改后,希望能够快速同步到各个节点上。

    配置管理可交由ZooKeeper实现。可将配置信息写入ZooKeeper上的一个Znode,各个节点监听这个Znode,一旦Znode中的数据被修改,ZooKeeper将通知各个节点。
    在这里插入图片描述
    ③统一集群管理
    分布式环境中,实时掌握每个节点的状态是必要的,可根据节点实时状态做出一些调整。

    统一集群管理可交由ZooKeeper实现,可将节点信息写入ZooKeeper上的一个Znode,监听这个Znode可获取它的实时状态变化。

    典型应用:HBaseMaster状态监控与选举。
    在这里插入图片描述
    ④服务器动态上下线

    客户端能实时洞察到服务器上下线的变化
    在这里插入图片描述
    ⑤软负载均衡
    Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求
    在这里插入图片描述

    二、Zookeeper安装

    2.1 本地模式安装部署

    ①前提:安装Jdk和下载zookeeper-3.4.10.tar.gz

    ②复制配置文件

    [root@hadoop100 conf]$ cp zoo_sample.cfg zoo.cfg
    

    ③修改dataDir

    [root@hadoop100 conf]$ vim zoo.cfg
    dataDir=/opt/module/zookeeper-3.4.10/zkData
    [root@hadoop100 zookeeper-3.4.10]$ mkdir zkData
    

    ④启动Zookeeper

    [root@hadoop100 conf]$ bin/zkServer.sh start
    

    ⑤查看ZooKeeper启动状态

    [root@hadoop100 conf]$ bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: standalone
    

    2.2 配置参数解读

    Zookeeper中的配置文件zoo.cfg中参数含义解读如下:

    1. tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒
      Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
    2. initLimit =10:LF初始通信时限
      集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限
    3. syncLimit =5:LF同步通信时限
      集群中LeaderFollower之间的最大响应时间单位,假如响应超过syncLimit * tickTimeLeader认为Follwer死掉,从服务器列表中删除Follwer
    4. dataDir:数据文件目录+数据持久化路径
      主要用于保存Zookeeper中的数据
    5. clientPort =2181:客户端连接端口
      监听客户端连接的端口

    2.3 分布式安装部署

    ①在zkData目录下创建一个myid的文件

    [root@hadoop100 zkData]$ vim myid
    0
    

    ②分发该文件并修改值为1、2

    [root@hadoop100 conf]$ xsync myid
    

    ③修改配置文件zoo.cfg并分发到其他服务器

    [root@hadoop100 conf]$ vim zoo.cfg
    #######################cluster##########################
    server.0=hadoop100:2888:3888
    server.1=hadoop101:2888:3888
    server.2=hadoop102:2888:3888
    

    配置参数说明server.A=B:C:D

    A:表示这个是第几号服务器,即配置的myid
    B:服务器的地址
    C:服务器Follower与集群中的Leader服务器交换信息的端口
    D:执行选举时服务器相互通信的端口

    ④分别启动Zookeeper

    [root@hadoop100 zookeeper-3.4.10]$ bin/zkServer.sh start
    [root@hadoop101 zookeeper-3.4.10]$ bin/zkServer.sh start
    [root@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
    

    ⑤查看集群状态

    [root@hadoop100 zookeeper-3.4.10]$ bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    [root@hadoop101 zookeeper-3.4.10]$ bbin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: leader
    [root@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Mode: follower
    

    三、客户端命令行操作

    命令基本语法功能描述
    help显示所有操作命令
    ls path [watch]使用ls命令来查看当前znode中所包含的内容
    ls path [watch]查看当前节点数据并能看到更新次数等数据
    create普通创建
    -s 含有序列
    -e 临时(重启或者超时消失)
    get path [watch]获得节点的值
    set设置节点的具体值
    stat查看节点状态
    delete删除节点
    rmr递归删除节点

    ①启动客户端

    [root@hadoop100 zookeeper-3.4.10]$ bin/zkCli.sh
    

    ②显示所有操作命令

    [zk: localhost:2181(CONNECTED) 0] help
    

    ③查看当前znode中所包含的内容

    [zk: localhost:2181(CONNECTED) 1] ls /
    [zookeeper]
    

    ④查看当前节点详细数据

    [zk: localhost:2181(CONNECTED) 2] ls2 /
    [zookeeper]
    cZxid = 0x0
    ctime = Thu Jan 01 08:00:00 CST 1970
    mZxid = 0x0
    mtime = Thu Jan 01 08:00:00 CST 1970
    pZxid = 0x0
    cversion = -1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 0
    numChildren = 1
    

    ⑤创建普通节点

    [zk: localhost:2181(CONNECTED) 3] create /sanguo "history"
    Created /sanguo
    

    ⑥获得节点的值

    [zk: localhost:2181(CONNECTED) 5] get /sanguo
    history
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000003
    mtime = Wed Aug 29 00:03:23 CST 2018
    pZxid = 0x100000004
    cversion = 1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 7
    numChildren = 1
    

    ⑦修改节点数据值

    [zk: localhost:2181(CONNECTED) 6] set /sanguo "wuchenen"
    

    ⑧删除节点

    [zk: localhost:2181(CONNECTED) 7] delete /sanguo
    

    ⑨递归删除节点

    [zk: localhost:2181(CONNECTED) 8] rmr /sanguo
    

    ⑩查看节点状态

    [zk: localhost:2181(CONNECTED) 9] stat /sanguo
    cZxid = 0x100000003
    ctime = Wed Aug 29 00:03:23 CST 2018
    mZxid = 0x100000011
    mtime = Wed Aug 29 00:21:23 CST 2018
    pZxid = 0x100000014
    cversion = 9
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 4
    numChildren = 1
    

    四、Java客户端操作

    引入依赖:

    <dependency>
    	<groupId>org.apache.zookeeper</groupId>
    	<artifactId>zookeeper</artifactId>
    	<version>3.4.10</version>
    </dependency>
    

    初始化ZooKeeper对象:

    public class ZKTest {
    
        private static String connectString = "192.168.192.100:2181";
    
        private static int sessionTimeout = 2000;
    
        private ZooKeeper zkClient = null;
    
        @Before
        public void init() throws IOException {
    		zkClient = new ZooKeeper(connectString, sessionTimeout, event -> {});
        }
    }
    

    创建子节点:

        @Test
        public void create() throws KeeperException, InterruptedException {
                 zkClient.create("/jinguo", "simayu".getBytes(),
                    ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        }
    

    查看子节点信息:

        @Test
        public void chlidren() throws KeeperException, InterruptedException {
            List<String> children = zkClient.getChildren("/", true);
            children.forEach(child -> System.out.println(child));
        }
    

    判断Znode是否存在

    @Test
    public void exist() throws Exception {
    	Stat stat = zkClient.exists("/eclipse", false);
    	System.out.println(stat == null ? "not exist" : "exist");
    }
    
    
    展开全文
  • ZOOKEEPER

    千次阅读 2017-06-19 10:53:26
    上传zookeeper包 /usr 下; 解压; tar -xzvf zookeeper-3.4.10.tar.gz 换名字; mv zookeeper-3.4.10 zookeeper 删包; rm -rf zookeeper-3.4.10.tar.gz 进入zookeeper; cd zookeeper/ 复制zoo.cfg; cp conf/zoo...
    1. 上传zookeeper包 /usr 下;
    2. 进入/usr目录
      cd /usr/
    3. 解压;
      tar -xzvf zookeeper-3.4.10.tar.gz
    4. 换名字;
      mv zookeeper-3.4.10 zookeeper
    5. 删包;
      rm -rf zookeeper-3.4.10.tar.gz
    6. 进入zookeeper;
      cd zookeeper/
    7. 复制zoo.cfg;
      cp conf/zoo_sample.cfg conf/zoo.cfg
    8. 修改zoo.cfg;
      vi conf/zoo.cfg
    9. 添加如下代码;
      dataDir=/usr/zookeeper/data
      dataLogDir=/usr/zookeeper/logs
      server.1=centos201:2888:3888
      server.2=centos202:2888:3888
      server.3=centos203:2888:3888
    10. 创建data和logs;
      mkdir data mkdir logs
    11. 写入myid
      主节点echo 1 > data/myid
      次节点echo 2 > data/myid
      次节点echo 3 > data/myid
    12. 修改zkEnv.sh
      vi bin/zkEnv.sh
    13. 添加如下代码
      在这代码下
      **ZOOBINDIR="${ZOOBINDIR:-/usr/bin}"
      ZOOKEEPER_PREFIX="${ZOOBINDIR}/.."**
      添加以下代码
      ZOOKEEPER_LOG_DIR=/usr/zookeeper/logs/
    在bin/zkEnv.sh 
    
     中修改:​
    
    if [ "x${ZOO_LOG_DIR}" = "x" ]
    
    then
    
        ZOO_LOG_DIR="/usr/zookeeper"
    
    fi

    再source zkEnv.sh

    1. 授权
      chown -R wuyang:wuyang /usr/zookeeper/

    2. 切换用户
      su wuyang

    3. 启动三台
      bin/zkServer.sh start

    4. 查看状态
      bin/zkServer.sh status

    创建脚本vi start-all.sh,这样就不用一台一台运行

    #!/bin/bash
    #ip映射名字
    ip_array=("centos201" "centos202" "centos203")
    #用户
    user="wuyang"
    for ip in ${ip_array[*]}
    do
        ssh $user@$ip   << remotessh
        cd /usr/zookeeper/bin/
        ./zkServer.sh start
        exit
    remotessh
    
    done

    脚本全部停止vi stop-all.sh

    #!/bin/bash
    ip_array=("centos201" "centos202" "centos203")
    user="wuyang"
    for ip in ${ip_array[*]}
    do
        ssh $user@$ip   << remotessh
        cd /usr/zookeeper/bin/
        ./zkServer.sh stop
        exit
    remotessh
    done

    脚本授权
    777 是最高权限,有读、写、执行权限;和属组用户和其他用户的读、写、执行权限。
    其他权限分别是
    -rw——- (600) – 只有读写权限。
    -rw-r–r– (644) – 只有有读写权限;而属组用户和其他用户只有读权限。
    -rwx—— (700) – 只有有读、写、执行权限。
    -rwxr-xr-x (755) – 有读、写、执行权限;而属组用户和其他用户只有读、执行权限。
    -rwx–x–x (711) – 有读、写、执行权限;而属组用户和其他用户只有执行权限。

    chmod 777 start-all.sh
    chmod 777 stop-all.sh
    展开全文
  • ZooKeeper面试题(2020最新版)

    万次阅读 多人点赞 2020-02-19 18:08:59
    ZooKeeper 是什么?2. ZooKeeper 提供了什么?3. Zookeeper 文件系统4. Zookeeper 怎么保证主从节点的状态同步?5. 四种类型的数据节点 Znode6. Zookeeper Watcher 机制 -- 数据变更通知7. 客户端注册 Watcher 实现...
  • Zookeeper入门看这篇就够了

    万次阅读 多人点赞 2018-07-12 14:48:06
    Zookeeper是什么官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、...
  • ZooKeeper详解

    万次阅读 2020-09-17 14:49:45
    ZooKeeper 是什么? ZooKeeper 是一个开源的分布式协调服务。它是一个为分布式应用提供一致性服务的软件,分布式应用程序可以基于 Zookeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群...
  • zookeeper教程

    2017-12-06 19:03:16
    zookeeper教程zookeeper教程zookeeper教程zookeeper教程zookeeper教程
  • zookeeper文档

    2017-11-09 21:01:37
    zookeeper官方文档 zookeeper zookeeper集群 zookeeper介绍
  • 分布式面试之ZooKeeper面试题

    万次阅读 2020-10-05 23:38:37
    文章目录1、ZooKeeper 是什么?2、ZooKeeper 提供了什么?3、Zookeeper文件系统4、四种类型的znode5、Zookeeper通知机制6、Zookeeper 做了什么?7、zk的命名服务(文件系统)8、zk的配置管理(文件系统、通知机制)9...
  • zookeeper笔记

    万次阅读 2020-09-06 00:15:33
    【1】zookeeper安装与启动 【2】集群配置(伪集群) 【3】常用命令 【4】CentOS安装zookeeper 【5】zookeeper启动占用8080端口 【6】ubuntu16.04部署zookeeper集群 【7】端口说明 【8】日志说明 【9】配置开机启动 ...
  • Zookeeper安装部署

    万次阅读 2019-12-16 21:47:39
    ZookeeperZookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。 ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以...
  • Apache ZooKeeper

    万次阅读 2019-12-09 21:24:18
    1丶Zookeeper基本知识 1.1、ZooKeeper集群搭建 Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台 servers组成。这是因为为了保证Leader选举(基于Paxos算法的实现)能过得 到多数的支持,所以...
  • zookeeper运维

    万次阅读 2014-02-09 15:06:37
    尽管zookeeper在编程上有很多的阱陷,API也非常的难用,但zookeeper服务本身可以说是很牢靠的了,所以在网上貌似关于运维的文章比较少。 但省心并不代表不会出麻烦,下面总结下zookeeper运维相关的东东。 重要的...
  • 各种基于ZooKeeper Java客户端和实用程序。 客户群 edu.uw.zookeeper.clients.jmx:使用JMX查询ZooKeeper服务器的实用程序。 edu.uw.zookeeper.clients.random:用于生成随机ZooKeeper客户端请求的实用程序。 edu....
  • zookeeper+kafka.zip windows安装kafka和zookeeperzookeeper+kafka.zip windows安装kafka和zookeeper
  • Zookeeper简单介绍

    万次阅读 2017-07-06 23:00:17
    三、ZooKeeper概述 四、ZooKeeper数据模型 4.1 ZooKeeper数据模型Znode 4.2 ZooKeeper中的时间 4.3 ZooKeeper节点属性 五、ZooKeeper服务中操作 六、Watch触发器 七、ZooKeeper应用举例 7.1 分布式锁...
  • zookeeper3.4.13

    2018-07-21 15:19:25
    zookeeper-3.4.13.tar.gz
  • Zookeeper中运行日志 zookeeper.out 文件的输出路径默认为启动脚本的当前路径,导致Zookeeper集群启动失败时总是不记得输出日志在哪儿,不便于查找错误原因,因此很有必要设置固定路径来保存运行日志 在本次实验之前...
  • ZooKeeperDemo

    2018-08-29 22:14:39
    本工程用于初步研究ZooKeeper的应用 本工程编码方式:UTF-8 开发工具:Eclipse 参考博客:http://littlerich.top/2017/09/10/大数据_分布式服务框架zookeeper管理分布式环境中的数据/
  • 安装Zookeeper

    万次阅读 2019-12-09 21:32:01
    安装zookeeper的注意事项: 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 下载安装包、解压 下载地址: CDH版本:...
  • Zookeeper搭建集群

    2021-01-09 04:51:17
    Zookeeper集群环境搭建 1.每台服务器节点上安装jdk1.8环境 使用java -version命令测试 java -version 2.每台服务器节点上安装Zookeeper 1.下载并且安装zookeeper安装包 wget ...
  • zookeeper 例子

    2016-09-11 17:51:53
    zookeeper 测试例子,里面有一个简单的 zookeeper 日常操作例子,还有以zookeeper而实现的 leader 选举的例子...、分布式锁...
  • ZooKeeper 简介

    万次阅读 2019-12-10 09:05:11
    Zookeeper基本知识1.1 ZooKeeper集群搭建1.2 ZooKeeper概述1.3 ZooKeeper特性1.4 ZooKeeper集群角色2. ZooKeeper shell2.1 客户端连接2.2 shell基本操作3. ZooKeeper数据模型3.1 数据结构图3.2 节点类型3.3 节点...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 357,493
精华内容 142,997
关键字:

zookeeper