ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 其他分享> 文章详细

尚硅谷Zookeeper学习笔记

2022-01-18 17:00:46  阅读：97  来源： 互联网

标签：Zookeeper ZooKeeper 笔记 public apache 服务器 硅谷 节点


一、ZooKeeper简介

ZooKeeper的说明：是一个分布式的，开放源码的分布式应用程序协调服务
ZooKeeper的目标：就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

ZooKeeper的特点：
在这里插入图片描述
1、Zookeeper:一个领导者(Leader)，多个跟随者(Follower）组成的集群。
2、集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。
3、全局数据一致:每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
4、更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。
5、数据更新原子性,—次数据更新要么成功，要么失败。
6、实时性,在一定时间范围内，Client能读到最新数据。

ZooKeeper的数据结构：树
ZooKeeper数据模型的结构与Unix文件系统很类以，整体上可以看作是一棵树，每个节点称做一个ZNode。
每一个ZNode默认能够存储1MB的数据，每个ZNTode都可以通过其路径唯一标识。

在这里插入图片描述

ZooKeeper的运用场景：提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。,

统一命名服务
在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。
例如∶IP不容易记住，而域名容易记住。
在这里插入图片描述
统一配置管理
1)分布式环境下，配置文件同步非常常见。
(1)一般要求一个集群中，所有节点的配置信息是一致的，比如Kafka集群。
(2)对配置文件修改后，希望能够快速同步到各个节点上。
2）配置管理可交由ZooKeeper实现。
(1)可将配置信息写入ZooKeeper上的一个Znode。
(2)各个客户端服务器监听这个Znode。
(3)一旦Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。
在这里插入图片描述

统一集群管理
1)分布式环境中，实时掌握每个节点的状态是必要的。
(1)可根据节点实时状态做出一些调整。
2)ZooKeeper可以实现实时监控节点状态变化
(1)可将节点信息写入ZooKeeper上的一个ZNode。
(2)监听这个ZNode可获取它的实时状态变化。
在这里插入图片描述

服务器节点动态上下线
在这里插入图片描述

软负载均衡。
在这里插入图片描述

二、ZooKeeper的下载安装

ZooKeeper的下载地址
https://zookeeper.apache.org/releases.html#download
或
http://archive.apache.org/dist/zookeeper/
解压
在这里插入图片描述
修改配置文件名
在这里插入图片描述

修改存储路径
在这里插入图片描述

启动服务
在这里插入图片描述
启动客户端
在这里插入图片描述
关闭客户端
在这里插入图片描述
关闭服务端
在这里插入图片描述

三、配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

1．tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

2．initLimit =10：LF初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

3．syncLimit =5：LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

4．dataDir：数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据。

5．clientPort =2181：客户端连接端口
监听客户端连接的端口。

四、Zookeeper内部原理

3.1 选举机制（面试重点）
1）半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。

2）Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。

3）以一个简单的例子来说明整个选举的过程。

假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么，
在这里插入图片描述
（1）服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是LOOKING状态。

（2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。

（3）服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的Leader。

（4）服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。

（5）服务器5启动，同4一样当小弟。

五、节点类型

在这里插入图片描述

六、Stat结构体

1）czxid-创建节点的事务zxid

每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。

事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。

2）ctime - znode被创建的毫秒数(从1970年开始)

3）mzxid - znode最后更新的事务zxid

4）mtime - znode最后修改的毫秒数(从1970年开始)

5）pZxid-znode最后更新的子节点zxid

6）cversion - znode子节点变化号，znode子节点修改次数

7）dataversion - znode数据变化号

8）aclVersion - znode访问控制列表的变化号

9）ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。

10）dataLength- znode的数据长度

11）numChildren - znode子节点数量

七、监听器原理（面试重点）

在这里插入图片描述

八、写数据流程

在这里插入图片描述

九、Zookeeper实战（开发重点）

1．集群规划
在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

十、API应用

Eclipse环境搭建
1．创建一个Maven工程
2．添加pom文件

<dependencies>
     <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>RELEASE</version>
     </dependency>

     <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
     </dependency>

     <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->

     <dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>3.4.10</version>
     </dependency>
</dependencies>

拷贝log4j.properties文件到项目根目录

需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout 

log4j.appender.stdout=org.apache.log4j.ConsoleAppender 

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 

log4j.appender.logfile=org.apache.log4j.FileAppender 

log4j.appender.logfile.File=target/spring.log 

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建ZooKeeper客户端

private static String connectString =

 "hadoop102:2181,hadoop103:2181,hadoop104:2181";

  private static int sessionTimeout = 2000;

  private ZooKeeper zkClient = null;

 

  @Before

  public void init() throws Exception {

 

  zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {

 

        @Override

        public void process(WatchedEvent event) {

 

           // 收到事件通知后的回调函数（用户的业务逻辑）

           System.out.println(event.getType() + "--" + event.getPath());

 

           // 再次启动监听

           try {

              zkClient.getChildren("/", true);

           } catch (Exception e) {

              e.printStackTrace();

           }

        }

     });

  }

创建子节点

// 创建子节点
@Test
public void create() throws Exception {
    // 参数1：要创建的节点的路径； 参数2：节点数据 ； 参数3：节点权限 ；参数4：节点的类型
    String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

}

获取子节点并监听节点变化

// 获取子节点
@Test
public void getChildren() throws Exception {
     List<String> children = zkClient.getChildren("/", true);
     for (String child : children) {
        System.out.println(child);
     }
     // 延时阻塞
     Thread.sleep(Long.MAX_VALUE);
}

判断Znode是否存在

// 判断znode是否存在
@Test
public void exist() throws Exception {
  Stat stat = zkClient.exists("/eclipse", false);
  System.out.println(stat == null ? "not exist" : "exist");
}

十一、监听服务器节点动态上下线案例

1．需求
某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。
2．需求分析，如图所示
在这里插入图片描述
（1）服务器端向Zookeeper注册代码

package com.atguigu.zkcase;
import java.io.IOException;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.ZooDefs.Ids;

public class DistributeServer {
  private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
  private static int sessionTimeout = 2000;
  private ZooKeeper zk = null;
  private String parentNode = "/servers";
  // 创建到zk的客户端连接
  public void getConnect() throws IOException{
      zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
         @Override
         public void process(WatchedEvent event) {
         }
      });
  }

  // 注册服务器
  public void registServer(String hostname) throws Exception{
      String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
      System.out.println(hostname +" is online "+ create);
  }
  // 业务功能
  public void business(String hostname) throws Exception{
      System.out.println(hostname+" is working ...");
      Thread.sleep(Long.MAX_VALUE);
  }
  public static void main(String[] args) throws Exception {
// 1获取zk连接
      DistributeServer server = new DistributeServer();
      server.getConnect();
      // 2 利用zk连接注册服务器信息

      server.registServer(args[0]);
      // 3 启动业务功能
      server.business(args[0]);
  }
}

（2）客户端代码

package com.atguigu.zkcase;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;

public class DistributeClient {
  private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";

  private static int sessionTimeout = 2000;

  private ZooKeeper zk = null;

  private String parentNode = "/servers";

  // 创建到zk的客户端连接
  public void getConnect() throws IOException {
      zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
         @Override
         public void process(WatchedEvent event) {
            // 再次启动监听
            try {
               getServerList();
            } catch (Exception e) {
               e.printStackTrace();
            }
         }
      });
  }
  // 获取服务器列表信息
  public void getServerList() throws Exception {
      // 1获取服务器子节点信息，并且对父节点进行监听
      List<String> children = zk.getChildren(parentNode, true);
        // 2存储服务器信息列表
      ArrayList<String> servers = new ArrayList<>();
        // 3遍历所有节点，获取节点中的主机名称信息
      for (String child : children) {
         byte[] data = zk.getData(parentNode + "/" + child, false, null);
         servers.add(new String(data));
      }
        // 4打印服务器列表信息
      System.out.println(servers);
  }

  // 业务功能
  public void business() throws Exception{
      System.out.println("client is working ...");
Thread.sleep(Long.MAX_VALUE);
  }
  public static void main(String[] args) throws Exception {
      // 1获取zk连接
      DistributeClient client = new DistributeClient();
      client.getConnect();
      // 2获取servers的子节点信息，从中获取服务器信息列表
      client.getServerList();
      // 3业务进程启动
      client.business();
  }
}

十二、企业面试真题

请简述ZooKeeper的选举机制
半数机制

ZooKeeper的监听原理是什么？
详见7。

5.3 ZooKeeper的部署方式有哪几种？集群中的角色有哪些？集群最少需要几台机器？
（1）部署方式单机模式、集群模式

（2）角色：Leader和Follower

（3）集群最少需要机器数：3

5.4 ZooKeeper的常用命令
ls create get delete set…

可参考：https://www.cnblogs.com/woju/p/15691349.html

标签：Zookeeper,ZooKeeper,笔记,public,apache,服务器,硅谷,节点
来源： https://blog.csdn.net/weixin_45084986/article/details/122556814

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有