ZAB 协议 ZAB（Zookeeper Atomic Broadcast） 协议是为分布式分布式协调服务 Zookeeper 专门设计的一种支持崩溃恢复的原子广播协议。 在 Zookeeper 中，主要依赖 ZAB 协议来实现分布式数据一致性，基于该协议，ZooKeeper 实现了一种主备模式的系统架构来保持集群中各副本之间数据的一致性。
本文是《Paxos到Zookeeper：分布式一致性原理与实践》读书笔记，如有雷同，实属必然。 对于本地事务或者是集中式的事务处理系统，我么可以采用已经被实现很成熟的 ACID 模型来保证数据的严格一致性。随着分布式事务的出现，传统单机事务模型已经无法胜任，我们期望实现一套严格满足 ACID 特
ZooKeeper 为分布式应用提供了高效且可靠的分布式协调服务，例如统一命名服务、配置管理和分布式锁等分布式的基础服务。另外，在解决分布式一致性方面，ZooKeeper 并没有直接采用 Paxos 算法，而是采用一种被称为 ZAB（ZooKeeper Atomic Broadcast）的一致性协议。 基本概念 ZooKeeper 有以下
本文是《Paxos到Zookeeper：分布式一致性原理与实践》读书笔记，如有雷同，实属必然。 在分布式系统中，每一个机器节点虽然能够明确地知道自己在进行事务操作过程中的结果是成功或失败，但却无法直接获取到其他分布式节点的操作结果。因此，当一个事务操作需要跨越多个分布式节点的时候，为了
1、服务注册与发现是什么意思？ 当我们开始一个项目时，我们通常会在属性文件中进行所有的配置。随着越来越多的服务开发和部署，添加和修改这些属性变得更加复杂。有些服务的性能可能会下降，而某些位置可能会发生改变，手动更改属性可能会产生问题。Eureka服务注册和发现可以在这种情况下
1、下载地址 下载地址：Apache Download Mirrors 2、解压解压命令：tar –zxvf kafka_2.13-2.4.0.tgz 移动： cp -R kafka_2.13-2.4.0 /zjl/program/ 创建软链接： ln -s kafka_2.13-2.4.0/ /zjl/program/kafka 解压后可使用 配置zookeeper集群参见：zookeeper安装配置 - pk.com
1. 下载zookeeper二进制安装包 2.解压zookeeper安装包把zookeeper-3.4.3.tar.gz文件存放在/home/hadoop目录下，进行解压： hadoop@ubuntu:~$ sudo tar -zxvf zookeeper-3.4.3.tar.gz hadoop@ubuntu:~$ chown -R hadoop:hadoop zookeeper-3.4.3 或者zookeeper在线安装 hadoop@ubunt
第1章 算法基础 思考：Zookeeper是如何保证数据一致性的？这也是困扰分布式系统框架的一个难题。 1.1 拜占庭将军问题 拜占庭将军问题是一个协议问题，拜占庭帝国军队的将军们必须全体一致的决定是否攻击某一支敌军。问题是这些将军在地理上是分隔开来的，并且将军中存在叛徒。叛徒可以任
2.3 ZK服务端加载数据源码解析 （1）zk中的数据模型，是一棵树，DataTree，每个节点，叫做DataNode （2）zk集群中的DataTree时刻保持状态同步 （3）Zookeeper集群中每个zk节点中，数据在内存和磁盘中都有一份完整的数据。 内存数据：DataTree 磁盘数据：快照文件 + 编辑日志 2.3.1 冷启动数据恢复快
2.5 Follower和Leader状态同步源码 当选举结束后，每个节点都需要根据自己的角色更新自己的状态。选举出的Leader更新自己状态为Leader，其他节点更新自己状态为Follower。 Leader更新状态入口：leader.lead() Follower更新状态入口：follower.followerLeader() 注意： （1）follower必须要让
2.6 服务端Leader启动 ZooKeeperServer Ctrl + n全局查找Leader，然后ctrl + f 查找lead( Leader.java void lead() throws IOException, InterruptedException { ... ... // 启动zookeeper服务 startZkServer(); ... ... } final LeaderZooKeeperServer zk; private sync
2.7 服务端Follower启动 FollowerZooKeeperServer Ctrl + n全局查找Follower，然后ctrl + f 查找followLeader( void followLeader() throws InterruptedException { self.end_fle = Time.currentElapsedTime(); long electionTimeTaken = self.end_fle - self.start_fle;
2.1 辅助源码 2.1.1 持久化源码 Leader和Follower中的数据会在内存和磁盘中各保存一份。所以需要将内存中的数据持久化到磁盘中。 在org.apache.zookeeper.server.persistence包下的相关类都是序列化相关的代码。 1）快照 public interface SnapShot { // 反序列化方法
ZK服务端初始化源码解析 2.2.1 ZK服务端启动脚本分析 1）Zookeeper服务的启动命令是zkServer.sh start zkServer.sh #!/usr/bin/env bash # use POSTIX interface, symlink is followed automatically ZOOBIN="${BASH_SOURCE-$0}" ZOOBIN="$(dirname "${ZOOBIN}")" ZOOBIND
1.Zookeeper概念 -Zookeeper是Apache hadoop 项目下的一个子项目，是一个树形目录服务 -Zookeeper翻译过来就是动物园管理员，他是用来Hadoop(大象）/Hive（蜜蜂）/Pig(小猪)的管理员。简称zk -Zookeeper是一个分布式的，开源的分布式应用程序的协调服务
3.4 客户端向服务端写数据流程/读数据 3.4.1写数据流程 以3台服务器的Zookeeper集群为例，一个Leader，两个Follower即server1和server2 写流程之写入请求直接发送给Leader节点 1.Client 先发送给 leader write 请求（写数据） 2.leader 开始给 follower1 发送 writer 请求（开始写数据）
第4章 服务器动态上下线监听案例 4.1 需求 某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。 4.2 需求分析 4.3 具体实现 （1）先在集群上创建/servers节点 [zk: localhost:2181(CONNECTED) 10] create /servers "servers" Created
3.3 客户端API操作 前提：保证hadoop102、hadoop103、hadoop104服务器上Zookeeper集群服务端启动。 zk.sh start 3.3.1 IDEA环境搭建 1）创建一个工程：zookeeper 2）添加pom文件 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> &l
第3章 Zookeeper集群操作 3.1 集群操作 3.1.1 集群安装 1）集群规划 在hadoop102、hadoop103和hadoop104三个节点上都部署Zookeeper。 思考：如果是10台服务器，需要部署多少台Zookeeper？ 2）解压安装 （1）在hadoop102解压Zookeeper安装包到/opt/module/目录下 [wolffy@hadoop102 software]$ t
第2章 Zookeeper本地安装 2.1 本地模式安装 1.安装前准备 （1）安装JDK （2）拷贝apache-zookeeper-3.5.7-bin.tar.gz安装包到Linux系统下 （3）解压到指定目录：tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/ （4）修改名称：mv apache-zookeeper-3.5.7 -bin/ zookeeper-3.5.7 2.配置
第1章 Zookeeper入门 1.1 Zookeeper概述 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化
1. 什么是 Zookeeper？ Zookeeper 是一个开源的高效可靠的分布式协同服务 可以通过 Zookeeper 实现统一配置管理、统一命名服务、分布式锁、集群管理等 Zookeeper 更适用于存储和协同相关的关键数据，更适用于读多写少的应用场景 Zookeeper 有哪些特性（官方说是构建复杂服务的保证）？ 顺
Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架，现在被 apache 作为顶级项目进行收录。它提供了 RPC 通信与微服务治理两大关键能力。使用 Dubbo 开发的微服务，将具备相互之间的远程发现与通信能力， 同时利用 Dubbo 提供的丰富服务治理能力，可以实现诸如服务发现、负载均衡、流
:::tip 文章更新历史 2022/05/25 feat:初稿。 ::: Zookeeper 的环境搭建 Zookeeper 的安装方式有三种：单机模式、集群模式和伪集群模式。 单机模式：Zookeeper 只运行在一台服务器上，适合测试环境。 集群模式：Zookeeper 运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体
漏洞名称 Apache Zookeeper 未授权访问漏洞【原理扫描】 风险等级 高 高可利用 否 CVE编号 - 端口(服务) 2181(zookeeper) 风险描述 ZooKeeper是一个高性能的分布式数据一致性解决方案，它将复杂的，容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并提供
