ICode9

精准搜索请尝试: 精确搜索
  • Kafka基础知识(个人总结)2021-12-18 12:35:04

        声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章               3. 若有错误不当之处, 请指出 消息队列: 作用(优点):

  • Kafka从入门到放弃(三) —— 详说生产者2021-12-18 11:32:20

    上一篇对Kafka做了简单介绍,还没看的朋友可以点击下方链接。 Kafka从入门到放弃(一) —— 初识别Kafka 消息中间件必须与生产者和消费者一起存在才有意义,这次先来聊聊Kafka的生产者。 在开始之前,先了解一下消息在Kafka中是如何存储的,如下图所示,一般我们称那些数字为offset(偏移量)一

  • Kafka-分区leader选举2021-12-15 11:31:26

      分区 leader 副本的选举由控制器负责具体实施。当创建分区(创建主题或增加分区都有创建分区的动作〉或分区上线(比如分区中原先的 leader 副本下线,此时分区需要选举 个新的leader 上线来对外提供服务)的时候都需要执行 leader 的选举动作,对应的选举策略为OfftlinePartitionLeader

  • etcd查看leader节点2021-12-13 14:31:07

    etcd查看集群leader的节点 安装etcdctl 具体命令如下 <root@SYS-OPS-ETCD01 ~># etcdctl -w table --cert /etc/kubernetes/pki/etcd/peer.crt --key /etc/kubernetes/pki/etcd/peer.key --cacert /etc/kubernetes/pki/etcd/ca.crt --endpoints https://10.1.0.182:2379 endpoin

  • 高可用保证:Nacos 如何有效构建注册中心集群2021-12-12 12:06:06

    如何在生产环境部署 Nacos 集群 Nacos 生产环境架构  Nacos 集群架构的设计要点: 微服务并不是直接通过 IP 地址访问后端服务,而是采用域名访问。通过 DNS(域名解析服务)转换为具体的 IP 地址,通过域名方式屏蔽后端容易产生变化的 IP 地址。 底层 Nacos 自带集群间节点与

  • Zookeeper2021-12-11 14:33:35

    第一章:Zookeeper的概述 1.1 Zookeeper的简介 1. 是一个分布式管理框架,用java语言编写的 2. 主要为分布式应用程序(hdfs,hbase)提供协调服务管理 3. 提供了类似于Unix的目录树结构的一个数据存储模拟 4. 提供了相应的API接口,供其他编程语言来调用。 1.2 Zookeeper集群的特点 1.

  • 大数据开发之zookeeper的数据与存储2021-12-08 12:03:15

    ​ 一、内存数据 zk的数据模型是树结构,在内存数据库中,存储了整棵树的内容,包括所有的节点路径、节点数据、ACL信息,zk会定时将这个数据存储到磁盘上 1.1 DataTree DataTree是内存数据存储的核心,是一个树结构,代大数据培训表了内存中一份完整的数据。DataTree不包含任何与网络、客户端

  • 技术管理进阶——Leader的模型、手段及思维2021-12-07 23:03:51

    这里可以添加关注交流一下嘛…… 本文更多的是个人认知,有不足请批评。 ​Case 在之前一次年底考评的时候,有一位leader将一个案例同时用到了自己和下属身上,老板发出了责问: 这个项目到底你是负责人,还是你下面的同学是负责人,如果下面的同学是负责人,为什么要算到你的头上? 老板这边的

  • 【Kafka中文社区】Kafka核心组件之Controller功能及故障转移(2)2021-12-07 15:00:46

     来源:Kafka知识星球  https://z.didi.cn/5gSF9 Controller的职责是什么? 我们经常说,控制器是起协调作用的组件,那么,这里的协调作用到底是指什么呢?总体来说控制器的职责大致可以分为 5 种:主题管理,分区重分配,Preferred leader选举,集群成员管理(Broker上下线),数据服务(向其他Broke

  • kafka面试题2021-12-06 20:36:37

    无论是作为面试官,还是应聘者,我都接触过很多Kafka面试题。而在最近面试了很多候选人,发现写了熟悉Kafka,但是对于Kafka相关的知识却是只知道大概用处,简单搭建和使用。我想说,虽然我们是SRE(可靠性工程师),但不论你是业务层的SRE还是基础设施层的SRE,我们都需要对业务方的使用场景有足够理

  • kafka系列二:架构设计2021-12-05 14:58:18

    kafka架构设计 1. 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用与大数据实时处理领域。 1.1 消息队列 Kafka 本质上是一个 MQ(Message Queue),使用消息队列的好处? (面试会问) 解耦:允许我们独立的扩展或修改队列两边的处理过程。可恢复性:即使一个处

  • Zookeeper知识点2021-12-04 14:58:00

    Zookeeper 作用: 分布式协调服务(监听hadoop是否宕机,宕机就使用另一个集群的hadoop) 在数仓领域的场景,协调hadoop服务实现高可用 每个zk服务里面存储的是状态信息 Zookeeper特性: 全局数据一致:集群中每个服务器保存一份相同的数据副本,client无论连接到哪个服务器,展示的数据都是一

  • Kafka源码的学习框架:覆盖Kafka核心机制的方方面面2021-12-03 19:59:50

    一、Kafka 总览 1)kafka 集群是由 broker 组成,每个 borker 拥有一个 controller,基于 zookeeper 做集群 controller leader 选举,以及存储集群核心元数据,leader controller 负责管理整个集群; 2)以 Topic->partition-> replication 来存储生产者数据,每个 partition 为一个 Log,log 分

  • kafka 学习笔记12021-12-01 22:32:49

    Event streaming is the digital equivalent of the human body’s central nervous system 概述 分布式基于发布/订阅模式的消息队列,应用于大数据实时处理领域。 1 6 3005 应用 异步处理 两种模式 点对点 消费者主动拉取消息发布订阅 一对多 消费者消费数据后不会清除消息

  • 分布式Zookeeper-基础2021-12-01 13:30:58

    分布式Zookeeper-基础 Zookeeper简介 Zookeeper是什么 Zookeeper为分布式应用提供高效且可靠的分布式协调服务,而是采用了名为 ZAB 的一致性协议。作用主要是维护和监控存储数据的状态变化,一旦变化就Zookeeper就负责将已经在Zookeeper上注册的观察者做出想要的反应(ps 观察者

  • 14) 21.11.29 浅谈 Kafka了解2021-11-29 23:32:51

    1.认识Kafka Kafka对消息保存时依据Topic进行归类,发送消息成为Producer,消息接受者成为Consumer,此外Kafka集群有多个Kafka实例组成,每个实例(server)称为broker. 低版本之前集群,con和pro都依赖zk保证系统可用性,为集群保存meta信息。 2.概念 1).Kafka作为一个集群运行在一个或者多

  • 关于GitHub 服务中断 24 小时 11 分钟事故2021-11-28 21:05:52

    目录1.背景MySQL集群部署情况Orchestrator部署情况2.事情的经过3.存在的隐患4.参考 这起事故虽然发生在2018年,已经过去了很长时间,但其中的问题和带来的启示永不过时,拿来分析,具有很重要的意义。 1.背景 GitHub主要有东、西海岸两个数据中心,以及其他三个公有云数据中心。本次事故主

  • 关于GitHub 服务中断 24 小时 11 分钟事故2021-11-28 21:00:57

    目录 1.背景MySQL集群部署情况Orchestrator部署情况 2.事情的经过3.存在的隐患4.参考 这起事故虽然发生在2018年,已经过去了很长时间,但其中的问题和带来的启示永不过时,拿来分析,具有很重要的意义。 1.背景 GitHub主要有东、西海岸两个数据中心,以及其他三个公有云数据中心

  • Zookeeper 源码分析2021-11-27 23:03:09

    Zookeeper 源码分析 算法基础拜占庭将军问题Paxos 算法ZAB 协议CAP 源码详解辅助源码ZK 服务端初始化源码解析ZK 服务端加载数据源码解析ZK 选举源码解析Follower 和 Leader 状态同步源码服务端 Leader 启动服务端 Follower 启动客户端启动客户端初始化源码解析 算法基

  • Zookeeper 入门(4):一致性算法,Paxos 算法,2021-11-25 18:01:16

    拜占庭将军问题 拜占庭将军问题是一个协议问题,拜占庭帝国军队的将军们必须全体一致的决定是否攻击某一支敌军。 问题是这些将军在地理上是分隔开来的,并且将军中存在叛徒。叛徒可以任意行动以达到以下目标: 欺骗某些将军采取进攻行动;促成一个不是所有将军都同意的决定,如当将

  • Apache Doris - 架构2021-11-25 15:03:54

    一、架构 FE(Frontend) 和 BE(Backend)节点 FE 为Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作; BE 为Doris 的后端节点。主要负责数据存储与管理、查询计划执行等工作; FE 节点分为 follower 和 observer 两类。各个 FE 之间,通过 bdbj

  • yugabytedb之DocDB复制层2021-11-25 07:31:37

    如切如磋,如琢如磨 yugabytedb之DocDB复制层 以下文章借鉴于官网https://docs.yugabyte.com/latest/architecture/docdb-replication/ Yugabytedb的同步复制借鉴于Google Spanner,异步复制借鉴于传统的RDBMS数据库,比如Oracle,mysql,PostgreSQL。 下面的章节描述了DocDB中的复制是如何

  • zookeeper简介2021-11-24 14:04:19

    一 zookeeper介绍 ZooKeeper是一个开源的分布式应用程序协调系统。简称ZK,ZK是一个典型的分布式数据一致性解决方案,分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁盒分布式队列等等功能。它运行在JAVA环境之

  • kafka生产者消费者2021-11-21 17:04:50

    生产者 生产者发送确认机制 半数follower响应全部follower响应–>改进:ISR机制:in-sync-replica set【挑选进入isr的follower规则:1、同步的时间 2、和leader相差的条数(0.9版本中被去掉)】 注意:isr中的follower和正常的follower的概念问题 acks配置 0:发送完就返回。At most once

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有