ICode9

精准搜索请尝试: 精确搜索
  • yugabytedb架构之DocDB事务层2021-11-21 07:31:07

    寄语天涯客,轻寒底用愁,春风来不远,只在屋东头 DocDB事务层 Yugabytedb的分布式ACID事务架构参考了Google Spanner DocDB内的所有更新操作都认为是事务,包括如下两种情况: 只更新一行的操作和更新驻留在不同节点上的多行的操作。 设置了autocommit模式。 时间同步 YugabyteDB集群中的事

  • kafka学习(六)Kafka核心设计原理2021-11-18 19:33:34

    一、Kafka核心总控制器   定义:kafka集群中的一个负责管理所有分区和副本的状态的broker。   PS:kafka单台机器也叫集群。   职能:选举新的leader副本、ISR变更通知所有broker更新其元数据、让新分区被其他节点感知。 当某个分区的leader副本出现故障时,由控制器负责为该分区选

  • Kafka分区2021-11-14 20:58:39

    一、分区的概念规则 1、每个topic(逻辑名称)由一个或多个分区组成,分区是topic物理上的分组,在创建topic时被指定 2、一个partition只对应一个Broke,一个Broke可以管理多个partition 3、由消息在顺序写入,在同一个分区内的消息是有序的,在不同的分区间,kafka并不保证消息的顺序(所以ka

  • kafka原理与实操(一):初学者视角学kafka架构(详细、简洁、总结性长文)2021-11-14 16:30:29

    文章目录 1、kafka概述2、kafka架构2.1 工作流程2.2 生产者2.2.1 分区策略2.2.2 数据可靠性保证2.2.3 Exactly Once语义 2.3 消费者2.3.1 消费方式2.3.2 分区分配策略2.3.3 offset的维护 2.4 高效读写数据2.5 zookeeper在kafka中作用2.6 kafka事务2.6.1 Producer事务2.6.2

  • zookeeper集群2021-11-14 13:03:11

    环境: 拥有三台服务器,假设三台服务器的Ip地址为 172.18.19.143,172.18.19.15,172.18.19.129开放三台服务器的2287,3387端口 集群搭建步骤: 1. 修改zookeeper服务器对应的配置文件:添加 server.1=172.18.19.143:2287:3387 server.2=172.18.19.15:2287:3387 server.3=172.18.19.129:228

  • kafka读写原理及ack机制2021-11-12 14:32:54

    一、 kafka读写流程 写流程 1.连接ZK集群,从ZK中拿到对应topic的partition信息和partition的Leader的相关信息 ​ 2.连接到对应Leader对应的broker ​ 3.将消息发送到partition的Leader上 ​ 4.其他Follower从Leader上复制数据 ​ 5.依次返回ACK ​ 6.直到所有ISR中的数据写

  • Kafka中主题分区副本简介2021-11-12 09:33:14

    Kafka中主题分区副本简介 1.主题(Topic) Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题(发送到Kafka集群中的每一条消息都要指定一个主题),而消费者负责订阅主题并进行消费。 2.分区(Partition) 主题是一个逻辑上的概念,它还可以细分为多个分区,一个分区只属于

  • Golang操作kafka2021-11-11 22:03:09

    kafka cluster: kafka集群,一台或多台服务器组成         Broker: Broker是指部署了Kafka实例的服务器节点。每个服务器上有一个或多个kafka的实 例,我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号,如图中的broker-0、broker-1等...

  • 基于etcd实现大规模服务治理应用实战2021-11-11 10:32:44

    基于etcd实现大规模服务治理应用实战 https://mp.weixin.qq.com/s/1VmMZlMEv-In9QKYeYOjiA 基于etcd实现大规模服务治理应用实战 原创 百度小程序团队 百度Geek说 2021-11-10 收录于话题 #云原生5个内容 #微服务5个内容 #百度15个内容 百度Geek说 关注我们,带你了解更

  • raft共识算法2021-11-08 15:06:45

    声明 本文是对文献[1]和文献[2]的阅读笔记,非本人原创。本博客仅发表在博客园上,作者LightningStar,其他平台均为转载。 摘要 本文主要介绍了raft共识算法,值得强调的是共识(consensus)算法和一致性(consistency)算法是完全不同的两类算法,其所解决的问题是不同的。读者应当明确共识算法与

  • Kafka设计解析- Kafka高性能架构,Kafka如何实现高性能?2021-11-07 16:01:45

    前言: 本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。 包含Kafka如何利用Partition实现并行处理和提供水平扩展能力,如何通过ISR实现可用性和数据一致性的动态平衡,如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读写和数据压缩实现磁盘的高效利用。 目录

  • 从k8s集群主节点数量为什么是奇数来聊聊分布式系统2021-11-07 12:32:54

    作者:肥嘟嘟左卫门熊 前言 今天简单聊一聊一个小问题,即为什么k8s的集群主节点数量通常是奇数,且3或5个居多? 我们先抛出答案 2467等数量的主节点也是可以的,但是不推荐的的原因如下 1. 奇数的原因是防止资源的浪费 k8s的一致性算法RAFT,要求集群需要数量大于(n/2)的正常主节点才能

  • 2.Kafka的工作原理及数据丢失、数据重复问题2021-11-04 23:01:19

    一、概述    一个分布式消息中间件,基于zookeeper的分布式日志系统。   简单来讲,就是一个存储系统,起一个缓冲作用。   所谓的消息系统,就是将数据从一个地方传递到另一个地方。消息传递模式有两种:点对点传递模式,发 布-订阅模式。Kafka是一种发布-订阅模式。       二、特

  • 二, Kafka架构深入2021-11-01 23:05:58

    二, Kafka架构深入 2.1 Kafka 工作流程(待完善) [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bAk1dhqF-1635778465190)(2021-10-25-14-00-42.png)] Kafka 中消息是以topic进行分类的, 生产者生产消息, 消费者消费消息, 都是面向topic的.topic是

  • Zookeeper 3、Zookeeper工作原理(详细)2021-10-31 22:35:24

    1、Zookeeper的角色   » 领导者(leader),负责进行投票的发起和决议,更新系统状态  » 学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票  » Observer可以接受客户端连接,将写请求转发给leader,但observer不参

  • Raft 8问2021-10-26 16:59:59

    Raft 8问 state 所有服务器上持久化: (在响应RPC之前更新到持久化存储) currentTerm:服务器发现到的最新term,或者说是服务器当前term。(从0递增)votedFor:当前term中,投票给的Candidate服务器的ID号。(null表示没有投票给谁)log[]:日志实体。包含给状态机的命令、收到此log时的term。(序

  • zookeeper集群环境查看leader节点2021-10-26 16:34:30

    zookeeeper集群环境查看leader节点 在项目实施中经常需要用用zookeeeper集群环境,当需要定位zookeeper集群是否稳定的时候,会需要判断集群中leader是否进行改变,这时候就需要命令来查看 zookeeper-3.4.6/bin ./zkServer.sh status ZooKeeper JMX enabled by default Using config:

  • Java并发53:并发集合系列-基于独占锁+PriorityBlockingQueue实现的单向阻塞无界延时队列DelayQueue2021-10-23 15:35:11

    原文地址:http://cmsblogs.com/?p=2413 DelayQueue是一个支持延时获取元素的无界阻塞队列。 里面的元素全部都是“可延期”的元素,列头的元素是最先“到期”的元素。 如果队列里面没有元素到期,是不能从列头获取元素的,哪怕有元素也不行。 也就是说只有在延迟期到时才能够从队列中取元

  • 兜底机制——leader到底做了什么?2021-10-22 18:36:00

    Case 在之前一次年底考评的时候,有一位leader将一个案例同时用到了自己和下属身上,老板发出了责问: 这个项目到底你是负责人,还是你下面的同学是负责人,如果下面的同学是负责人,为什么要算到你的头上? 老板这边的逻辑是,一件事只能放到一个人身上,下属用了,你就不能用。 leader感到很委屈,他

  • 分布式一致性算法Raft2021-10-22 01:02:13

    参考链接 https://raft.github.io/  可手动调整参数,模拟不同场景 http://thesecretlivesofdata.com/raft/  动态演示 强烈推荐   raft协议解决在分布式系统中的一致性问题,其容错性和性能基本上和Paxos相同,但是其复杂程度,易于理解程度都优于Paxos   raft的角色 raft中有三种角

  • 五周年:聊聊对职场生涯的认知及选择2021-10-20 01:03:01

    写博客五年多了,本来每年6月28号都要更新一篇周年随笔的,今年由于某些原因忘记了,今晚突然想起来,见谅。 这次,聊聊我对职场生涯的认知以及选择方面的事情。往期传送门: 一周年:聊聊写博客这件事 两周年:聊聊这一年的成长 三周年:聊聊近期目标和计划 四周年:聊聊测试工程师的核心竞争力  

  • docker 安装consul2021-10-17 22:34:27

    docker pull consul # 默认拉取latest docker pull consul:1.6.1 # 拉取指定版本 docker run -d -p 8500:8500 --restart=always --name=consul consul:latest agent -server -bootstrap -ui -node=1 -client='0.0.0.0' ui:表示启动 Web UI 管理器,默认开放端口 8500,所以上面使用

  • 例9.3 有3个候选人,每个选民只能投票选一人,要求编一个统计选票的程序,先后输入被选人的名字,最后输出各人的票结果2021-10-17 09:58:30

    /* 例9.3 有3个候选人,每个选民只能投票选一人,要求编一个统计选票的程序,先后输入被选人的名字,最后输出各人的票结果 */ #include<stdio.h> #include<string.h> struct Person { char name[20]; int count; }leader[3]={"Li",0,"Zhang",0,"Sun",0}; int main(void) {

  • 分布式一致性 Raft 与 JRaft2021-10-15 11:03:22

    分布式共识算法 (Consensus Algorithm) 如何理解分布式共识? 多个参与者 针对 某一件事 达成完全 一致 :一件事,一个结论 已达成一致的结论,不可推翻 有哪些分布式共识算法? Paxos:被认为是分布式共识算法的根本,其他都是其变种,但是 paxos 论文中只给出了单个提案的过程,并没有

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有