疫情期间，在线教育、在线办公需求持续井喷，钉钉作为很多企业首选的在线办公软件，用户量激增，特别是钉钉视频会议、直播的需求随之飙升。同时，钉钉为了响应教育部门“停课不停学”的号召，宣布老师们可以免费试用钉钉在线课堂。 流量如洪流般涌入钉钉，一场资源扩容的技术挑战拉开
1、zookeeper集群搭建 安装配置（配置3个） 3.2.1 生成3个文件 tar xf zookeeper-3.4.14.tar.gz -C /usr/local/zookeeper1 tar xf zookeeper-3.4.14.tar.gz -C /usr/local/zookeeper2 tar xf zookeeper-3.4.14.
1.hadoophadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（Network File System）方式，另外一种是QJM（Quorum Journal Manager）方式。高可用:单点故障 hadoop_ha JournalNodes集群 active standby修改一次元数据都会生成一条edits log，除了写入本地磁盘文件，还会写入JournalNodes集群nam
集群：一组通过网络连接的计算机，共同对外提供服务，感觉像一台独立的服务器。目的是：提供服务器处理性能。
kubernetes中的大部分概念，如Node、Pod、Replication Controller、Service等都可以看做是一种 “资源对象”，几乎所有的资源对象都可以通过kubectl工具(或者API接口)来实现增、删、改、查等操作，并将其保存在etcd中进行持久化存储，从这个角度来看，kubernetes其实是一个高度自动化的资源
一、Elasticsearch 数据备份 它会备份整个集群的当前状态和数据，并保存到集群中各个节点共享的仓库中。这个备份的进程是增量备份的，在第一次备份的基础上进行的第二次备份只备份新变化的数据。 Elasticsearch 可以通过快照命令对索引或者整个集群进行快照和恢复，第一个快照会是一个
1. 服务器资源规划 服务器角色 IP地址 安装组件 K8S-Master 172.19.230.120 kube-apiserver kube-controller-manager kube-scheduler etcd K8S-node1 172.19.230.121 kubelet kube-proxy docker etcd K8S-node2 172.19.230.122 kubelet kube-proxy docker etcd
Flink支持多种安装模式。 local（本地）——单机模式，一般不使用 standalone——独立模式，Flink自带集群，开发测试环境使用 yarn——计算资源统一由Hadoop YARN管理，生产环境测试 Standalone模式 步骤 1. 解压flink压缩包到指定目录 2. 配置flink 3. 配置slaves节点 4. 分
前言 说明：本文章使用的ES版本是：6.7.0 在上一篇文章搜索引擎ElasticSearch的启动过程中，介绍了ES的启动过程。 由此可知，在ES启动过程中，创建Node对象（new Node(environment)）时，初始化了RestHandler，由其名字可以知道这是用来处理Rest请求的。 在ES源码中，RestHandlerAction如下图：
长时间不用真的会忘。这个例子一共浪费了5小时。记不得太多细节了。所以说还是要坚持记录！ 加油！！！ Hadoop集群与Clickhouse集群不能直接访问。 涉及知识点： 1、Hadoop数据导出。命令行与代码两种。 2、命令行方式涉及hadoop节点内使用还有hadoop-client访问hadoop集群使用命令行。
1、VRRP 虚拟路由器冗余协议，常用于边缘网络，将两台路由器虚拟成一台虚拟路由器。 2、HSRP（hot standby router protocol） 热备份路由协议，思科私有协议。任意时刻热备份组里面只有一台核心交换机在转发数据，在其完全不能工作时，它的全部功能被热备份组中的其他备份核心交换机完全
目录：1）Ceph介绍2）部署Ceph集群采用版本【2020最新nautilus (stable)14.2.7】 为什么使用Ceph？ ceph其实早在2004年的时候写的第一行代码，它是到2012年才有的第一个开发版本，到2014年的时候ceph才慢慢有公司在生产上应用了，那时候一般有的版本也不是很稳定，也是进行一些二次的研发，包装成一
概述 ES集群是一个P2类型的分布式系统，除了集群状态管理以外，其他所有的请求都可以发送到集群内任意一台节点上，这个节点可以自己找到需要转发给哪些节点，并且直接跟这些节点通信。所以，从网络架构及服务配置上来说，构建集群需要的配置及其简单。在Elasticsearch2.0之前，无阻碍的网络
遇到的问题如下： 网上的帖子一般比较重步骤，每一步都很详细，但没有说明为什么，读者容易因为不知道为什么，而忽视一些问题，安装出错也不知道如何解决。所以写上一些为什么还是必要的。 1.SSH问题 1）集群配置中需要配置Master和Slave间的ssh无密码访问。需要的是master能够无密码
搭建 Kubernetes 高可用集群 https://www.cnblogs.com/dudu/p/12168433.html挺好的资料。 使用 3 台阿里云服务器（k8s-master0, k8s-master1, k8s-master2）作为 master 节点搭建高可用集群，负载均衡用的是阿里云 SLB ，需要注意的是由于阿里云负载均衡不支持后端服务器自己
DMTDD集群是最近DM推出的分布式数据库集群 最近尝试了通过DEM工具搭建DMTDD集群 1.环境准备 毕竟分布式都是大集群，我准备了8台虚拟机用于搭建DMTDD（我的I9差点扛不住） 计算节点 192.168.83.136，192.168.83.137 日志节点 192.168.83.138，192.168.83.139 存储节点 192.168.83.140，1
集群安装 生产环境 最好跨网段 跨机房 跨地域进行配置，以防万一： 192.168.1.173 tarcker-group1 192.168.1.174 tarcker-group2 192.168.1.175 storage-group1-1 192.168.1.176 storage-group1-2 192.168.1.177 storage-group2-1 192.168.1.178 storage-group2-2
这篇文章继续介绍一些使用Consul所需要了解的基础概念。 开发模式 Consul提供开发模式（dev），这种模式不被建议在生产环境中使用，在这种模式下可扩展性和安全性的保障都不足，但是使用起来却会非常简单，大多数Consul的功能的使用都无需进行额外的配置和设定，是学习Consul功能中常用
JAVA架构师眼中的高并发架构，分布式架构 应用服务器集群前言 高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。 为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并
服务IP 规划用途 192.168.169.12 zookeeper 192.168.169.13 zookeeper 192.168.169.14 zookeeper 一，基本环境：(Zookeeper集群) 1.关闭防火墙，selinux 防火墙： systemclt stop firewalld systemctl disabled firewalld Selinux： 编辑：/etc/sysconfig/selinux 添加如下内容： :% s/en
一、Redis的高可用策略（主从策略） 1. 基本概念 高可用（High Availability），是当一台服务器停止服务后对于业务及用户毫 无影响。 停止服务的原因可能由于网卡、 路由器、机房、CPU负载过高、 内存溢出、自然灾害等不可预期的原因导致，在很多时候也称单点问题。 主备方式（简单情景）
Docker安装部署es集群：环境准备：已安装docker的centos服务器一台1． 拉取es版本docker pull elasticsearch:5.6.82． 新建文件夹 数据挂载目录 和 配置文件目录[root@localhost es]# mkdir data1[root@localhost es]# mkdir data2[root@localhost es]# mkdir data3[root@localhost es]#
文章目录1.关于节点个数的说明2.ZooKeeper集群的容错数3 ZooKeeper集群可用的标准4. 为什么不能是偶数个节点4.1 防止由脑裂造成的集群不可用4.2 奇数个节点更省资源4.3 偶数个节点遇到的其他问题参考资料 1.关于节点个数的说明 ZooKeeper的单机服务 (也就是单节点, 或着单
这篇文章主要介绍 ElasticSearch 的基本概念，学习文档、索引、集群、节点、分片等概念，同时会将 ElasticSearch 和关系型数据库做简单的类比，还会简单介绍 REST API 的使用用法。 ElasticSearch 术语 索引和文档是偏向于逻辑上的概念，节点和分片更偏向于物理上的概念。 首先来说下什
原文格式可以访问：https://www.rockysky.tech 分布式系统的基本操作 主节点选举：在绝大多数分布式系统中，都需要进行主节点选举。主节点负责管理协调其它节点或者同步集群中其它节点的数据。为了确保集群中一直存在一个主节点，需要有主节点的选举机制。但现有主节点无法访问的时候，自
