1.index 包含多个shard ，在创建index的时候可以自定义shards和replica的数量 例如: 新增一个index，手动指定shard和replica的数量 PUT demo_index { "settings": { "number_of_shards": 3, "number_of_replicas": 1 } } 添加完成后 GET demo_index 查询index的信息： {
Kafka简介 高性能的消息发送与高性能的消息消费 快速入门 创建topic 启动服务后，我们需要创建一个主题(topic)用于消息的发送与接收，并且分区(partition)数、副本(replica)数都指定为一 bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test -- partitions
redis配置文件 # Redis configuration file example. # # Note that in order to read the configuration file, Redis must be # started with the file path as first argument: # # ./redis-server /path/to/redis.conf # Note on units: when memory size is needed, it
1）Broker参数配置（server.properties） 1、网络和io操作线程配置优化 # broker处理消息的最大线程数（默认为3） num.network.threads=cpu核数+1 # broker处理磁盘IO的线程数 num.io.threads=cpu核数*2 2、log数据文件刷盘策略 # 每当producer写入10000条消息时，刷数据到磁盘 log
为什么要进行调度 先回忆一下三篇文章了解 TiDB 技术内幕 - 说存储提到的一些信息，TiKV 集群是 TiDB 数据库的分布式 KV 存储引擎，数据以 Region 为单位进行复制和管理，每个 Region 会有多个 Replica（副本），这些 Replica 会分布在不同的 TiKV 节点上，其中 Leader 负责读/写，Follower 负
1.创建数据文件夹： mkdir -p /data/master mkdir -p /data/slaver mkdir -p /data/arbiter 效果： data 文件夹包含 arbiter master slaver 三个文件夹 2.创建日志存放文件 vi /log/master.log vi /log/slaver.log vi /log/arbiter.log 效果： log文件夹包含 m
更多python教程请到： 菜鸟教程 https://www.piaodoo.com/ 人人影视 http://www.op-kg.com/ 问题： 在使用mask_rcnn预测自己的数据集时，会出现下面错误： ResourceExhaustedError: OOM when allocating tensor with shape[1,512,1120,1120] and type float on /job:localhost/repli
# Redis configuration file example. # # Note that in order to read the configuration file, Redis must be # started with the file path as first argument: # # ./redis-server /path/to/redis.conf # Note on units: when memory size is needed, it is possible t
首先从官网https://redis.io/download下载并把压缩包上传到服务器对应的目录。我这里是 /data0/redis_source进入压缩文件所在目录，解压文件 tar -xzvf redis-5.0.10.tar.gz 安装gcc yum install -y gcc-c++ 安装中途确认的地方按 y 在 /data0/redis_source/redis-5.0.10 目
执行命令 docker run -p 6379:6379 -v /usr/local/redis/data:/data -v /usr/local/redis/conf/redis.conf:/etc/redis/conf/redis.conf -d redis:6.0.5 redis-server /etc/redis/conf/redis.conf --appendonly yes 参数介绍 -p 端口映射 -v 容器卷 -d 后
前言 对于搭建好的mongodb副本集，为了安全，启动安全认证，使用账号密码登录。 副本集环境使用之前搭建好的，架构如下： 对副本集执行访问控制需要配置两个方面 : 1）副本集和共享集群的各个节点成员之间使用内部身份验证，可以使用密钥文件或x.509证书。密钥文件比较简单，本文使用密钥文件，官
前言 本文来自http://cs-cjl.com/中的redis配置系列，基于Redis 5.0的配置说明，非常详细。 配置文件redis.conf说明 include 选项 include /path/to/local.conf Redis 支持通过 include 选项来载入其他配置文件 模块选项 loadmodule /path/to/my_module.so loadmodule /pa
在上一篇文章中，我们搭建了3个节点的副本集，集群信息如下：rstest:PRIMARY> rs.config() { "_id" : "rstest", "version" : 2, "protocolVersion" : NumberLong(1), "writeConcernMajorityJournalDefault" : true, "memb
场景： 3 节点集群 (b1, b2, b3)，分区 tp1 的 isr[1, 2, 3]，leader 是 1，现在希望把 tp1 的 leader 切换为 3，怎么操作？ 1. 通过 zk 客户端，修改 zk 上 tp1 的 isr 列表为 [3, 2, 1] 2. 执行命令行 kafka-preferred-replica-election.sh，把需要修改 leader 的分区信息写入到 zk 的 /admin/p
#mkdir /home/redishome#mkdir /home/redishome/data#chmod -R 777 /home/redishome把redis.conf传到/home/redishome目录下 # docker search redis docker pull redis #docker run -p 6379:6379 --name="redis-server" -v /home/redishome/redis.conf:/etc/redis.
1.redis安装 1.下载安装包 将redis-5.0.2.tar.gz放到opt目录下 2.解压源码包 [root@CentOS7 opt]# tar -zxvf redis-5.0.2.tar.gz #解压会生成一个redis-5.0.5的目录 3.安装GCC依赖 [root@CentOS7 opt]# yum install gcc gcc-c++ #遇到选择，直接输入y即
1、Master-Slave主从结构主从架构一般用于备份或者做读写分离。一般有一主一从设计和一主多从设计。由两种角色构成：（1）主(Master)可读可写，当数据有修改的时候，会将oplog同步到所有连接的salve上去。（2）从(Slave)只读不可写，自动从Master同步数据。特别的，对于Mongodb来说，并不推荐使用Maste
拷贝rpm文件 cd /root/mongodb yum install -y * 配置节点 定义变量 NETWORK_ETH='eth0' ip=`ip address show dev ${NETWORK_ETH} | grep 'inet ' | awk -F ' ' '{print $2}' | cut -d / -f 1` #ip=`ifconfig eth1 | grep 'in
业务问题 跨IDC读写导致带宽压力大问题。多个业务还可能有重复consume和produce，造成跨IDC网络的极大浪费， 另外跨IDC网络并不稳定，经常遇到一些异常 业务直接使用官方裸客户端有困难，要进行二次封装 异常情况会catch不全 使用好kafka对业务有较高要求 客户端容错不能完全cover住360
1、分片和副本机制 1、index包含多个shard 2、每个shard都是一个最小工作单元，承担部分数据；每个shard都是一个lucene示例，有完整的建立索引和处理请求的能力 3、增减节点时，shard会自动在nodes中负载均衡 4、primary shard和replica shard，每个document只存在于某个p
基本概念 Elasticsearch有几个核心的概念，花几分钟时间了解一下，有助于后面章节的学习。 NRT Near Realtime，近实时，有两个层面的含义，一是从写入一条数据到这条数据可以被搜索，有一段非常小的延迟（大约1秒左右），二是基于Elasticsearch的搜索和分析操作，耗时可以达到秒级。 Cluster 集群，对外
1：primary shard和replica shard机制 (1):index包含多个shard (2):每个shard都是一个最小的工作单元，承载部分的数据，Lucene实例，完整的简历索引和处理请求的能力 (3):增减节点时，shard会自动在nodes中负载均衡 (4):primary shard和replica shard，每一个doc只会存在某一个primary sha
单位 1k=1000 bytes 1kb=1024 bytes 1m= 1000000 bytes 1mb= 10241024 bytes 1g= 1000000000 bytes 1gb= 10241024*1024 bytes 大小写不敏感，1GB 1Gb 1b是相同的。 包含 包含文件可以包含其他文件。 include选项不能被“config rewrite”命令重写。因为最后一个配置文件的配
MongoDB高可用 对于MongoDB，可以支持使用单机模式提供服务，但是在实际的生产环境中，单机模式将面临很大的风险，一旦这个数据库服务出现问题，就会导致线上的服务出现错误甚至崩溃。因此，在实际生产环境下，需要对MongoDB做相应的主备处理，提高数据库服务的可用性。 对于提高可用性，一些博文里
1、环境 操作系统版本：CentOS Linux release 8.0.1905 (Core) PostgreSQL版本：10.6主机： test1 192.168.1.11 test2 192.168.1.12 test3 192.168.1.13 2、在3台机器安装并初始化PostgreSQL [root@test1 ~]# yum install postgresql-server -y [root@test1 ~]# postgresql-
