最近项目中使用到了redis实现的分布式锁，自定义的分布式锁支持自旋和可冲入等，是一个不错的实践，这里记录下 /** * @description: redis分布式锁 * @author: cc.wang * @createDate: 2022-04-22 12:13 * @version: 1.0 */ public class RedisLock { private static Logger l
转载自：分布式数据库系统(DDBS) 概述 一、什么是分布式数据库 分布式数据库系统(DDBS:Distributed Database System)是在集中式数据库系统的基础上发展来的。是数据库技术与网络技术结合的产物。 分布式数据库系统有两种：一种是物理上分布的，但逻辑上却是集中的。这种分布式数据库
转载自：分布式数据库选型之争：数据库向左，中间件向右 近些年来，随着数据规模增加、数据使用复杂度提高，对底层数据库能力要求越来越高，传统集中式数据库已不能满足需要；分布式数据库成为必然的选择。金融行业，作为数据应用的高地，对数据库的要求自然更高。然而面对纷繁复杂的数据库种类，该
一、风哥南大通用GBase数据库工程师培训实战视频教程介绍 为满足想快速学习学习国产数据库南大通用GBase的学员，风哥特别设计的一套快速入门的GBase数据库学习课程。本教程内容涉及南大通用GBase8a数据库基础与架构 、南大通用GBase数据库集群规划、GBase8a分布式集群安装配置与
今天思考了一下分布式事务里边常见的两阶段和三阶段算法，这里稍微记录一下自己的一点点思考。进入分布式系统之后，系统需要在多个节点上进行数据的事务操作，这就面临着常见的所谓的网络故障，机器故障等等一系列挑战。分布式事务有一种特殊的场景，就是一致性kv场景。但是一致性kv的
1.1 事务简介 事务(Transaction)是访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。在关系数据库中，一个事务由一组SQL语句组成。 事务应该具有4个属性：原子性、一致性、隔离性、持久性。 这四个属性通常称为ACID特性。 原子性（atomicity）：事务是一个不可分割的工作单元，
redis分布式锁 package main import ( "fmt" "log" "sync" "time" "github.com/go-redis/redis" ) // 声明一个全局的rdb变量 var rdb *redis.Client var mutex sync.Mutex // 初始化连接 func initClient() (err error) { rdb = r
软件要求 VirtualBox下载 （粘贴到浏览器地址栏直接下载） https://download.virtualbox.org/virtualbox/6.1.4/VirtualBox-6.1.4-136177-Win.exe Ubuntu下载 （粘贴到浏览器地址栏直接下载） https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/18.04/ubuntu-18.04.6-live-server-amd
1.解压Hadoop安装包 cd ...... 进入软件包所在文件夹 ls 查看文件夹下所有文件 tar -zxvf hadoop...... 解压Hadoop的jar包 2.配置hadoop文件 cd /......(Hadoop安装所在目录）/etc/hadoop 进入配置文件所在目录下 vim hadoop-env.sh 设置Hadoop的JAVA_HOME expor
mini-raft git地址 raft implementation 8 java 参考raft-java todo leader election log replication safety 依赖 jdk11 springboot brpc rocksdb 测试 启动服务端cd mini-raft-server/deply && sh ./deploy.sh 启动客户端 mini-raft-client @SpringBootTest @Run
其他 NoSQL概述 分类 文档存储数据库：MongoDB 采用BSON格式完成存储数据和网络数据交换 BSON格式：JSON的二进制编码格式 逻辑结构包括：数据库、集合（相当于关系数据库的表）、文档（相当于记录），没有表这种逻辑结构 键值存储数据库：Redis、MemCached（分布式内存对象缓存数据库） Redis
摘自《Java微服务分布式架构企业实战》 ZooKeeper是一个分布式应用程序协调服务，其核心是一个文件系统。它支持集群模式的部署，同时具备监听机制。在分布式应用程序中可以通过ZooKeeper实现负载均衡、集群管理、分布式协调／通知、Master选举、分布式锁和分布式队列等功能。Zo
什么是2pc? 2PC 即两阶段提交协议，将整个事务流程分为两个阶段:准备阶段、提交阶段 1.准备阶段本地事务向协调者发送处理结果 2.提交阶段阶段协调者根据结果执行提交或回滚 有一个问题：如果发送者发送的请求因为网络原因，导致本地事务没有接收到，后果就是 本地事务一直阻塞，所以诞生了
本文首发于 Nebula Graph Community 公众号 本文整理自 DTCC 主题演讲【开源分布式图数据库的思考和实践】 目录 目录 图数据库市场的现状 图数据库的优势 以 Nebula Graph 为例 开源社区 图数据库市场的现状 开篇之前，先回顾下图数据库市场变化，2018 年前市场大概是 $ 650,00
[BigDataHadoop：Hadoop&Spark.V05] [BigDataHadoop.Spark内存级快速计算引擎][|章节一|Hadoop|spark|sparkcore：spark伪分布式模式|]一、伪分布式### --- 伪分布式 ~~~ # 伪分布式模式：在一台机器中模拟集群运行，相
写一下这几天任务的完成情况吧。 1.计网部分TCP大部分弄得比较明白了，可能还缺一些细节需要填补一下。 2.MySQL书看了两章多一点，锁这块书上讲的和视频不是一套体系，把我整蒙了几天，进度比较慢。 3.算法虽然也有每日一题，但是有个明显的问题就是，不是很想做算法题，个人还是比较喜欢单独抽
一：准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) centos 7 连接：https://zhuanlan.zhihu.com/p/375497418 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop
1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop 1.4关闭防火墙 #查看防火墙状态 service ipta
[翻译] 使用 TensorFlow 进行分布式训练 目录[翻译] 使用 TensorFlow 进行分布式训练0x00 摘要1. 概述2. 策略类型2.1 MirroredStrategy2.2 TPUStrategy2.3 MultiWorkerMirroredStrategy2.4 CentralStorageStrategy2.5 ParameterServerStrategy2.6 其他策略2.6.1 默认策略2.6.2 On
做为一个数据上报系统，随着接入量越来越大，由于 API 接口无法控制调用方的行为，因此当遇到瞬时请求量激增时，会导致接口占用过多服务器资源，使得其他请求响应速度降低或是超时，更有甚者可能导致服务器宕机。 一、概念 限流(Ratelimiting)指对应用服务的请求进行限制，例如某一接口的请求限
Postgres-XC基于PgSQL的shared nothing的分布式关系型数据库集群。 Postgres-XC由三个主要的组件组成，分别为GTM(Global Transaction Manager)，Coordinator，Datanode。 GTM提供事务一致性管理，遵循数据库的ACID Coordinator是应用程序的访问入口，它的行为类似传统的PostgreSQL
Cassandra 分布式结构化存储系统 摘要 Cassandra 是一个分布式存储系统，用于管理分布在许多商品服务器上的大量结构化数据，同时提供无单点故障（no single point of failure）的高可用服务。Cassandra 的目标是在数百个节点(可能分布在不同的数据中心)的基础设施上运行。在这种规模下，大
分布式定时任务调度框架选型 背景 业务场景 定期执行任务：如每天0点做资源稽查； 需求和痛点 集群部署服务时，如何确保任务不被重复执行？---最急迫 如何监控、告警等； 高可用、无单点故障； 优秀的并行处理能力、分片能力； 自研 or 开源 任何工具的使用都要结合自身的业务场景，脱落业务
具有分布式引擎的表不存储自己的任何数据，但允许在多个服务器上进行分布式查询处理。读取是自动并行的。在读取期间，将使用远程服务器上的表索引（如果有的话）。 一、创建表 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( name1 [type1] [DEFAULT|
1.和普通交换机的相同之处 （1）都是为VM，管理流量，Vmkernel等提供链接的。 （2）都是要使用物理网卡来关联，实现Uplink链路 （3）都是需要使用Vlan来实现对网络的逻辑隔离 2.分布式交换机的优点 （1）不属于某一个ESXI，属于vCenter环境。 （2）横跨多个ESXI组成的集群的单一交换机。
