ICode9

精准搜索请尝试: 精确搜索
  • 开发人员没有为服务器端事件做好准备的一个问题2023-12-05 17:25:42

    在分布式架构中,一切都变得更加复杂——我们应该预见到它的到来。 我们刚刚完成了全新功能的开发,使用OpenAI 的技术为客户的视频生成字幕。该架构令人印象深刻,具有微服务、事件队列和工作线程——足以让任何开发人员感到自豪。我们唯一不自豪的是在浏览器中使

  • 分布式系统的指标(分布式的目的)2022-10-17 21:55:57

    前言 分布式系统的指标可以用来具体地衡量一个分布式系统。 分布式系统的指标 从分布式技术的起源可以看出,分布式系统的出现就是为了用廉价的、普通的机器解决单个计算机处理复杂、大规模数据和任务时存在的性能问题、资源瓶颈问题,以及可用性和可扩展性问题。分布式的目的是用更多

  • MASA Framework的分布式锁设计2022-09-16 14:30:17

    前言 什么是锁?什么是分布式锁?它们之间有什么样的关系? 什么是锁 加锁(lock)是2018年公布的计算机科学技术名词,是指将控制变量置位,控制共享资源不能被其他线程访问。通过加锁,可以确保在同一时刻只有一个线程在访问被锁住的代码片段,我们在单机部署时可使用最简单的加锁完成资源的独享,如

  • MasaFramework -- 锁与分布式锁2022-09-16 13:34:59

    前言 什么是锁?什么是分布式锁?它们之间有什么样的关系? 什么是锁 加锁(lock)是2018年公布的计算机科学技术名词,是指将控制变量置位,控制共享资源不能被其他线程访问。通过加锁,可以确保在同一时刻只有一个线程在访问被锁住的代码片段,我们在单机部署时可使用最简单的加锁完成资源的独享,如

  • Monolitich 与分布式架构的权衡2022-09-14 09:30:25

    Monolitich 与分布式架构的权衡 现在有很多关于分布式架构和事件源模型的讨论,特别是在云基础设施和 kubernetes 集群中。在过去的几年里,它获得了很大的动力,它可能会寻找一些人来解决他们的架构耦合和可伸缩性问题。过去几周我一直在阅读它,我想分享我对它的看法。 如果您正在考虑将

  • 分布式系统之分布式事务2022-09-11 23:30:09

    案例背景 在互联网分布式场景中,原本一个系统被拆分成多个子系统,要想完成一次写入操作,你需要同时协调多个系统,这就带来了分布式事务的问题(分布式事务是指:一次大的操作由多个小操作组成,这些小的操作分布在不同的服务器上,分布式事务需要保证这些小操作要么全部成功,要么全部失败)。那怎

  • 一个分布式websocket的实现2022-09-11 17:30:29

    前情提要 之前我的项目里有一个合作编辑的功能,多个客户端的用户可以合作写一篇文章的不同部分,而且合作的任意作者互相还可以进行文字通讯。这种需求肯定是首选websocket了,因为服务器需要主动给客户端推送消息,维持一个长连接是最经济实惠的手段。如果一个客户端需要给另一个客户端

  • Ubuntu搭建全分布式Hadoop2022-09-09 22:02:34

    @目录配置ssh免密登录配置Java、hadoop环境配置hadoop文件配置hadoop-env.sh配置yarm-env.sh配置core-site.xml配置hdfs-site.xml配置yarm-site.xml配置mapred-site.xml配置workers文件将jdk、Hadoop传输到其他节点启动集群!!!start-dfs.sh启动dfsstart-yarn.sh启动yarn 采用三台节点

  • Ubuntu搭建全分布式Hadoop2022-09-09 22:01:16

    @目录配置ssh免密登录配置Java、hadoop环境配置hadoop文件配置hadoop-env.sh配置yarm-env.sh配置core-site.xml配置hdfs-site.xml配置yarm-site.xml配置mapred-site.xml配置workers文件将jdk、Hadoop传输到其他节点启动集群!!!start-dfs.sh启动dfsstart-yarn.sh启动yarn 采用三台节点

  • OceanBase分布式事务剖析2022-09-09 10:32:38

    在正文开始之前,首先对OceanBase整体架构和存储引擎做一个简单介绍,以帮助更好地理解OceanBase的事务引擎 1 整体架构 OceanBase(以下简称OB)是一个分布式关系数据库系统,是典型的shared-nothing架构。其架构如下图1所示: 图1 OceanBase整体架构 OceanBase中几个关键概念的解释如下: Tab

  • 分布式事务2022-09-08 17:30:14

    何为分布式事务? 事务,要么全部成功,要么全部失败,分布式事务的这些操作位于不同的服务(进程)中。   分布式事务 要遵循CAP理论: C:consistency 一致性; A:availability 可用性; P:分区容忍性 partition tolerance; 但CAP不能同时满足, CP:zookeeper 满足一致性、分区容忍性;刚性事务需要满足CP,对

  • Ubuntu下安装伪分布式HADOOP遇到的一些问题2022-09-08 10:34:59

    跟着网上的教程一步步做下来,遇到了一些坑,ubuntu 20.04   hadoo 3.2.3 1. 首先是忘记切换用户,hadoop用户的 .bashrc里没有配置JAVA_HOME,导致后面乱忙活 2. 查询hadoop版本号的指令不是hadoop -version,而是在hadoop文件夹下 ./bin/hadoop version,虽然安装成功了,但一度以为配置错误

  • 华为云分布式消息服务Kafka版2022-09-08 04:35:09

    下载Demo包 https://dms-demo.obs.cn-north-1.myhuaweicloud.com/kafka-sdk-java-demo.zip 详解Win10系统下打开.jks签名文件的方法 https://blog.csdn.net/lr_201010/article/details/78933740

  • 3dsmax+vray5进行分布式渲染2022-09-07 13:31:26

    环境 我的两台电脑软件是一样的:win11 + 3ds max 2020 + vray5 update 2.2。 台式机1硬件是12900 + RTX 3080 Ti,台式机2硬件是12900KF + RTX A4000。 两台电脑都是在同一个局域网内。 如何开启分布式渲染 F10打开渲染设置窗口; 渲染器为V-Ray 5, update2.2; 打开Settings选项卡,找到D

  • 云图说丨初识分布式消息服务Kafka版2022-09-07 12:04:03

    摘要:分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。 本文分享自华为云社区《【云图说】第254期 初识分布式消息服务Kafka版》,作者: 阅识风云。 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队

  • 分布式中灰度方案实践2022-09-07 08:30:59

    让请求在导航的服务节上点执行; 一、背景简介 分布式系统中会存在这样的开发场景,不同需求可能涉及到对同一个服务的开发,那么该服务在研发期间就会存在多个版本并行的状态,为了保持不同版本之间的隔离性,验收需要将请求路由到指定版本号的服务上处理; 假设存在三个服务:A、B、C,且服务

  • Elasticsearch和Solr的区别2022-09-06 16:01:24

    1、基于Lucene开发 他们底层都是基于Lucene开发,使用了Lucene的倒排索引实现的 2、解决IO阻塞性能 solr在实时建立索引的时候产生的IO阻塞查询性能会比ES差一些 3、是否支持分布式 solr自身是不支持分布式的,但是我们可以搭建集群来支持分布式; es是实时处理数据,默认是支持分布

  • HDFS 伪分布式环境搭建2022-09-05 22:03:15

    HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle JDK 1.8 安装步骤 在CentOS 下安装 Oracle JDK 1.8 下载地址 将下载好的 JDK 的安装包 jdk-8u202-linux-x64.tar.gz 上传到

  • redis分布锁2022-09-04 16:32:46

    1.redis分布式锁应用的场景? 1)防止缓存穿透:热点数据过期,大量线程访问mysql 2)  防止秒杀超卖:库存数量同步给redis后,对redis数据进行扣减 3)双写一致性:缓存的数据,被修改,导致数据库与缓存数据不一致。 4)接口幂等性:由于网络波动或者快速点击,导致发出多次请求。 2.分布式锁的死锁问题?

  • 消息队列 day102022-09-03 23:03:14

    RabbitMQ 即一个消息队列,主要是用来实现应用程序的异步和解耦,同时也能起到消息缓冲,消息分发的作用。 消息中间件在互联网公司的使用中越来越多,刚才还看到新闻阿里将 RocketMQ 捐献给了 Apache,当然了今天的主角还是讲 RabbitMQ。消息中间件最主要的作用是解耦,中间件最标准的用法是

  • 大数据分析常用组件、框架、架构介绍(Hadoop、Spark、Storm、Flume、Kafka、Logstash、HDFS、HBase)2022-09-01 00:04:49

    首先,数据传输组件: ①Kafka是用Scala编写的分布式消息处理平台。 ②Logstash是用JRuby编写的一种分布式日志收集框架。 ③Flume是用Java编写的分布式实时日志收集框架。 其次,数据存储组件: ④HDFS (Hadoop Distributed File System)用Java编写,是谷歌的GFS(Google File S ystem)的一

  • 分布式协同AI基准测试项目Ianvs:工业场景提升5倍研发效率2022-08-31 11:04:14

    摘要:全场景可扩展的分布式协同AI基准测试项目 Ianvs(雅努斯),能为算法及服务开发者提供全面开发套件支持,以研发、衡量和优化分布式协同AI系统。 本文分享自华为云社区《KubeEdge|分布式协同AI基准测试项目Ianvs:工业场景提升5倍研发效率》,作者 华为云|郑子木。 在边缘计算的浪潮中,AI是

  • 关于分布式全内存数据库RapidsDB主要应用场景?2022-08-31 10:00:30

    分布式全内存数据库RapidsDB主要应用场景包含以下四项:一是大数据平台快速数据检索、分析及计算处理的需求;二是基于磁盘存储的数据库受限于磁盘读写速度,很难满足业务系统低时延与高并发的需求;三是算力要求高的业务场景;四是开源数据库系统运维成本大,技术支持力量薄弱的场景。   这

  • 集群和分布式部署有什么区别?2022-08-29 14:31:20

    1.集群和分布式的区别小饭店原来只有一个厨师,切菜洗菜备料炒菜全干。后来客人多了,厨房一个厨师忙不过来,又请了个厨师,两个厨师都能炒一样的菜,这两个厨师的关系是集群。 为了让厨师专心炒菜,把菜做到极致,又请了个配菜师负责切菜,备菜,备料,厨师和配菜师的关系是分布式,一个配菜师也忙不过

  • Go语言实现分布式对象存储系统2022-08-28 01:05:09

    实现一个可扩展的,简易的,分布式对象存储系统 存储系统介绍 先谈谈传统的网络存储,传统的网络存储主要分为两类: NAS,即Newtwork Attached Storage,是一个提供了存储功能和文件系统的网络服务器,客户端可以访问NAS上的文件系统,可以上传和下载文件,NAS客户端和服务端之间使用的协议有SMB、

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有