ECK在集群上还没部署多久还没有正式投入使用，试用阶段也发现了不少问题，现在马上要正式的部署了，想着在正式部署的时候把k8s集群升级。看了些资料，由于我的集群只有一个master节点虽然很强大，一台HUAWEI Taishan2280v2 服务器配双路鲲鹏920（单路48核，所以物尽其用，跑了master节点，traefik和k
1.首先需要将nacos的持久化配置从自带的嵌入式数据库更换到mysql 数据库初始化文件位置在/nacos/conf 使用你的数据库管理工具执行sql文件，我用的是mysqlworkbench 首先，新建nacos-config（名字可以自定义）库 然后 use nacos_confid 切换至nacos-config库 将
环境 三台 Centos 7 服务器：kube_1、kube_2、kube_3，配置：2核 4G 设置主机名称（*不改的话，加入work节点时会出大错，这个细节改了好久） # 临时修改 hostname XXX # 永久修改 （建议） hostnamectl set-hostname xxx 关闭、禁用防火墙： 1 systemctl stop firewalld 2 3 systemctl disabl
1. 如果是一个业务被拆分成多个子业务部署在不同服务器上，是分布式应用；如果是同一个业务部署在多台服务器上，是集群； 2. 远程过程调用RPC：一种通过网络从远程计算机上请求服务，而不需要了解底层网络技术的协议；典型实现包括Dubbo，Thrift，CRPC等； 3. 消息队列：消息发布者只管将消息发布到消息
docker的使用越来越普遍了，大家不知道docker的还需要进一步学习一下。这次咱们使用docker去进行hadoop集群的构建。 使用docker构建的好处真的很多，一台电脑上可以学习安装很多想做的东西，可以说是一个docker可以虚拟你想使用的任何环境。大家知道安装hadoop需要很多机器和资
Zookeeper 安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。 单机模式 单机安装非常简单，只要获
1、准备环境 centos 7.4 hadoop hadoop-3.2.1 （http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz） jdk 1.8.x 2、配置环境变量 命令：vi /etc/profile #hadoop export HADOOP_HOME=/opt/module/hadoop-3.2.1export PATH=$PATH:$HADOOP_HOME/b
【1】集群技术的分类 【1.1】高可用集群（Hight Availability，HA） 高可用的含义是最大限度地可以使用。主要是保障程序业务的不间断性和可扩展性。 【1.2】负载均衡集群（LoadBalance） 主要分为前端负载调度和后端服务两个部分。 负载调度部分负责把客户端的请求分配给后端服
准备三台机器，系统：windows 8 192.168.1.1 192.168.1.2 192.168.1.3 每台机器上安装mongodb 服务，步骤： 下载以下文件并依次执行安装 clearcompressionflag.exe Windows8.1-KB2919442-x64.msu Windows8.1-KB2932046-x64.msu Windows8.1-KB2934018-x64.msu Windows8.1-KB2937592-x
rabbitmq3.3.5 下载地址 https://cbs.centos.org/kojifiles/packages/rabbitmq-server/3.3.5/6.el7/noarch/rabbitmq-server-3.3.5-6.el7.noarch.rpm （引用 https://cbs.centos.org/koji/buildinfo?buildID=4739） web访问页面 http://xx.xx.xx.xx:15672/
152.kafka 可以脱离 zookeeper 单独使用吗？为什么？ kafka不能脱离zookeeper单独使用，因为kafka使用zookeeper管理和协调kafka的节点服务器 153.kafka 有几种数据保留的策略？ kafka有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留 154.kafka 同时设置了 7 天和 10G 清
大数据第三周： 1.完善CentOS7最小安装版 检查是否能上网，进行系统更新，更新命令：sudo yum update 2.远程使用服务器方法 没有安装GUI，是server系统常用的，但是本机操作并不是很方便，一般server都是远程使用的。如果在linux或mac系统上远程使用，直接使用ssh远程登陆就可以；如果是wind
Eureka的集群配置。 Eureka集群的运行机制是"相互注册，相互守望"。 主要是为了实现高可用。防止出现单点故障。 假如有三个Eureka服务注册中心。7001,7002,7003。那么7001,7002,7003需要相互注册。即7001-7002、7001-7003。7002-7001、7002-7003。7003-7001、7003-7002。- E
kafka+zookeeper最牛最完整的集群搭建 linux版本的zookeeper下载地址 这里演示的是apache-zookeeper-3.5.7-bin.tar.gz 这个版本和kafka的 kafka_2.13-2.4.1.tgz，哪个版本不要紧 重要的是 kafka和bin同级目录的libs里面的zookeeper 的版本相同才可以，呕心沥血多少个版本遇
ZooKeeper和Kafka集群部署 ZooKeeper集群部署 准备三台机器搭建集群，所有命令都在三台机器上运行 基础环境配置 主机名配置 # hostnamectl set-hostname zookeeper1 # hostnamectl set-hostname zookeeper2 # hostnamectl set-hostname zookeeper3 # bash 重启生效 配置文件
发现 发现是节点之间彼此发现，形成集群的一个过程。这个过程发生的场景有很多，比如：你启动了一个集群节点，或者一个节点确认主节点已经挂掉了，或者一个新的主节点被选举了。 咱们在配置集群的时候在配置文件中配置了一个discovery.seed_hosts，这个就是种子地址列表，集群中的节点都在这个
Spark集群上的运行 Spark集群采用的是主/从结构，主是驱动器节点driver，其他是工作节点executor，之间通过集群管理器来连接。 驱动器在Spark应用有两个职责： 把用户程序转为任务。转为多个物理执行的单元，即任务task。驱动器会按DAG图来执行，也会对DAG进行流水线优化，形成一系列stage。每
一、Docker安装模拟MySQL集群 1、下载镜像 docker pull mysql:5.7 2、创建Master实例并启动 docker run -p 3306:3306 --name mysql-master \ -v /mydata/mysql/master/log:/var/log/mysql \ -v /mydata/mysql/master/data:/var/lib/mysql \ -v /mydata/mysql/master/conf:/etc
什么是Hadoop？ Hadoop是一个开源的Apache项目，通常用来进行大数据处理。 Hadoop集群的架构： master节点维护分布式文件系统的所有信息，并负责调度资源分配，在Hadoop集群中node-master就是master的角色，其包括两个服务： NameNode: 负责管理分布式文件系统，维护了数据块在集群中的存储信息；
https://www.cnblogs.com/bjx2020/p/12133545.html ColumnStore完整验证指南之安装与启动停止 https://www.cnblogs.com/zhjh256/p/10123091.html MariaDB ColumnStore在OLAP离线分析中的实践与应用（附脚本） https://www.sohu.com/a/210489671_411876 MariaDB ColumnStore初探(1)：安
ZooKeeper集群搭建有两种方式： - 伪分布式集群搭建： 所谓伪分布式集群搭建ZooKeeper集群其实就是在一台机器上启动多个ZooKeeper，在启动每个ZooKeeper时分别使用不同的配置文件zoo.cfg来启动,每个配置文件使用不同的配置参数(clientPort端口号、dataDir数据目录. 在zoo.cfg中配
文章目录前置说明1. 创建redis配置文件2. 生成配置文件3. 创建容器4. 搭建集群方式一：通过容器的redis-cli创建集群方式二： 通过外部redis-cli搭建下载redis源码包：解压编译创建软连接到bin目录搭建集群5. 测试宿主机访问集群外网使用redis-destop manager访问集群 前置说明
1.为什么需要redis集群？ 单个redis存在不稳定性。当redis服务宕机了，就没有可用的服务了。 单个redis的读写能力是有限的。 2.redis集群概述 redis集群中，每一个redis称之为一个节点。有两种类型的节点：主节点(master)、从节点(slave)。Redis 集群是一个提供在多个Redis间节点间
本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪。 一、Hadoop在携程的落地及发展情况 携程Hadoop是从2014年引进的，基本上每年较前一年以两倍的速度在增长，我
为什么要搭建高可用集群? 在实际开发中 随着业务的复杂程度 服务也会越来越多 一个项目可能有几十或者几百个实例 这些实例都交给Eureka注册中心进行管理 此时Eureka承受了非常高的负载 由于注册中心在 微服务架构中非常重要 所以要对注册中心进行高可用集群 一旦其中一个注册中
