ICode9

精准搜索请尝试: 精确搜索
  • 这本Alibaba高性能架构路线,看过的人都已经年薪百万了!2021-09-23 13:33:36

    架构师?多么具有吸引力的三个字!那咱今天就来聊聊Alibaba百万年薪架构师必备技能——高性能架构学习路线:中间件、Nginx、缓存、ZK等等...看下方高性能架构进阶技能图... 纯手绘高性能架构进阶技能图 说明:以下全部所说的架构师必备技能之高性能架构学习路线及相关笔记:中间件、Ngi

  • KafKa2021-09-22 09:05:12

    服务注册发现的过程 etcd由哪几部分构成? etcd作为一个高可用的键值存储系统,天生就是为了集群化而设计的,一般etcd推荐奇数个节点,推荐的节点数量是 3、5、7 构成一个集群。 启动etcd 安装完 etcd 以后,使用 go 进行连接 连接 etcd import ( "context" "fmt" "time" "go.etcd.i

  • 消息队列之 kafka 集群搭建2021-09-21 21:00:10

    我们先弄清楚kafka集群环境首先需要些什么 JDK 10+ Zookeeper Kafka 2.x 首先准备三台虚拟机 centos7 ,更改IP地址为静态地址分别为,29、30.31 cd /etc/sysconfig/network-scripts #进入网卡文件目录 vim ifcfg-ens33 #使用vim编辑器编辑该网卡信息(需要编辑当前链接的网卡) servi

  • apache druid 与kafka整合使用2021-09-21 19:30:15

    前言 在上一篇,我们了解了apache druid的搭建,以及如何快速导入外部数据源到apache druid中进行数据分析和使用 本篇,我们结合一个实际的简单的应用场景,来说说apache druid如何在实际项目中进行使用 业务场景 如下所示,是一个很常见的数据分析的业务,通常来说,很多实时或准实时的数

  • 大型数据库(8)--- Kafka安装与配置2021-09-20 18:32:36

    安装说明 安装环境 虚拟机:VirtualBox-6.1.18 操作系统:Ubuntu16.04LTS 集群情况: 主机名称Hadoop版本ZooKeeper版本IP地址hadoop-master2.7.33.6.3192.168.56.1hadoop-slave12.7.33.6.3192.168.56.1hadoop-slave22.7.33.6.3192.168.56.1 本次安装的Kafka Kafka版本:2.13-2.8.0

  • “快”到上天的Kafka,性能优化的手段有多高明?2021-09-19 23:36:47

    以讲解性能作为 Kafka 之旅的开篇之作,让我们一起来深入了解 Kafka “快”的内部秘密。你不仅可以学习到 Kafka 性能优化的各种手段,也可以提炼出各种性能优化的方法论,这些方法论也可以应用到我们自己的项目之中,助力我们写出高性能的项目。   关公战秦琼   65: Redis 和 Kafka 完

  • 快速实现KAFKA单机、集群部署2021-09-19 09:33:28

    一、概述 1、关键作用:解耦、削峰填谷、异步处理 2、常见的MQ消费分类:至多一次消费、没限制 3、kafka名词解释: ① topic:一个消息只能进入一个topic中; ② partition:每个topic会根据分区数划分多个分区,每个分区相互独立。消息有key时使用hash分发到对应分区,无key使用轮询分散到

  • 大数据技术周报第 003 期2021-09-18 18:04:30

    这里记录过去一周,大数据相关值得分享的东西,每周日发布。 ![大数据技术周报003.png](https://img-blog.csdnimg.cn/img_convert/9ef503957983ff8e385f23e27754c98f.png#clientId=u0c6597f6-6c1c-4&from=ui&id=u9090de37&margin=[object Object]&name=大数据技术周报003.png&or

  • Kafka - 01 - 入门及安装2021-09-18 11:06:07

    文章目录 1. 初识 kafka2. kafka 名词解释3. 入门介绍3.1 主要功能3.2 kafka 使用场景3.3 一些常识3.4 kafka 的 4 个核心 API:3.5 kafka 基本术语3.6 Toic 和 Log3.7 分布式(Distribution)3.8 Geo-Replication(异地数据同步技术)3.9 生产者(producers)3.10 消费者(Consumers)3.11 K

  • kafka命令2021-09-17 18:34:38

    目录 kafka 启动 1、zookeeper启动 2、kafka启动 查询所有topic 实时查询topic数据 查询指定topic创建信息 创建topic 删除topic 生产数据 消费数据 kafka 启动 由于kafka依赖zookeeper,因此启动kafka需要先启动zookeeper。 1、zookeeper启动 cd zookeeper-3.4.6 /

  • kafka(五):消费组信息提取2021-09-17 13:01:59

    文章目录 说明分享环境实现maven代码 总结 2021-09-17 说明 本博客每周五更新一次。本文功能性博文,提取kafka所有消费组相关信息,整理后,提供为prometheus。 分享 大数据博客列表 环境 kafka2.3.0 实现 maven <dependency> <groupId>org.apache.kafka</groupId>

  • 程序员中年危机,深度解析跳槽从开始到结束完整流程,2021-09-17 12:05:16

    第一份资料:Kafka实战笔记 Kafka入门 为什么选择Kafka Karka的安装、管理和配置 Kafka的集群 第一个Kafka程序 afka的生产者 Kafka的消费者 深入理解Kafka 可靠的数据传递 Spring和Kalka的整合 Sprinboot和Kafka的整合 Kafka实战之削峰填谷 数据管道和流式处理(了解即

  • kafka自动提交offset的设置理解2021-09-17 09:58:41

    1 开启checkpoint时: 我们需要在数据流创建的时候设置开启自动提交offst至checkpoint,它会自动同步offset到kafka 这样设置之后,程序在checkpoint时,如果checkpoint成功, 那么会同步当前checkpoint中的offset至kafka 2 关闭checkpoint时: 1、如果还想自动提交offset 可以在kafka

  • kafka集群部署2021-09-16 22:59:56

    kafka集群部署 1)解压安装包 tar -zxvf kafka_2.11-2.4.1.tgz -C /home/xyp9x/ 2)在kafka目录下创建logs、kafka-logs文件夹 mkdir logs kafka-logs 3)修改配置文件 vi server.properties 将原内容全部清空,输入以下内容: #broker的全局唯一编号,不能重复 broker.id=0 #是否允许

  • 面向Java开发者的复习指南,搞定kafka看这一篇就够了2021-09-16 14:33:29

    所以,我认为在你选择之前不妨好好想想什么是Java?你适不适合从事这份工作? Java开发是近20多年来最热门的编程语言,就业市场确实比较大,入门的难度也比C和C++要低,结合各方面来说,你选择Java是一定没有问题的。 接下来就要好好想想自己适不适合从事这份工作。现在的IT互联网市场,如果你是

  • docker-compose kafka安装及外部访问不到kafka问题2021-09-16 13:32:54

    文章目录 一、docker-compose.yml二、kafkamanager/kafka-manager连接zookeeper三、PHP生产者、消费者连接总结 一、docker-compose.yml version: '3' services: zookeeper: image: bitnami/zookeeper container_name: zoo restart: always ports:

  • 分布式宝典:限流+缓存+通讯,互联网寒冬2021-09-16 13:06:02

    一面: 先是问了问项目,然后就开始问一些问题 1、每个请求耗时100ms,机器的配置是4核8G,问要达到10000TPS需要多少台机器? 没答上来,问了问是IO密集型还是CPU密集型,然后面试官说我想得太复杂了 2、怎么实现网页的自动跳转 答301 302的Location字段,然后又问了我这两个有什么区别 3、有一

  • [kafka] kafka简单概念理解2021-09-16 10:34:05

    kafka官方介绍是分布式的流处理平台,理解上比较难。先简单理解为一种分布式的支持发布订阅的高可用消息队列 kafka通过topic(主题) 对数据分类,每条记录包含:一个key,一个value,一个时间戳 核心概念:一串流的记录topic,一个topic可以有一个或者多个消费者来订阅   topic数据是被记录在日

  • 项目开发环境2021-09-16 09:59:51

    项目开发环境 注意开放防火墙端口,端口映射,有问题查看日志 【tomcat,nginx,redis,mysql,jdk,es,docker】 虚拟机1 ip 192.168.52.128 网关 192.168.52.2 端口 22 jdk /usr/java/jdk1.8.0_131 版本(1.8.131) tomcat /usr/local/tomcat/apache-tomcat-8.5.70 端口 8080 版本(8.5.70

  • tidb的组件ticdc传输数据到kafka2021-09-15 15:34:45

    环境:tidb4.0.8、centos7.6 1、tidb扩容ticdc     1. 添加节点信息到 scale-out.yaml 文件 cdc_servers: - host: 172.168.20.51 port: 8300 deploy_dir: "/data1/tidb-deploy/cdc-8300" log_dir: "/data1/tidb-deploy/cdc-8300/log"    2、运行扩容命令 t

  • kafka部署时出现的天坑2021-09-14 23:01:21

    前言 最近在部署kafka单节点时遇到的问题,想着自己弄个单节点演示以下, 好家伙,单启动的时候就报了很多错误;为防止在坑,故将错误信息记录下来;以防万一! kafka版本 2.4.1 部署环境 阿里云服务器,系统为centos 7.9 解决kafka启动报错 :Socket server failed to bind to 123.57.207.179

  • 07-数据访问(下)2021-09-14 22:00:05

    后续再补充 ... 1. Redis 1.1 导入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <!-- clientType —— Jedis need to import it by yourse

  • 2.0 kafka知识点!2021-09-14 19:04:41

    参考 https://blog.csdn.net/yuan_xw/article/details/51210954   Kafka是分布式发布-订阅消息系统,它最初由LinkedIn公司开发,使用Scala语言编写,之后成为Apache项目的一部分。   1.Kafka 模式简介: Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为

  • 2.1 kafka - windows安装2021-09-14 19:03:56

    参考 https://blog.csdn.net/tiantangdizhibuxiang/article/details/80556064   kafka使用依赖于zookeeper,两个都要下载   1.下载ZooKeeper https://zookeeper.apache.org/releases.html 选第一个,一定要是名字带bin的那个 ,不能是源码包 (带source) 否则zkserver 启动时报以下

  • docker安装单机版的kafka2021-09-14 17:01:44

    安装kafka之前首先需要安装zookeeper, docker安装zookeeper。 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 安装kafka docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.112.133:2181 -e KAF

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有