ICode9

精准搜索请尝试: 精确搜索
  • SQL分区2022-05-07 17:33:50

    ---分区 把一个表的数据按照字段的值,保存在多个区域,查询时,仅仅查询某一个或者多个区域,避免全表扫描。 --建表的时候,需要指定分区字段 以及 预制的分区。先要划好分区,才能插入数据。 列表分区 ---不连续的,零散的字段的值,作为分区,常采用list列表类型 CREATE TABLE MYEMP2 ( EMPNO

  • 从 Notion 分片 Postgres 中吸取的教训(Notion 工程团队)2022-05-07 17:33:36

    https://www.notion.so/blog/sharding-postgres-at-notion 今年(2021)早些时候,我们对 Notion 进行了五分钟的定期维护。 虽然我们的声明指向“提高稳定性和性能”,但在幕后是数月专注、紧迫的团队合作的结果:将 Notion 的 PostgreSQL 整体分片成一个水平分区的数据库舰队。 分片命

  • windows uefi bios 启动2022-05-07 12:03:40

        分区要求 将 Windows 部署到基于 UEFI 的设备时,必须使用 GUID 分区表 (GPT) 文件系统格式化包含 Windows 分区的硬盘驱动器。 其他驱动器可以使用 GPT 或主启动记录 (MBR) 文件格式。 一个 GPT 驱动器最多可以包含 128 个分区。 每个分区的空间最大可为 18 EB(约 1880 万 TB)

  • kafka基础原理2022-05-06 23:01:08

    1、什么是kafka Kafka 是一个分布式的基于发布/订阅模式的消息队列 消息队列的两种模式: 点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)。特点,一个消息只能被一个消费者消费       发布/订阅模式(一对多,消费者消费数据之后不会清除消息)。特点,一个消息可以被多个订阅的

  • Linux磁盘和文件系统知识总结2022-05-06 18:34:58

    硬盘操作 为什么要给硬盘分区? 如果你需要在一块硬盘上用到多个文件系统,那么你就需要对硬盘进行分区,以便用不同的分区支持不同的文件系统。(但一个硬盘只能有一个分区表!)反过来说,如果你整块硬盘都用同样的文件系统,那么就可以不对硬盘分区。 Linux服务器硬盘该选择什么分区表? 需要分区

  • 合并文件解决HiveServer2内存溢出方法2022-05-05 20:00:07

    一、   背景   客户现场的CDH6.x版本的集群执行一个大分区表时hiveserver2发生了内存溢出。下面针对该问题进行了复现并深入了解了hiveserver2内存加载使用原理;提出了解决此类问题的方案,具体内容如下。 二、HiveServer2内存溢出 2.1查看表文件个数 desc formatted yanyu.tmp

  • 【翻译】ScyllaDB数据建模的最佳实践2022-05-05 19:03:08

    文章翻译自Scylla官方文档:https://www.scylladb.com/2019/08/20/best-practices-for-data-modeling/ 转载请注明出处:https://www.cnblogs.com/morningli/p/16202131.html   在我们最新的夏季技术讲座系列网络研讨会上,ScyllaDB 现场工程师 Juliana Oliveira 指导虚拟与会者了解了

  • canal学习之数据同步(二)2022-05-05 14:31:58

    上一篇说了服务端,这一篇说一下客户端 一、canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有: kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/rocketmq   具体如何消费就不多说了,主要说

  • Linux 系统操作之U盘挂载(mount)及卸载(umount)2022-05-05 11:31:38

    前言: 有这样一个工作场景;小白是一名初入职场的运维工程师,今天小白接到领导指令,需要到机房协助第三方终端产商测试隔离区传输链路。小白有点惶恐,他没有去过机房,也不知道要去做些什么;他请教了一下同事,同事告知不要怕,就是去打酱油的。而后小白去到了机房,见到了第三方的终端厂商并询问

  • Spark 源码系列 - 获取分区数2022-05-03 18:03:34

    目录版本结论代码入口SparkContext -> textFileSparkContext -> defaultMinPartitionsSparkContext -> defaultParallelismTaskSchedulerImplLocalSchedulerBackend 版本 本分析基于Spark version 3.1.2 结论 local模式下,默认最小分区数不会超过2 如果对spark.default.parallelis

  • 内存管理方式2022-05-02 17:04:24

    一.对内存的分配与回收 二.从逻辑上对内存空间进行扩充 三.用户进程中的逻辑地址和物理内存中的物理地址进行高速转换 一. 1.连续分配管理方式 (1)单一连续分配(整个用户区都给用户进程使用) 优点是实现简单;无外部碎片(分配前用户进程以外的无法使用的内存空间);不一定需要内存保护 缺点

  • 如何隐藏资源管理器(计算机)界面误显示的EFI分区?2022-05-02 16:34:33

    我们需要使用diskpart来移除这个误显示的盘符 以管理员身份运行CMD; 运行diskpart命令; list disk 显示所有安装的磁盘; select disk x 选择要操作的磁盘 (图中2号硬盘为系统盘); list volume 显示当前所选磁盘的所有卷信息; select volume x 选择要操作的卷 (图中G盘为要删除

  • linux磁盘分区2022-05-01 10:04:30

        一、磁盘分区概述     1、对于磁盘管理的名词解释: (1)扇区(sector)是磁盘中最小的物理存储单元,单位 512字节(byte) (2)操作系统无法对数目众多的扇区进行寻址,因此操作系统将相邻的扇区组合成在一起,形成了block(8个扇区,8*0.5kb   4kb大小) (3)在linux文件系统中多个连续的扇区,被称为

  • 架构 | 笔记62022-05-01 08:31:06

    如下内容来之https://time.geekbang.org/column/article/6463 学习笔记: 对于设计分布式系统的架构师来说,CAP 是必须掌握的理论。 CAP 定理(CAP theorem)又被称作布鲁尔定理(Brewer's theorem),是加州大学伯克利分校的计算机科学家埃里克·布鲁尔(Eric Brewer)在 2000 年的 ACM PODC 上提

  • Linux使用fdisk进行分区2022-04-30 23:02:27

    linux挂载完新硬盘后,需要分区并格式化后才能mount并使用   1、root 登录,查看df -h 查看当前已经挂载到系统的磁盘       2、fdisk -l 查看当前系统内所有的磁盘,找到刚刚没有看到的磁盘,例如/dev/vdb     3、fdisk /dev/vdb 格式化该磁盘 m是查看帮助 n是增加新分区,d是

  • Kafka 消费者2022-04-30 19:33:09

    5.1 Kafka 消费方式 1)pull(拉)模式: consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 2)push(推)模式: Kafka没有采用这种方式,因为由broker 决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s, Consumer1、Consumer2就来不及处理消息。 pull模式不足之处是

  • kafka小结2022-04-30 17:34:35

    kafaka小结 副本集 1.创建副本的单位是 topic 的 partition ,正常情况下,每个分区都有一个 leader 和零或多个followers 。总的副本数是包含 leader 的总和。所有的读写操作都由 leader 处理,一般partition 的数量都比 broker 的数量多的多,各分区的 leader 均匀的分布在 brokers 中

  • kafka初体验2022-04-30 14:00:06

    消息队列是为了解决消息间通信繁忙而诞生的,体现了解耦和异步的实现 为了解决消息间通信繁忙的问题,我们可以理解为引入了一个中间件(消息队列),发送方在发送信息的时候,不是直接发送到接收方,而是发送信息到中间件,接收方通过中间件获取自己想要的信息。 在这个过程中,我们可以把发送方

  • 10.1 交换分区扩容和硬盘管理2022-04-30 11:33:31

    1. 交换分区扩容 交换(SWAP)分区是一种通过在硬盘中预先划分一定的空间,然后把内存中暂时不常用的数据临时存放到硬盘中,以便腾出物理内存空间让更活跃的程序服务来使用的技术,其设计目的是为了解决真实物理内存不足的问题。通俗来讲就是让硬盘帮内存分担压力。   查看当前交换分区大

  • 初识CAP2022-04-29 19:02:09

    简介 维基百科翻译版本 一致性(Consistency) :等同于所有节点访问同一份最新的数据副本 可用性(Availability):每次请求都能获取到非错的响应——但不能保证获取的数据为最新数据 分区容错性(Partition Tolerance) : 以实际效果而言,分区相当于对通信的时限要求。系统如果不能在时

  • hive分区值含有字符的处理2022-04-28 15:32:28

    1、起因 按照time(正常格式yyyy-MM-dd HH:mm:ss)去决定dt分区, 但是没想到time有300多条异常格式,导致落dt分区时有以下两种错误形式: dt=%255B....%255B.... dt=%5B....%5B.... 2、处理 dt=%255B....%255B.... 将%25替换为%即可,然后执行alter drop partition dt=%5B....%5B....

  • db2分区相关操作2022-04-26 22:33:06

    删除指定日期分区表 -- t_log={data_dt, content} ,part20220101=分区名称 -- 分离分区 alter table t_log detach partition part20220101 into t_log_20220101; -- 删除分离出来的表 drop table t_log_20220101; -- 查看分区 select * from syscat.datapartition where tabname =

  • Centos6 挂载分区2022-04-24 21:33:20

    lsblk 查看分区和磁盘 df -h 查看空间使用情况 fdisk -l 分区工具查看分区信息 cfdisk /dev/sda 查看分区 1、创建分区 (p 打印分区信息) fdisk /dev/sda 先n 后p (p 主分区) 可能需要 先删除分区 再新建 w 保存 2、重启服务器 reboot 3、挂载分区 mount /dev/sda4 /home 报错

  • Apache Hudi 如何加速传统的批处理模式?2022-04-23 06:31:05

    1. 现状说明 1.1 数据湖摄取和计算过程 - 处理更新 在我们的用例中1-10% 是对历史记录的更新。当记录更新时,我们需要从之前的 updated_date 分区中删除之前的条目,并将条目添加到最新的分区中,在没有删除和更新功能的情况下,我们必须重新读取整个历史表分区 -> 去重数据 -> 用新的去

  • Linux简介和基础命令2022-04-23 01:33:20

    1:Linux 操作系统简介 Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、   应用程序和网络协议。它支持32位和64位硬件。Linux 继承了Unix 以网络为核心的设计思想,是一个性能

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有