磁盘分区和文件系统 分区的作用： 分隔系统和程序 安装多个os 采用不同的文件系统 提高修复速度 目前主流分区 MBR.GPT的区别： MBR：最多四个主分区，可有逻辑分区和扩展分区 使用32位扇区 分区大小不能超过2T GPT：支持128个分区 ，全都是主分区 大小
1 磁盘管理体系结构 第一层：物理结构信息 接口 内部和外部结构第二层：逻辑结构信息 RAID LVM第三层：磁盘分区概念 分区命令 分区原则第四层：创建文件系统 磁盘格式化第五层：磁盘管理应用 挂载操作 1.1 物理结构信息 外部结构：磁盘接口、转速信息（服务器10k转速、15k转速）、盘片、主轴、机
1、合并表和分区表 1.1、合并表：把多个结果相同的表合并成为一个容器。 表类型：Myisam 存储引擎：merge 合并：union Create table packtable ( Id int not null primary key ) engine=merge union=(table1,table2) 存在的问题：有重复的行 临时表（内存临时表、磁盘临时表）： 使用场
背景 Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面也可以减少资源的消耗(网络/IO/CPU等)，在同样的资源的情况下可以
一．什么是kafkakafka的目标是实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。是分布式发布-订阅消息系统，是一个分布式的，可划分的，冗余备份的持久性的日志服务。Kafka使用场景：1 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各
一、CAP原理 分布式系统的节点往往都是分布在不同的机器上进行网络隔离开的，这意味着必然会有网络断开的风险，这个网络断开的场景的专业词汇叫着「网络分区」。 在网络分区发生时，两个分布式节点之间无法进行通信，我们对一个节点进行的修改操作将无法同步到另外一个节点，所以数据的「一
管理分区 列出块设备lsblk 创建分区使用：fdisk 创建MBR分区gdisk 创建GPT分区parted 高级分区操作partprobe－重新设置内存中的内核分区表版本 一查看分区 1查看内存上的分区 看到数字出现了就说明是硬盘已经分区并且生
一划分分区的意义 硬盘要使用就要划分分区了。 为什么分区？是否可以在一个硬盘上不划分分区直接使用？ 划分分区之后就可以创建文件系统，如果没有这样的分区而直接使用分区，最终表现的是0101二进制。 读取上面的数据就不是读取文件了，那么也就没有文件名和目
1.组Raid 磁盘前512K组合 前446K：MBR引导程序 中64K：分区表 后2K：校检码 Raid0:极致的读写速度，一个数据分散到多个盘去读写。但是极不安全，一旦坏了一块盘那么所有盘都将无法读取数据 Raid1:一个数据每多一块盘就有一个完全相同的备份,但读写速度一般同时成本较高 Raid5:每个数
1.什么是RDD？ RDD(Resilient Distributed Datasets,弹性分布式数据集)，是Spark最为核心的概念，RDD是一个只读的有属性的数据集。属性用来描述当前数据集的状态，数据集是由数据的分区（partition）组成，并（由block）映射成真实数据。RDD属性包括名称、分区类型、父RDD指针、数据本地化、数据
iSCSI简介(Internet SCSI)： iSCSI 小型计算机系统接口，IBM公司研发，用于在IP网络上运行SCSI协议；解决了 SCSI需要直连存储设备的局限性；可以不停机扩展存储容量，iSCSI 将 SCSI 接口与 Ethernet 技术结合，使服务器可与使用 IP 网络的存储装置互相交换数据；基于 TCP/IP 协议，创建 SAN，以数据块
快速排序 也叫做分区排序 时间复杂度O(n*logn) 不稳定 分区排序，使得左侧子序列中的元素都小于基准元素，右侧子序列中的元素都大于等于基准元素 1 #include<iostream> 2 using namespace std; 3 int Paritition(int (&a)[5],int low,int high){ 4 int pivotpos=low; 5
ProducerConsumerBrokerTopicPartitionConsumer Group分布式 Broker Kafka集群包含一个或多个服务器，这种服务器被称为brokerTopic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic（物理上不同Topic的消息分开存储[表现于日志落地]，逻辑上一个Topic
要看这一节。。。 第二步：开机之后进行磁盘挂载 分区，格式化，挂载新磁盘 磁盘挂载 df -lh fdisk -l 开始分区 fdisk /dev/sdb 这个命令执行后依次输 n p 1 回车 回车 w fdisk -l 格式化我们的分区 mkfs -t ext4 -c /dev/sdb1 格式化我们的分区 mkdir /data02
由于初级阶段的基本国情，很多朋友第一次安装系统大多是用的ghost光盘，设置好启动项，放进光驱，重启后选择安装XX到C盘，整个系统就完成了，方便快捷。 在U盘启动越来越流行的今天，光驱渐渐式微，越来越多的朋友开始尝试U盘PE下安装系统，但是习惯了光盘自动ghost的朋友面对纯E文界面的ghost软
如果存在分区的话，分别显示各个分区的行数： show rowcount extended table_name; 显示总行数： show rowcount table_name;
sqlserver2005实现oracle中的rownum功能 2007-06-11 14:46 select ROW_NUMBER() OVER (ORDER BY UpdateDate desc) AS rowNum,* from ocs_replyTasksORDER BY UpdateDate desc. ROW_NUMBER返回结果集分区内行的序列号，每个分区的第一行从 1 开始。 语法：ROW_NUMBER ( )
目录 1. 确认原硬盘节点 2. 加装物理硬盘，并再次查看硬盘信息 3. 创建分区 4、创建新的挂载点 5、手动挂载分区 6、添加访问权限 7、设置为开机自动挂载分区 具体加装过程：1. 确认原硬盘节点 sudo fdisk -l 即原硬盘标识为sda 2. 加装物理硬盘，并再次查看硬盘信息 新加硬盘显示
[root@rac2 cdrom]# export LANG=en_US[root@rac2 cdrom]# lsblk[root@rac2 cdrom]# lvscan --- 查看系统PV LV VG 情况：fdisk -lls -l /dev/sd*lsblkpvscanpvdisplaylvdisplaylvslvscan pvdisplayvgdisplay vg_rac2[root@orcl mapper]# vgdisplay -v ------------------------
1. RDD 的设计与运行原理 Spark 的核心是建立在统一的抽象 RDD 之上，基于 RDD 的转换和行动操作使得 Spark 的各个组件可以无缝进行集成，从而在同一个应用程序中完成大数据计算任务。 在实际应用中，存在许多迭代式算法和交互式数据挖掘工具，这些应用场景的共同之处在于不同计算阶段之间
【hive创建动态分区】使用MSCK命令修复Hive表分区 一、介绍 我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能。 具
在我们进行性能测试的时候，GC/FullGC次数常作为内存性能指标的一项来进行考察，过于频繁的FullGC需要进行性能优化， 1.什么是GC JVM中垃圾回收机制是由垃圾收集器Garbage Collection GC来实现的，GC是后台的守护进程，它是在内存中低到一定限度时才会自动运行，从而实现对内存的回收。这就是
之前的文章“分而治之”在介绍大表分区时，作者尚未实现不同的分区策略，即只能按指定的分区键进行分区。这次作者完善了一下分区策略，在规划大表分区时可以按Hash或者时间范围进行分区，所以本篇介绍不同的分区策略适用的场景，同时介绍一下表扫描时如何指定从特定分区查询数据。 一、
如果确定有硬盘,有系统,那就是 xin7以前的系统, mbr的硬盘格式,是win7以前的系统使用的硬盘格式. guid的硬盘格式,是win8,win10,的. 如果是win7的系统,在pe里,用分区工具,把硬盘格式改为了guid, 那在开机启动win7的时候,就识别不了分区和系统了. 只有把 转换分区类型到mbr格
作者：赵客缦胡缨v吴钩霜雪明 来源：https://www.jianshu.com/p/336f682e4b91 概述 使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死，严重影响业务。老系统，当时设计系统的人大概是大
