前两周,忽然收到阿里短信通知云服务器有挖矿嫌疑,,,于是开始排查,虽然最后找到了病毒源文件并删除了,,,但是最后为了保险起见,,还是对云盘进行了初始化操作,,,在此特意记录一下排查的流程: 1. 查看进程: top -c 一般中了挖矿,服务器的cpu都会被干爆100%,,但我这次中的这个藏得有
为了避免误操作，比如说，删根，删配置文件等，这些文件一旦删除，就很难恢复，因此，虚拟机的备份还是很有必要的。 虚拟机备份的步骤： 一、做好初始化 初始化工作主要包括： （1）命令提示符的修改 CentOS配置文件： /etc/profile.d/env.sh Ubuntu配置文件：~/.bashrc （2）关闭防火墙：systemctl disable --
一、问题描述： 任务逻辑是通过实时读取Kafka数据，一分钟计算一次数据，并利用Flink StreamingFileSink将数据落地到HDFS文件中。为了应对大促剧增的数据量，对当前运行稳定的集群进行了扩容处理，任务重启后发现写入的hdfs文件一直处于inprogress状态无法滚动生成正式文件。 任
逻辑复制概念 逻辑复制是 PG 数据库基于数据对象的复制标志，也就是 Replica Identity 来复制数据对象及数据变化的方法。它最初是在 2014 年 12 月份的 PG9.4.0 引入，称为逻辑解码，后来在 2017 年 10 月 PG10.0 版本中又引入了基于发布订阅的逻辑复制概念。之所以称为逻辑复制是
@目录1. 什么是 Git2. Git 的特性① SVN 的差异比较② Git 的记录快照③ 近乎所有操作都是本地执行3. Git 中的三个区域4. Git 中的三种状态5. 基本的 Git 工作流程 1. 什么是 Git Git 是一个 开源的分布式版本控制系统 ，是目前世界上 最先进、最流行 的版本控制系统。可以快速
文章目录 Chandy-Lamport分布式快照算法Distributed SnapshotThe Chandy-Lamport AlgorithmExample Chandy-Lamport分布式快照算法 Distributed Snapshot 分布式快照：特定时间点记录下来的分布式系统的全局状态（global state）。 分布式快照主要用途：故障恢复（即检查点）、死
基础设施 HDP + 私有云 + k8s/docker 存储组件 Hadoop/hive/ELK/GP/Tidb/hbase/kudu 离线ETL HQL/spark/presto/kettle 实时ETL Kafka/cdc/flink/spark streaming OLAP分析 Kylin/clickhouse/BI 数据仓库建模 kimball/inmon建模 基于sap / wms / crm; sap(mm/sd/fico) 流程Od
1.事务ACID ACID: 原子性: undo log (mvcc)，失败进行回滚，从undo log中找 一致性:最核心和最本质的要求，由原子性，隔离性，持久性实现 隔离性:锁，mvcc(多版本并发控制) 持久性: redo log 2.MVCC （1） MVCC，全称Multi-Version Concurrency Control，即多版本并发控制。MVCC是
这星期在测试大并发的数据上报，测试过程中发现运行一段时间后，服务会卡住，不再响应请求，排查后发现 重启时，内存会不断增加，最终到达3G多卡死。 于是只能导出jvm运行的堆栈信息，分析内存泄露的问题。 首先是一些常用的命令。一类是jdk自带的分析工具，jmap用于分析jvm内存， jstack可以分析
TSINGSEE青犀视频EasyPlayer播放器系列属于非常开放的播放器项目，针对不同的协议衍生出了多个版本，如EasyPlayer.js、EasyPlayerPro等，而且用户还可以根据自己的需求，将其集成进流媒体平台，支持轻松调用接口或自主进行二次开发，实用性、稳定性都非常强。 在今天的文章中，我们来和
基础命令 列出处于运行状态或暂停状态的虚拟机： virsh list 列出所有虚拟机，无论处于什么状态： virsh list --all 停止虚拟机： virsh shutdown 虚拟机名 开启虚拟机： virsh start 虚拟机名 暂停挂起虚拟机： virsh suspend 虚拟机名 让处于暂停状态的虚拟机继续运行： virsh resume 虚
我们已经讨论了快照、事务日志和存储设备，本节中，我们将会讨论如何在文件系统上实现这些功能。 数据存储有两类：事务日志文件和快照文件。这两类文件均以普通文件的形式保存到本地文件系统中。事务日志是在进行事务处理的时候写入的，因此我们强烈建议将其存储在专用设备上(因为这对于
前言 Iceberg是我们去年年底(2020)开始调研，目前上线了130多张表。主要用于流量日志清洗，数据报表，推荐特征基础数据。至今为也算是积累了一些使用及定位问题经验。 这篇文章会介绍两个线上Iceberg表查不到数据/快照文件的问题，希望对大家有帮助。 一.Rewrite操作有可能会误删数据文
连接REDIS报错 1.错误一 MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error., sPort: 55564, LastCommand Redis
众所周知MySQL从5.5.8开始，Innodb就是默认的存储引擎，Innodb最大的特点是：支持事务、支持行级锁。 既然支持事务，那么就会有处理并发事务带来的问题：更新丢失、脏读、不可重复读、幻读；相应的为了解决这四个问题， 就产生了事务隔离级别：未提交读(Read uncommitted)，已提
为了简易入手，本虚拟机系统集成了主流IC软件。 资源来自网络，也当共享于网络。如有需要，请留邮箱。 目录 前言 一、VMware安装 二、VMware运行 三、软件介绍 后记 前言 采用最新虚拟软件VMware12 Pro安装的EDA虚拟机系统，操作系统使
在使用vmware进行虚拟化的时候，会遇到虚拟磁盘不够用的情况，以前的办法都是使用lvm进行管理扩容，目前在linux上可以实现快速扩容了，具体方法如下： 该方法参考阿里云在线扩容文档：文档地址 其中有很多注意事项以及前提条件，请仔细阅读文档，建议在vm控制台扩展成功后，创建快照，在进入操作系统
在前文中，我们已经介绍了事务的相关概念以及事务隔离的不同级别，本文将着重介绍快照隔离的发展。 Part 3 快照隔离的发展 论文 A Critique of ANSI SQL Isolation Levels 中提出了快照隔离（Snapshot Isolation)的定义： 事务的读操作从已提交（Committed）快照中读取数据，快照时间
解决打不开磁盘“H:\纯净版ubuntu\virtual_work\Ubuntu 64 位.vmdk”或它所依赖的某个快照磁盘。模块“Disk”启动失败。未能启动虚拟机。 直接将虚拟机安装目录下的所有.lck文件（文件夹）直接删除，再次就能正常运行了
关闭更新服务 Win+R 输入services.msc(服务管理窗口)打开Windows Update改成禁用模式，在恢复里面改成无操作，win+r 输入gpedip.msc 打开本地组策略，1.window组件 2.window更新，3.管理最终用户体验 4.配置自动更新 划分磁盘 右键我的电脑选择管理，在管理里面选择磁盘管理，在未划分磁
Git基础 快照，而非差异 Git与其他版本控制系统最大的不同在于其对待数据的方式。从概念上来说，其他大多数版本控制系统以文件变化列表的方式存储信息，这类系统（CVS、Subversion、Perforce、Bazaar等）将其存储的信息视为一组文件以及对这些文件随时间变化所做出的变更。 而Git更
✍、目录脑图 文章参考韩顺平老师的Linux2021年度课程：B站链接直达当前采用 centos 7.6 虚拟机环境搭建，之后进行服务器真实环境记录 目录 ✍、目录脑图1、VMware下载1.1、VMware安装1.2、centos下载1.3、安装centos1.4、开启虚拟机1.5、虚拟机克隆1.6、虚拟机快照1.7、虚
在大数据中扮演重要角色的Hudi，其表格式和查询方式有何特殊之处？他是怎样进行数据的插入更新处理？ 首先，Hudi有两种处理数据的表格式： COW(Copy On Write) MOR(Merge On Read) 1、COW(Copy On Write) 支持快照查询，增量查询处理数据过程：仅使用专门的列式文件存储数据（如：parquet）。
DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。事实表作为数据仓库维度建模的核心，需要紧紧围绕着业务过程来设计。在拿到业务系统的表结构后，进行大概的梳理，再与业务方沟通整个业务过程的流转过程，对业务的整个生命
Redis提供了两种不同级别的持久化方式。一种是RDB(Redis DataBase)，另一种是AOF(Append Only File)。 一、RDB（Redis DataBase） 1、什么是RDB RDB持久化方式是指在指定的时间间隔内将内存中的数据集快照写入磁盘。当重启Redis时将快照文件直接读到内存里。 2、如何触发RDB快照保存
