Hive调优 一、查看执行计划（Explain）二、Fetch 抓取三、本地模式四、表的优化1、小表Join大表（MapJOIN）2、大表 join 大表（1）空key过滤（2）空key转换（3）SMB(Sort Merge Bucket join)分桶join 3、group by4、Count(Distinct) 去重统计5、笛卡尔积6、行列过滤7、分区、分桶 五、合理设置
书本介绍： Linux是一个由全世界各地开发者合作打造的开源操作系统。Linux的源代码可以在互联网上自由获取，并且在GPL(GNU General Public License)协议下自由使用。像Red Hat和Novell这样的公司可以定制各式的Linux发行版本提供给用户使用。大部分Linux桌面发行版能够从网络上
在此前的文章中，我们分享过CTR创意测试，立项选题以及游戏版本调优案例。今天我们来谈谈关于A/B test 测试的问题。现在的游戏发行越来越精细化，而好的发行必然是数据驱动。在游戏发行时，特别是海外发行时，为了获得更好的数据和转化，我们要进行各种测试。通常会有产品A/B test , 商店页
JVM调优工具介绍及常量池详解 JVM调优工具介绍阿里巴巴Arthas详解Arthas使用 Class常量池与运行时常量池字面量符号引用字符串常量池字符串常量池的设计思想三种字符串操作(Jdk1.7 及以上版本)字符串常量池位置字符串常量池设计原理String常量池问题的几个例子关于String是
通常我们都知道在堆空间新生代Eden区满了，会触发minor GC， 在老年代满了会触发full GC， 触发full GC会导致Stop The World, 那你们知道还有一个区域满了一会触发Full GC么？而且这个区域满了会直接影响我们的开发效率。 一、方法区参数调优 我们可以对运行时数据区的内存进行参数设置.
有一句很有意思的话：现在的世界，得数据者得天下。 可见数据对于我们、对于企业、对于未来发展来说都十分重要。 而想要“得天下”，掌握海量数据，那么对存储、读写数据的数据库的要求就会很高。尤其当下十分常用、范围超广的数据库MySQL，它就是我们后端开发人员必须掌握的技术能力之一
Nginx调优和配置静态资源配置：设置location 参数，配置匹配的规则，就是匹配哪些静态资源，然后设置路径。location ~ .*\.(gif|jpg|jpeg|png)$ {进程数的优化：如果服务器性能比较好可以设置大一些提高Nginx的效率。worker_processes 8超时时间：设置超时时间，默认的是60s，Nginx会自动踢出超时
二、六大性能调优技术（JVM调优+网络调优+数据库调优+LINUX内核调优+中间件底层探索+容器环境调优） 手绘板（脑图） 1、JVM调优 JVM调优必备理论知识-Gc COLLECTOR-三色标记 垃圾回收算法串讲 JVM常见参数总结 JVM调优实战 JVM（HotSpot）核心源码解读 JVM核心模块（GC算法）手写实战 2、网络调
思维导图 一、分区表的应用场景 1.表非常大以至于无法全部都放在内存中，或者只在表的最后部分有热点数据，其他均是历史数据2.分区表的数据更容易维护 批量删除大量数据可以使用清除整个分区的方式 对一个独立分区进行优化、检查、修复等操作 3.分区表的数据可以分布在不同的
实际工作中，有时候打开一个页面响应时间非常慢，这背后通常牵涉到SQL语句查询慢的问题。 前面我们提到很多数据库结构设计，建索引等来视图提高MySQL的性能。但是如果我们实际业务场景中，SQL查询语句写的不合适，索引建的再好可能也达不到预期的高性能。 因此，我们很有必要对查询进行分
目录五、特定语句调优1、jion 语句1.1 jion语句种类：1.2 join 算法1.2.1 Nested-Loop Join (NLJ)1.2.2 Block Nested-Loop Join (BNUJ)2.2.3 Batched Key Access Join (BKA)2.2.4 HAHS JOIN1.3 JOIN调优原则2、limit 语句优化方案3、count 语句count(*)count(字段)count(1)count 语
目录四、索引1、索引数据结构1.1 B-Tree 索引B-TreeB+TreeB+Tree 和 B-Tree 的差异1.2 MYSQL各存储引擎存储方式1.3 B-Tree（B+Tree）索引特性2、索引的创建原则2.1 建议创建索引的场景2.2 不建议创建索引的场景3、可能导致索引失效的场景4、索引调优技巧4.1 长字段的索引调优4.2 使用
目录三、SQL分析2、OPTIMIZER_TRACE 详解2.1 OPTIMIZER_TRACE 相关参数2.2 OPTIMIZER_TRACE 使用2.3 OPTIMIZER_TRACE 结果分析join_preparationjoin_optimizationjoin_execution参考文档 三、SQL分析 2、OPTIMIZER_TRACE 详解 OPTIMIZER_TRACE是 MySQL 5.6引入的一项跟踪功能，它可
JVM性能调优 一、JVM内存模型及垃圾收集算法 1.1 根据Java虚拟机规范，JVM将内存划分为： New（年轻代） Tenured（年老代） 永久代（Perm） 其中New和Tenured属于堆内存，堆内存会从JVM启动参数（-Xmx:3G）指定的内存中分配，Perm不属于堆内存，有虚拟机直接分配，但可以通过-XX:PermSize -XX:MaxPermS
目录一 、数据库调优的维度二、慢查询日志与分析1、慢查询日志相关参数2、开启慢查询日志2.1 修改配置文件2.2 通过全局变量设置3、分析慢查询日志3.1 分析慢查询日志表3.2 分析慢查询日志文件3.2.1 mysqldumpslow3.2.2 pt-query-digest三、SQL分析1、EXPLAIN 详解1.1 EXPLAIN 使
MySQL调优可以从几个方面来做： 架构层： 做从库，实现读写分离； 2.系统层次： 增加内存； 给磁盘做raid0或者raid5以增加磁盘的读写速度； 可以重新挂载磁盘，并加上noatime参数，这样可以减少磁盘的i/o; MySQL本身调优： (1) 如果未配置主从同步，可以把bin-log功能关闭，减少磁盘i/o (2) 在my.cn
来源：toutiao.com/a6691523026984370699 对于正在运行的mysql，性能如何，参数设置的是否合理，账号设置的是否存在安全隐患，你是否了然于胸呢？ 俗话说工欲善其事，必先利其器，定期对你的MYSQL数据库进行一个体检，是保证数据库安全运行的重要手段，因为，好的工具是使你的工作效率倍增！ 今天和大家
项目调优 一、修改配置文件 二、Jvm调优 三、Jvm调优实战 1、未设置JVM参数的情况 2、下面我们来设置下Jvm参数 项目调优 作为一名工程师，项目调优这事，是必须得熟练掌握的事情。在SpringBoot项目中，调优主要通过配置文件和配置JVM的参数的方式进行。在这边有一篇比较好的文章，推
为什么MySQL能流行起来？ MySQL之所以能成为现在最流行的开源数据库，这跟它的开放性、包容性是分不开的。它的入门门槛低到用一条命令就能把MySQL安装起来，你能在程序开发的入门资料中很容易就找到MySQL的配套使用教程，你可以不用付任何费用就能在自己的环境中部署起来对外承载业务
二、六大性能调优技术（JVM调优+网络调优+数据库调优+LINUX内核调优+中间件底层探索+容器环境调优） 手绘板（脑图） 1、JVM调优 JVM调优必备理论知识-Gc COLLECTOR-三色标记 垃圾回收算法串讲 JVM常见参数总结 JVM调优实战 JVM（HotSpot）核心源码解读 JVM核心模块（GC算法）手写实战 2、网络调
容器化时代来了 虚拟化技术已经走过了三个时代，没有容器化技术的演进就不会有 Docker 技术的诞生。 虚拟化技术演进 （1）物理机时代：多个应用程序可能会跑在一台机器上。 （2）虚拟机时代：一台物理机器安装多个虚拟机（VM），一个虚拟机跑多个程序。 （3）容器化时代：一台物理机安装多个容器实例（cont
HDFS存储优化 1. 纠删码 1.1 纠删码原理 HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。 下图以纠删码RS-3-2-1024k为例： 数据被拆分为3个数据单元和2个校验单元，每
简介： Morphling 本意是游戏 Dota 中的英雄“水人”，他可以根据环境要求，通过灵活改变自身形态，优化战斗表现。我们希望通过 Morphling 项目，实现针对机器学习推理作业的灵活、智能的部署配置改变，优化服务性能，降低服务部署成本。 随着云原生技术的蓬勃发展和其日渐成熟的产业落地，云
大数据技术之 Hadoop（生产调优手册） 1. HDFS—核心参数1.1 NameNode 内存生产配置1.2 NameNode 心跳并发配置1.3 开启回收站配置 2. HDFS—集群压测2.1 测试 HDFS 写性能2.2 测试 HDFS 读性能 3. HDFS—多目录3.1 NameNode 多目录配置3.2 DataNode 多目录配置3.3 集群数据均
Elasticsearch 性能调优指南——推荐实战 DSL 1、未分配分片查看 GET _cat/shards?v&h=index,shard,prirep,state,unassigned.reason&s=state:asc 2、动态调整副本数 PUT my-index-2021.05.30-000002/_settings {"number_of_replicas": 0} ps：主分片不可以修改（除非shrink），但：
