背景 线上Hadoop集群资源严重不足，可能存在添加磁盘，添加CPU，添加节点的操作，那么在添加这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Yarn资源配置，然后使其生效。 现有环境 服务器：12台，内存64Gx12=768G，物理cpu16x12=192，磁盘12Tx12=144T 组件：Hadoop-2.7.7，Hive-2
下图是RocksDB的工作流程，一共进行三个步骤， ①将数据写入内存中的活跃表 Active MenTable ②将活跃表转化成只读表 ReadOnlyMemTable ③将只读表flush到本地磁盘上 LocalDish 具体调优方法 ①增大整块缓存，减小刷写的频率。 该块内存为flink的管理内存，默认为全部内存的0.4
作者：韩信子@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/35 本文地址：http://www.showmeai.tech/article-detail/218 声明：版权所有，转载请联系平台与作者并注明出处 收藏ShowMeAI查看更多精彩内容 本系列为吴恩达老师《深度学习专业课程》学习与总结整理所得，对应的课
master和worker是物理节点，driver和executor是进程。 1、master和worker节点 搭建spark集群的时候我们就已经设置好了master节点和worker节点，一个集群有多个master节点和多个worker节点。 master节点常驻master守护进程，负责管理worker节点，我们从master节点提交应用。 worker节点
当 datanode 上新写完一个块，默认会立即汇报给 namenode。在一个大规模 Hadoop 集群上，每时每刻都在写数据，datanode 上随时都会有写完数据块然后汇报给 namenode 的情况。因此 namenode 会频繁处理 datanode 这种快汇报请求，会频繁地持有锁，其实非常影响其他 rpc 的处理和响应时间。
一、开启监控 RocksDB是基于LSM Tree实现的，写数据都是先缓存到内存中，所以RocksDB的写请求效率比较高。RocksDB使用内存结合磁盘的方式来存储数据，每次获取数据时，先从内存中blockcache中查找，如果内存中没有再去磁盘中查询。使用 RocksDB时，状态大小仅受可用磁盘空间量的限制，性能瓶颈
1 环境准备 CentOS 7 64位（内存4G） JDK1.8 Tomcat 8 1.1 优化Tomcat 对于tomcat的优化，主要是从2个方面入手，一是，tomcat自身的配置，另一个是tomcat所运行的jvm虚拟机的调优。 #对tomcat进行优化配置 vi apache-tomcat-8.5.34/conf/server.xml #优化一:禁用AJP服务，一般是使用Nginx+to
1.Mysql的逻辑架构 第一层是基于网络客户端的连接处理工具架构，并非Mysql独有，第二层是Mysql的核心部分，大多数核心功能都在这一层，包括查询、解析、分析、优化等，存储过程、触发器和视图都在这一层实现 第三层包含了存储引擎，除了InnoDB外，存储引擎不会去解析SQL。 2.优化
目录 一、原子操作 1.基于Lock实现 2.基于CAS实现 3.自旋锁SpinLock 4.读写锁ReaderWriterLockSlim 二、线程安全 1.线程安全集合 2.线程安全字典 三、线程池 1.通过QueueUserWorkItem启动工作者线程 2.线程池等待（信号量） 3.Task 4.线程池调度原理 四、并行 五
一、原子操作 先看一段问题代码 /// <summary> /// 获取自增 /// </summary> public static void GetIncrement() { long result = 0; Console.WriteLine("开始计算"); //10个并发执行 Parall
Test 我们在日常的工作过程中，自测是不可缺少的，公司还会要求所有的公共方法必须要写单测，在别的语言中，我们如果想要写单测还需要使用到测试框架，但是Go语言中，直接支持测试，并且使用起来非常简单。 比如说我现在写了一个： // twoSum 给定数组，求两个之和的数组内地址 func twoSum(nums []
今天查看expensive statement的时候发现了一些监控语句，执行时间大于1秒钟，语句如下： select count (*) from ME_WIP.ACTIVITY_LOGwhere DATE_TIME > add_seconds(localtoutc(now()), -1800)12这条语句的目标是查看最近30分钟生成的日志条目数。重复试了几次，执行时间在800ms到1秒钟上
由于yarn默认容器资源为最小核心数，即一个cpu， 所以我们要根据并行度去调整分配的cpu资源 程序如下:指定并行度为5，指定每个TM的slot数为2 -p 5 \ -Dtaskmanager.numberOfTaskSlots=2 \ 所以虽然配置了2个slot(并发度为2)，但是两个task不能同时运行，因为只有一个cpu 查看yarn的ui，可以
Charles + Jmeter的性能测试脚本的制作和调试 Charles抓包 1、设置过滤 2、对于抓包操作进行备注 3、去掉资源文件（js\css\imgs\wav等） Jmeter制作脚本 1、添加http请求默认值 2、录入脚本的过程中 发现3**开头的，第二个200不写 3、可以把青花瓷的参数进行复制，在jmeter中点击从剪切板
1.服务器管理器全局池属性 全局池属性用于设置所有池的配置。这是利用并行 CPU 和内存资源运行 Teamcenter 服务器的有效选项。 全局池属性在 Web 应用程序管理器的Modify Context Parameter对话框中设置，并保存在globalPoolConfig.properties文件中。在insweb安装期间，此文
一、Runtime Data Area 1、包括 Program Counter：PC，存放指令的位置。 取PC中的位置，找到对应位置的指令-->执行该指令-->指令++ Direct Memory：JVM可以直接访问的内核空间的内存。NIO，提高效率，直线零拷贝 method area：被所有线程共享，class的结构存放方法区
最近在看几本Java的书，也做了很多笔记，主要是关于Java虚拟机、Java GC、Java 并发编程等方面，参考的主要几本书籍有： 《深入理解Java虚拟机》——周志明 《深入理解Java虚拟机 第二版》——美 Bill Venners 《Java性能调优指南》——也是老美的 《Java高并发程序设计》——葛一鸣
spark 调优、spark 代码的优化 目录 spark 调优 spark 代码的优化 对多次使用的RDD进行持久化 使用高性能的算子 使用foreachPartitions替代foreach Action算子 重分区 使用filter之后进行coalesce操作 广播大变量 使用Kryo优化序列化性能 优化数据结构 使用高性能的库fastut
所有配置项分为三大类： 服务发现：表示该配置项用于服务的注册与发现，目的是让消费方找到提供方。 服务治理：表示该配置项用于治理服务间的关系，或为开发测试提供便利条件。 性能调优：表示该配置项用于调优性能，不同的选项对性能会产生影响。 所有配置最终都将转换为 URL表示，并由服务提
今天继续给大家介绍Linux运维相关知识，本文主要内容是Ansible的性能调优。 一、Ansible调优详解 相比于其他的自动化配置工具，Ansible的一个突出特性就是它是基于SSH链接对下游设备进行控制的，这样做的突出好处就是方便，下游设备不需要安装客户端软件。但是这也不可避免的带来一
一、JVM基础 1、JVM是一种半解释半编译的语言 编译：java文件-->javac编译-->class文件 解释：JVM去解释为二进制文件，交给操作系统去执行 2、JVM、JRE、JDK之间的关系 JRE=JVM+一些java的类库(String.class、Object.class等) JDK=JRE+自己定义的方法 3、class文件格式：二
总结：上述是发送者调优的总结，
Flink提交流程(Yarn-Per-Job) 1. client运行脚本提交命令。 2. CliFrontend实例化CliFrontendParser进行参数解析。 3. CliFrontend实例化YarnJobClusterExecutor并创建客户端。 4. 在客户端中实例化YarnClusterDescriptor封装YarnClient信息，包含提交参数和命令。 5. 将信息
visualVM 堆大小，类个数，实例个数，类加载器，gcroot
内核共享内存默认参数与调优参数对比 ------------------------------------------------------------------------------------------------------------------------------ 默认参数：（kernel 3.10.0） kernel.shmmax ）== 18446744073692774399 kernel.shmmni = 4096 kernel
