1.数据库所在服务器信息 2.表数据量截图 declare @table_spaceused table (name nvarchar(100) ,rows int ,reserved nvarchar(100) ,data nvarchar(100) ,index_size nvarchar(100) ,unused nvarchar(100) ) insert into @table_spaceused (name,rows,reserved,data,index_siz
在对服务器进行性能分析时，我们经常会遇到慢SQL，给大家粗略的总结了一下慢sql可能的原因，帮助大家分析定位慢SQL。 1、查询的表，没有加索引 写了一个查询sql，结果查询的条件字段没有索引，导致需要全表扫描，查找数据，这是大家遇到最多，也是最容易理解的。 这种，一般，在表数据量
如果数据量小，用navicat或者其它客户端可以很方便的导出数据，但如果数据量比较大的话，建议用mongo官方工具 mongodump 下载地址： https://www.mongodb.com/try/download/database-tools 如果需要密码验证，那么需要添加 "--authenticationDatabase admin" 的配置，如： mongodump --host 12
---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千级)---原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit
1. 引言 人类在行走或者驾驶过程中产生的GPS轨迹，是道路的一种采样，根据GPS轨迹路线，我们可以推知道路的存在，根据轨迹的密度，可以推知道路的热度以及重要性。如何才能在地图中显示大量的轨迹，这是一个值得思考的问题。诚然，可以直接加载原始轨迹数据，但是这会造成极大的网络压力。地图切
第一章 课程介绍 1-1 导学 jdk1.8 新特性 springboot 微服务架构 hbase 分布式数据存储 数据量大 面向列 非关系性数据库 mysql 关系型数据库， redis 业务系统繁忙的时候，IO读写成为系统的性能瓶颈。需要使用缓存系统解决。 kafka 工程与工程之间的通信，消息队列 1-2 课程介绍
1.如何衡量一个算法的稳定性？ 2.如何衡量一个算法的好坏，可以从哪些维度分析？ 3*.手写快速排序算法 4.jdk中对 int[] 数组是怎么排序的？如何说数据规模很大的话，有没有采取另外别的方式呢？ 5.数据量很大(上千万，上亿)，如何快速找到一个指定的数？ 6.java有内置的二分查找的ap
1.如果实现二叉树的层序遍历？ 2.HashMap和HashTable的区别有哪些？ 3.HashMap的散列过程是怎样的？ 4.为什么HashMap在jdk1.8的时候要升级成红黑树？ 5.Arrays.sort()方法内部用的是什么排序算法？ 6.怎样用锁保护共享变量？ 7.为什么要使用多线程？ 8.哪些场景中使
1000ms意味着： O(n)的算法，数据量为：\(10^{6}\)—\(10^{8}\)（上万） O(n\(\log\)n)的算法，数据量为：\(10^{5}\)—\(10^{7}\)（上万） O(\(n^{2}\))的算法，数据量为：\(10^{3}\)—\(10^{4}\)（几千，不上万） O(\(n^{3}\))的算法，数据量为：\(10^{2}\)—\(10^{3}\)（几百，不上千）
之前使用数据库较多的是mysql，其次是redis和mongo。应对数据量较大的情况时：对mysql做了分区存储。mysql在常规情况下的存储量级是：2000万。但是当数据量越来越大的情况下，效率也会相应降低。 场景：从es获取了应用日志，入库后分析。首先用开源框架“达芬奇”将入库后的数据进行展示，默认
Excel中处理数据，最怕选来选去，碰错数据，当数据量大的时候更是头疼。 因此，数据量大时，用快捷键是优于鼠标拖动的方式的。 1.选择筛选后结果的快捷键 ALT+; 在表格中，筛选出结果后，要把筛选后的数据复制走，可以先在表格中点击下，然后按快捷键alt+;，接下来就是复制粘贴。主要是不用手动拖动选
/** * 冒泡排序 */ public static void bubbleSort(int[] arr) { int length = arr.length; for (int i = 1; i < length; i++) {//比较趟数为数据量-1 for (int j = 0; j < length - i; j++) {//每次比较次数总数据量-躺数，j表示
个人创作公约：本人声明创作的所有文章皆为自己原创，如果有参考任何文章的地方，会标注出来，如果有疏漏，欢迎大家批判。如果大家发现网上有抄袭本文章的，欢迎举报，并且积极向这个 github 仓库 提交 issue，谢谢支持~ 本文是“为什么我建议”系列第三篇，本系列中会针对一些在高并发场景下，我
1.在sql文件所在的路径运行cmd2.输入命令 osql -S "localhost" -U "sa" -P "123456" -d "autowms_dgzc" -i "D:/project/sql/aaa.sql" 说明：-S：数据库服务器IP地址-U：数据库用户名-P：数据库密码-d：数据库名-i：sql文件所在路径及文件全名
由于业务增长，需要分表处理。实现思路： 1.使用一致性hash算法通过业务id来计算数据属于哪张表 一致性hash算法参考：https://www.jianshu.com/p/ded630cb6d6c 2.使用自定义注解获取业务id，在需要分表接口实现类加入自定义注解。然后注解下的mapper方法获取到分表名进行sql替换。需注意
mysql在线修改表结构大数据表的风险与解决办法归纳 整理这篇文章的缘由： 互联网应用会频繁加功能，修改需求。那么表结构也会经常修改，加字段，加索引。在线直接在生产环境的表中修改表结构,对用户使用网站是有影响。 以前我一直为这个问题头痛。当然那个时候不需要我来考虑,虽然
做压力测试也就是多少用户一起去操作，也就是设置多少并发，运行多久，一般是在线程组中设置，如下图所示 1、压力测试场景设置 一般我们在做压力测试的时候，分单场景和混合场景，单场景也就是咱们压测单个接口的时候，多场景也就是有业务流程的情况下，比如说一个购物流程，那么这样的场景就是混
前言 毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。 从解决问
理论上unordered_map的存取速度很快。 但是在数据量很大的时候，哈希冲突过多会导致速度变慢。 此时可以使用map替代。（存疑） 同时，虽然unordered_map理论的插入是O(1)，但是实际一秒只能运行1e5次左右，远低于1e8-1e9的数量级。 https://codeforces.com/contest/1665/problem/B 此算法题使
小型嵌入式，跟mysql差不多，但更小,功能也少，属于本地数据库多用于读多写少，100W以下的数据压力不大，不支持分布式。 真正开源的小型嵌入式数据库，支持事务、触发器器 性能至少优于mysql4.1.0 目前已被几乎所有的高级程序开发语言支持 由于可以自定义数据库函数，尤其在php的扩
1、exists和in的区别 存在表A和表B A_id A_name A_type B_id B_name B_type 其中表A和表B的A_id和B_id均加了索引，其他的两个字段未加索引，A表记录10000条，B表记录有50000条 执行select * from A where A_id in (select B_id from B)，此时的处理逻辑可以等效为两层for循环，则循
LinkedeList和ArrayList是常用的两种存储结构，都可以实现了List接口，那么它们之间有什么区别？ LinkedList和ArrayList是常见的两种存储结构，它们都可以实现List接口，那么它们有什么区别呢？下面带大家简单了解以下。 ArrayList和LinkedList的区别 一般大家都知道ArrayList和Linked
场景 产品基于Django rest framework、Mysql开发。随着产品发展，部分模型数据量日益增涨，每月达到千万级数据，严重影响性能。 这里以项目实际场景中的Order（订单表）来展开 需求： 1、基本查询，查看历史订单。 2、看板输出，查看每天销售情况，计算订单表中的金额、成本、毛利等字段。 方
线上项目，刚开始的时候，数据量比较小，系统性能没有任何问题。随着业务运行时间的增加，数据量会不断的增加，历史数据也会不断累积，这个时候，如果不进行性能优化，系统可能完全无法使用。特别是在数据量达到千万级别以后更是如此。 一个项目中，需要统计一年的账单数据（表中数据在将近1000万），sq
单表数据量 所有表都需要添加注释,数据量建议控制在3000万以内 不保存大字段数据 不在数据库中存储图片、文件等大数据 表使用规范 拆分大字段和访问频率低的字段，分离冷热数据 单表字段数控制在 20 个以内 * 索引规范 单张表中索引数量不超过 5 个 单个索引中的字段数不超过 5
