标签：为什么 存储 写入 查询 索引 数据 ClickHouse

大数据量处理的方案

• 分布式计算
• 列式存储

ClickHouse的性能

数据的查询性能：

        不支持高并发，官方建议qps不超过100。

        单表查询更有优势，不推荐多表联合查询。

每秒可处理1.2GB（亿行）数据,单机支撑40亿以上的数据查询无压力。

数据的写入性能

        建议每次写入不少于1000行的批量写入，或每秒不超过一个写入请求

ClickHouse的特点

列式存储

        同一个文件的数据类型一致，可实现高效压缩。

        宽表查询时，需要处理的处理量可大大减小。

分区存储，查询时可跳过筛选条件外的分区。

数据落盘时，根据排序键将数据顺序写入。

根据主键，生成主键索引，加快检索效率；另外根据需要，还可建立二级索引。

        （ClickHouse的索引均为稀疏索引，所以索引字段的区分度要适中）

并行处理（极限压榨CPU）：

        向量引擎：为了高效利用CPU，数据不仅按列存储，同时还按向量(列的一部分)进行处理。

        复杂查询支持多核心并行处理

支持近似计算。

支持副本（高可用）、分片（水平扩容），单机性能已足够，分片特性不一定有用。

检索方式

                             

 稀疏索引

 

标签：为什么,存储,写入,查询,索引,数据,ClickHouse
来源： https://blog.csdn.net/weixin_39132087/article/details/122752293

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。