大数据存储处理之表分区,数据压缩

2022-01-10 16:35:39 阅读：151 来源： 互联网

标签：string buffer compressResult 分区之表 4000 Length 数据压缩

　　一般, 我们在程序设计时, 对于一些业务, 会有可预见的大量数据, 此时需要我们在设计数据库表的时候就考虑到问题所在.

　　处理思路: 1.表分区 2.数据压缩存储

　　1.表分区

　　　　表分区的方式有很多种, 此处列举一种, 按天分区

　　上菜: (具体分区的种类和方式有机会详解)

　　　　CREATE TABLE TableName (
　　　　　　RESULTLISTID NUMBER,
　　　　　　STEPINDEX NUMBER,
　　　　　　VALUES0 VARCHAR2(4000),
　　　　　　VALUES1 VARCHAR2(4000),
　　　　　　VALUES2 VARCHAR2(4000),
　　　　　　VALUES3 VARCHAR2(4000),
　　　　　　DATE_ DATE
　　　　) PARTITION BY RANGE (date_) INTERVAL (NUMTODSINTERVAL(1, 'day'))
　　　　(partition part_t01 values less than(to_date('2021-12-10', 'yyyy-mm-dd')));

　　理解: 一般对于没有分区的表, 我们可以理解数据存储在同一个地方.

　　　　白话文: 数据是文字, 表是一本数, 文字存在书本上. 想要查询某个单词, 需要翻阅整本书.

　　　　如果表是按天分区, 就是说我们的数据是按天存储在不同的地方.

　　　　白话文: 数据是文字, 表是书架, 书架上的每一本书代表一个分区, 文字存在书本上, 所有的书本构成一个书架. 想要查询某个单词, 可以先

　　　　　　　对书本的日期进行过滤, 找到对应日期的书本, 进行查找.

　　以上就是表分区的思想所在.

　　2. 数据压缩存储

　　　　如果我们每次操作都会向数据库表中增加几十,上百,上千行的数据, 那么我们可以先对数据进行压缩处理, 使得成百上千行的数据, 只需要存储为一行即可.

　　上菜:(拿需要存储的数据类型为float来说)　　

　　　　public static string[] CompressedData(float[] valueList)
　　　　{
　　　　　　List<string> result = new List<string>();
　　　　　　//1float=4byte
　　　　　　byte[] buffer = new byte[valueList.Length * 4];
　　　　　　for (int i = 0; i < valueList.Length; i++)
　　　　　　{
　　　　　　　　//1byte=8bit
　　　　　　　　byte[] b = BitConverter.GetBytes(valueList[i]);
　　　　　　　　buffer[i * 4] = b[0];
　　　　　　　　buffer[i * 4 + 1] = b[1];
　　　　　　　　buffer[i * 4 + 2] = b[2];
　　　　　　　　buffer[i * 4 + 3] = b[3];
　　　　　　}
　　　　　　//将byte转化为字符串
　　　　　　string compressResult = Convert.ToBase64String(buffer);
　　　　　　while (compressResult.Length > 4000)
　　　　　　{
　　　　　　　　string s = compressResult.Substring(0, 4000);
　　　　　　　　result.Add(s);
　　　　　　　　compressResult = compressResult.Substring(4000, compressResult.Length - 4000);
　　　　　　}
　　　　　　if (compressResult.Length <= 4000)
　　　　　　{
　　　　　　　　string s = compressResult.Substring(0, compressResult.Length);
　　　　　　　　result.Add(s);
　　　　　　}

　　　　　　return result.ToArray();
　　　　}

　　代码理解: CompressedData方法将float数组数据转化为string数组数据（压缩）,我们把压缩后的string数组每个元素存在分区表对应的VALUES中

　　　　　　string数组中的每个元素都是一个varchar(4000)长度, 我们表分区的时候需要大概估算一次压缩最大的数据量从而来确定VALUES的个数.

　　这样我们就把众多数据压缩成一行数据了,我们可以根据日期等进行过滤查询, 可极大提高性能.

　　当然我们取数据的时候需要对压缩的数据进行解压,

　　上菜:　　　

　　　　public static float[] AnalysisData(string[] txt)
　　　　{
　　　　　　List<float> vs = new List<float>();
　　　　　　StringBuilder sb = new StringBuilder();
　　　　　　foreach (var item in txt)
　　　　　　{
　　　　　　　　sb.Append(item);
　　　　　　}
　　　　　　//把字符串转为字节
　　　　　　byte[] buffer = Convert.FromBase64String(sb.ToString());
　　　　　　//将字节转化为float
　　　　　　for (int i = 0; i < buffer.Length; i += 4)
　　　　　　{
　　　　　　　　float f = BitConverter.ToSingle(buffer, i);
　　　　　　　　vs.Add(f);
　　　　　　}
　　　　　　return vs.ToArray();
　　　　}

　　原理就是压缩的逆向. 这样我们就可以获取到元数据了.

I had no time to choose, What I chose to do..

So go easy on me~~

标签：string,buffer,compressResult,分区,之表,4000,Length,数据压缩
来源： https://www.cnblogs.com/UsefulIdiot/p/15784978.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

大数据存储处理之表分区,数据压缩