标签：Java excel 组装 Excel SXSSFWorkbook 内存 StringBuffer 100

1》场景

项目中需要从数据库中导出100万行数据，以excel形式下载并且只要一张sheet(打开这么大文件有多慢另说，呵呵)。

ps：xlsx最大容纳1048576行 ，csv最大容纳1048576行，xls最大容纳65536行，但是存放相同的数据量 文件大小排序：xls>csv>xlsx ；xls是biff8的二进制文件，就是个B+树而xlsx是 xml的zip压缩文件。

2》常规做法

按照平常的做法，先到数据库中取数然后循环组装成一个list，然后用excel工具(我用的是POI)生成excel。

3》遇到的问题

1' 内存经常溢出。

2' 组装list,生成excel慢，50万的数据花了一个小时都没见完成。

4》解决方法

1' POI 改用 SXSSFWorkbook 参看 比如SXSSFWorkbook wb = new SXSSFWorkbook(100);在内存中只保留100行记录,超过100就将之前的存储到磁盘里,（我们了解到poi专门创建了一个用于大数据量读写的流式版本的XSSFWorkbook，称之为SXSSFWorkbook。它的原理也很简单，以硬盘空间换内存，只在内存中保留一小部分数据，其余数据都写入硬盘文件中。但是对于合并单元格、注释等信息，仍然存放在内存中 ）

2' 调整JVM 相关的参数 -Xmx....

3' 循环中减少使用new，尽量复用；String改为StringBuffer就不说了，重点是在组装一行数据时，一直比较喜欢用map来拼装，但是在我功能上发现还是耗内存的，后来的GC时间太长，造成严重拖累组装数据的效率，后来发现由HashMap改为用StringBuffer拼接行数据效率直接就上去了，当然指定合理的StringBuffer的起始容量效率就更好了。

ps:StringBuffer 的构造器会创建一个默认大小(通常是16)的字符数组。在使用中，如果超出这个大小，就会重新分配内存，创建一个更大的数组，并将原先的数组复制过来，再丢弃旧的数组。在大多数情况下，你可以在创建 StringBuffer的时候指定大小，这样就避免了在容量不够的时候自动增长，以提高性能。

4' 下载任务由同步改为异步，用户提交了后只要等待邮件通知即可，我用了quartz。

5》效果

100万数据组装以及生成excel大概要10分钟，平均下来1分钟10万条，我的小黑腰不酸腿不疼了。

好了就这些，我也看了，网上导出很多是分批导出或者用csv的解决的，但是我就这样的需求，人家任性没办法，我的方法还有待完善的地方，欢迎交流。

本文原创，转载请注明出处，谢谢。

https://www.csdn.net/tags/OtDaUg0sOTI1NDUtYmxvZwO0O0OO0O0O.html

标签：Java,excel,组装,Excel,SXSSFWorkbook,内存,StringBuffer,100
来源： https://www.cnblogs.com/dingpeng9055/p/16392278.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。