ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

jdk8 stream list分割 切割 分批次处理工具类

2021-11-03 23:32:05  阅读:181  来源: 互联网

标签:maxNum stream offer list param queue jdk8 limit collections


最近处理一个需求,需要将一批数据入库,处理的时候发现数据量超级大,于是就将批数据进行分割分批处理。
直接上码

package com.store.common.utils;

import java.util.*;
import java.util.stream.Collectors;
import java.util.stream.Stream;

public class CommonUtil {

    /**
     * 计算切分次数
     * @param size 需要分割的集合长度
     * @param maxNum 集合最大的数量
     * @param <T>
     * @return 切分次数
     */
    private static Integer countStep(Integer size, Integer maxNum) {
        return (size + maxNum - 1) / maxNum;
    }

    /**
     * 将一个集合进行分割
     * @param collections 需要分割的集合 (List LinkedHashSet TreeSet LinkedList)
     * @param maxNum 集合最大的数量
     * @param <T>
     * @return 分割后的集合
     */
    public static <T> Collection<Collection<T>> subCollection(Collection<T> collections, int maxNum){

        int limit = countStep(collections.size(), maxNum);
        //方法一:使用流遍历操作
//        Collection<Collection<T>> mglist = new ArrayList<>();
//        Stream.iterate(0, n -> n + 1).limit(limit).forEach(i -> {
//            mglist.add(collections.stream().skip(i * maxNum).limit(maxNum).collect(Collectors.toList()));
//        });
//        return mglist;

        //方法二:获取分割后的集合
        Collection<Collection<T>> splitCollection = Stream.iterate(
                0, n -> n + 1).limit(limit).parallel().map(
                        a -> collections.stream().skip(a * maxNum).limit(maxNum).parallel()
                                .collect(Collectors.toList())).collect(Collectors.toList());

        return splitCollection;
    }

    public static void main(String[] args) {
        //test List
        List<Integer> list = Arrays.asList(1, 2, 3, 4, 5, 6, 7);
        //[[1, 2, 3], [4, 5, 6], [7]]
        System.out.println(subCollection(list, 3));

        //test set , allow LinkedHashSet TreeSet
        Set<Integer> set = new TreeSet() {
            {
                for (int i = 0; i < 40; i++) {
                    if (i % 2 == 0) {
                        add(i);
                    }

                }
            }
        };
        //[[0, 2, 4], [6, 8, 10], [12, 14, 16], [18, 20, 22], [24, 26, 28], [30, 32, 34], [36, 38]]
        System.out.println(subCollection(set, 3));

        //add()和remove()方法在失败的时候会抛出异常(不推荐)
        Queue<String> queue = new LinkedList<String>();
        //添加元素
        queue.offer("a");
        queue.offer("b");
        queue.offer("c");
        queue.offer("d");
        queue.offer("e");
        queue.offer("f");
        queue.offer("g");
        queue.offer("h");
        queue.offer("i");
        queue.offer("j");
        //[[a, b, c], [d, e, f], [g, h, i], [j]]
        System.out.println(subCollection(queue, 3));

    }
}
————————————————
版权声明:本文为CSDN博主「努力奔跑的小蜗牛」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/hjp2020/article/details/106852573

标签:maxNum,stream,offer,list,param,queue,jdk8,limit,collections
来源: https://blog.csdn.net/xiyang_1990/article/details/121133147

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有