标签：apriori machine-learning data-mining python

我有一个具有60万行和15列的csv文件“ Col1,Col2 … COl15”.我想生成关联规则,其中只有右侧只有col15中的值.我正在使用here的apriori实现

它以这种方式计算每个项目集的minSupport：

oneCSet = returnItemsWithMinSupport(itemSet,
                                        transactionList,
                                        minSupport,
                                        freqSet)
    print "reached line 80"
    currentLSet = oneCSet
    k = 2
    while(currentLSet != set([])):
        print k
        largeSet[k-1] = currentLSet
        currentLSet = joinSet(currentLSet, k)
        currentCSet = returnItemsWithMinSupport(currentLSet,
                                                transactionList,
                                                minSupport,
                                                freqSet)
        currentLSet = currentCSet
        k = k + 1

def returnItemsWithMinSupport(itemSet, transactionList, minSupport, freqSet):
        """calculates the support for items in the itemSet and returns a subset
       of the itemSet each of whose elements satisfies the minimum support"""
        _itemSet = set()
        localSet = defaultdict(int)
        #print itemSet

        for item in itemSet:
            #print "I am here", list(item)


            for transaction in transactionList:
                if item.issubset(transaction):
                    freqSet[item] += 1
                    localSet[item] += 1
        print "Done half"
        for item, count in localSet.items():
            support = float(count)/len(transactionList)

            if support >= minSupport:
                _itemSet.add(item)

        return _itemSet

但是对于我拥有的许多行,这将花费很多时间,因为我希望RHS被限制为仅具有特定列(Col15)中的值,所以我可以通过某种方式减少频繁使用的项目集来使实现更快？其他方法之一是最后过滤规则,但是时间复杂度相同.还是有其他一些实现/库可以帮助我加快速度？

解决方法:

>根据第15列中的值拆分数据集,这将是您的右侧RHS.因此,如果该列中有5个不同的值,则现在将获得5个数据集.删除每列的最后一列,该列现在保持不变.
>仅按其他子集上的Apriori来计算其他列上的频繁项集(而不是关联规则)(更快！).但是您仍然需要比链接的随机github版本更好的实现.它只需要FIM,而无需规则！
>将带有分区键的频繁项目集组合到关联规则(FIS-> RHS)中,并像使用您喜欢的度量标准的关联规则进行评估.

这要快得多,因为它不会生成跨越多个col15键的频繁项集.在每个分区中,所有剩余数据都与您的目标相关.此外,它还可以与未修改的Apriori FIM代一起使用.

标签：apriori,machine-learning,data-mining,python
来源： https://codeday.me/bug/20191025/1930470.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。