fpgrowth算法
时间: 2023-09-29 13:09:14 浏览: 56
FP-Growth算法是一种用于挖掘频繁项集的数据挖掘算法。它是一种基于前缀树结构(称为FP树)的有效算法。FP-Growth通过构建压缩的数据结构来处理频繁项集挖掘问题,避免了传统的候选项集生成和多次数据库扫描的缺点。
FP-Growth算法的主要步骤如下:
1. 构建FP树:遍历数据集,统计每个项的支持度,并根据支持度筛选掉非频繁项。然后根据支持度降序排序,构建FP树。FP树是一种压缩的前缀树,可以表示频繁项集之间的关系。
2. 构建条件模式基:对于每个频繁项,通过遍历FP树获取其条件模式基。条件模式基是指以频繁项为结尾的路径集合。
3. 递归构建频繁项集:对于每个频繁项,通过条件模式基递归地构建频繁项集。首先将频繁项加入结果集,然后对于当前频繁项的条件模式基,继续构建更长的频繁项。
通过FP-Growth算法,可以高效地挖掘出所有的频繁项集,从而对数据进行关联规则挖掘、推荐系统等应用。
相关问题
fpgrowth算法大白话
FpGrowth算法是一种频繁模式增长算法,它是对Apriori算法的改进。与Apriori算法相比,FpGrowth算法只需要对数据库进行两次扫描就可以求出频繁项集,大大减少了扫描数据库的时间。该算法的思想是构建FpTree(频繁模式树)来实现。
简单来说,FpGrowth算法的流程如下:
1. 构建FpTree:将事务数据集转化为FpTree,每个事务作为一条路径插入到FpTree中。
2. 构建条件模式基:从FpTree中抽取频繁项集的条件模式基,即以频繁项集的末尾元素为节点,向上遍历直到根节点,得到条件模式基。
3. 递归挖掘FpTree:对每个频繁项集的条件模式基进行递归调用FpGrowth算法,直到无法再构建FpTree,得到所有的频繁项集。
FpGrowth算法相较于Apriori算法的优势是,在整个算法执行过程中只需要遍历数据集两次,大大提高了效率。
另外,有一些现成的包和工具可以方便地实现FpGrowth算法,比如fp_growth包和sklearn中的fp-growth算法实现。这些工具可以帮助我们更简单地调用FpGrowth算法进行频繁项集的挖掘。
fpgrowth算法代码
fpgrowth算法是一种用于频繁项集挖掘的常用算法,它的主要思想是基于Apriori算法的改进,通过构建FP树(频繁模式树)来高效地发现频繁项集。下面是fpgrowth算法的代码示例:
```python
class TreeNode:
def __init__(self, name, count, parent):
self.name = name # 项的名称
self.count = count # 计数
self.nodeLink = None # 指向相似节点的指针
self.parent = parent # 指向父节点
self.children = {} # 子节点
def createFPTree(dataSet, minSup):
headerTable = {}
for trans in dataSet:
for item in trans:
headerTable[item] = headerTable.get(item, 0) + dataSet[trans]
for k in list(headerTable.keys()):
if headerTable[k] < minSup:
del(headerTable[k])
freqItemSet = set(headerTable.keys())
if len(freqItemSet) == 0:
return None, None
for k in headerTable:
headerTable[k] = [headerTable[k], None]
retTree = TreeNode('Null Set', 1, None)
for tranSet, count in dataSet.items():
localD = {}
for item in tranSet:
if item in freqItemSet:
localD[item] = headerTable[item][0]
if len(localD) > 0:
orderedItems = [v[0] for v in sorted(localD.items(), key=lambda p: p[1], reverse=True)]
updateTree(orderedItems, retTree, headerTable, count)
return retTree, headerTable
def updateTree(items, inTree, headerTable, count):
if items[0] in inTree.children:
inTree.children[items[0]].inc(count)
else:
inTree.children[items[0]] = TreeNode(items[0], count, inTree)
if headerTable[items[0]][1] == None:
headerTable[items[0]][1] = inTree.children[items[0]]
else:
updateHeader(headerTable[items[0]][1], inTree.children[items[0]])
if len(items) > 1:
updateTree(items[1:], inTree.children[items[0]], headerTable, count)
def ascendTree(leafNode, prefixPath):
if leafNode.parent != None:
prefixPath.append(leafNode.name)
ascendTree(leafNode.parent, prefixPath)
def findPrefixPath(basePat, treeNode):
condPats = {}
while treeNode != None:
prefixPath = []
ascendTree(treeNode, prefixPath)
if len(prefixPath) > 1:
condPats[frozenset(prefixPath[1:])] = treeNode.count
treeNode = treeNode.nodeLink
return condPats
def mineTree(inTree, headerTable, minSup, preFix, freqItemList):
bigL = [v[0] for v in sorted(headerTable.items(), key=lambda p: p[1])]
for basePat in bigL:
newFreqSet = preFix.copy()
newFreqSet.add(basePat)
freqItemList.append(newFreqSet)
condPattBases = findPrefixPath(basePat, headerTable[basePat][1])
myCondTree, myHead = createFPTree(condPattBases, minSup)
if myHead != None:
mineTree(myCondTree, myHead, minSup, newFreqSet, freqItemList)
dataSet = {frozenset(['e', 'a', 'c', 'd', 'f', 'g', 'm', 'p']): 1,
frozenset(['a', 'b', 'c', 'f', 'l', 'm', 'o']): 1,
frozenset(['b', 'f', 'h', 'j', 'o']): 1,
frozenset(['b', 'c', 'k', 's', 'p']): 1,
frozenset(['a', 'f', 'c', 'e', 'l', 'p', 'm', 'n']): 1}
tree, headerTable = createFPTree(dataSet, 3)
freqItems = []
mineTree(tree, headerTable, 3, set([]), freqItems)
print(freqItems)
```
上面是一个简单的Python实现的fpgrowth算法的代码示例,通过构建FP树来高效地发现频繁项集,并输出频繁项集。