手写一个对apriori算法改进的算法代码
时间: 2023-06-12 11:06:47 浏览: 115
Apriori改进算法综述
好的,这里给出一个对Apriori算法改进的算法——FP-growth算法的Python实现代码。
```python
class TreeNode:
"""
FP树结点类
"""
def __init__(self, name, count, parent):
self.name = name # 结点名称
self.count = count # 计数值
self.parent = parent # 父节点
self.children = {} # 子节点
def add_count(self, count):
"""
将计数值增加指定值
"""
self.count += count
def display(self, ind=1):
"""
以文本形式显示FP树
"""
print(' ' * ind, self.name, ' ', self.count)
for child in self.children.values():
child.display(ind + 1)
def create_fp_tree(data_set, min_support):
"""
构建FP树
"""
# 第一次遍历数据集,统计每个元素项出现的频数
header_table = {}
for trans in data_set:
for item in trans:
header_table[item] = header_table.get(item, 0) + data_set[trans]
# 移除不满足最小支持度的元素项
header_table = {k: v for k, v in header_table.items() if v >= min_support}
freq_items = set(header_table.keys())
if len(freq_items) == 0:
return None, None
for k in header_table:
header_table[k] = [header_table[k], None] # 记录每个元素项出现的频度和指向每种元素项的第一个结点的指针
# 第二次遍历数据集,建立FP树
ret_tree = TreeNode('Null Set', 1, None)
for trans, count in data_set.items():
local_d = {} # 存储当前项集中所有频繁项的计数值
for item in trans:
if item in freq_items:
local_d[item] = header_table[item][0]
if len(local_d) > 0:
ordered_items = [v[0] for v in sorted(local_d.items(), key=lambda p: p[1], reverse=True)]
update_tree(ordered_items, ret_tree, header_table, count)
return ret_tree, header_table
def update_tree(items, in_tree, header_table, count):
"""
更新FP树
"""
if items[0] in in_tree.children:
# 如果当前项集的第一个元素已经作为子结点存在,则更新该子结点的计数值
in_tree.children[items[0]].add_count(count)
else:
# 如果当前项集的第一个元素不存在作为子结点,则创建一个新的子结点
in_tree.children[items[0]] = TreeNode(items[0], count, in_tree)
# 更新头指针表,指向新的结点
if header_table[items[0]][1] is None:
header_table[items[0]][1] = in_tree.children[items[0]]
else:
update_header(header_table[items[0]][1], in_tree.children[items[0]])
# 递归地更新FP树
if len(items) > 1:
update_tree(items[1:], in_tree.children[items[0]], header_table, count)
def update_header(node_to_test, target_node):
"""
更新头指针表
"""
while node_to_test.node_link is not None:
node_to_test = node_to_test.node_link
node_to_test.node_link = target_node
def ascend_tree(leaf_node, prefix_path):
"""
从叶子结点追溯到根结点,找到所有前缀路径
"""
if leaf_node.parent is not None:
prefix_path.append(leaf_node.name)
ascend_tree(leaf_node.parent, prefix_path)
def find_prefix_path(base_pat, tree_node):
"""
查找以base_pat结尾的所有路径
"""
cond_pats = {}
while tree_node is not None:
prefix_path = []
ascend_tree(tree_node, prefix_path)
if len(prefix_path) > 1:
cond_pats[frozenset(prefix_path[1:])] = tree_node.count
tree_node = tree_node.node_link
return cond_pats
def mine_fp_tree(in_tree, header_table, min_support, prefix, freq_item_list):
"""
从FP树中挖掘频繁项集
"""
big_l = [v[0] for v in sorted(header_table.items(), key=lambda p: p[1][0])] # 头指针表中的元素项按照频度排序
for base_pat in big_l:
new_freq_set = prefix.copy()
new_freq_set.add(base_pat)
freq_item_list.append(new_freq_set)
# 查找以base_pat结尾的所有路径,构建条件模式基
cond_patt_bases = find_prefix_path(base_pat, header_table[base_pat][1])
# 构建条件FP树
my_cond_tree, my_head = create_fp_tree(cond_patt_bases, min_support)
if my_head is not None:
mine_fp_tree(my_cond_tree, my_head, min_support, new_freq_set, freq_item_list)
```
这个FP-growth算法代码与Apriori算法的代码相比,主要改进在于:
1. FP-growth算法只需要遍历数据集两次,而Apriori算法需要遍历多次;
2. FP-growth算法不需要生成候选项集,而Apriori算法需要生成候选项集;
3. FP-growth算法使用了FP树来存储频繁项集,而Apriori算法使用了大量的内存来存储候选项集。
因此,FP-growth算法相对于Apriori算法来说,更加高效。
阅读全文