python实现文本过滤去重

在Python中，实现文本过滤去重可以采用多种方法，常见的有以下几种：

1. 列表推导式 + set()：将列表转换成集合，自动去除重复元素，再将结果转回列表。

unique_text = list(set(text_list))

2. 使用字典（dict）：由于字典的键值对不允许有重复，所以遍历列表，把每个元素作为键存入字典，最后字典的键就是唯一的文本。

unique_text_dict = {}
unique_text = [item for item in text_list if item not in unique_text_dict]
unique_text_dict.update({item: None for item in text_list})
unique_text = list(unique_text_dict.keys())

3. 使用frozenset：与set类似，但不会因为可变对象导致错误，适用于需要保持顺序的情况。

from collections import ChainMap
unique_text = list(ChainMap(*[[text] for text in text_list if text not in unique_text]))

相关问题

使用python调用MapReduce Streaming 实现数据的去重、TopN和倒排索引工作

Python调用Hadoop MapReduce Streaming实现数据处理是一个常见的技术应用场景，特别是在大数据分析领域。这里主要涉及三个任务：

1. **数据去重** (Distinct): 使用MapReduce，首先通过`map`函数读取输入数据，然后对每个键值对进行检查。如果键（通常是文本行的唯一标识）之前未出现过，就输出这个键值对到中间结果。在`reduce`阶段，由于所有相同的键会被聚在一起，只需过滤掉已经出现过的键即可。

# map阶段
cat input | sort | uniq -f1 | hadoop stream -mapper 'cat' -reducer 'echo'

# reduce阶段（这里不需要额外操作，uniq -f1 已经实现了去重）

2. **Top N** (Top K Frequent Elements): 这需要先计算每个元素的频率，再通过排序找出最常见的K个元素。`map`阶段可以统计元素出现次数，`reduce`阶段合并并计数，最后外部程序（如Shell脚本）可以筛选出Top K。这通常会涉及到多次迭代，直到找到目标。

3. **倒排索引** (Inverted Index): 倒排索引是一种将文档内容映射到包含它们的关键字列表的数据结构。在`map`阶段，每条记录会被分割成单词，并输出为键值对（单词，文件名）。`reduce`阶段会收集所有的单词及其关联的文件名，形成倒排索引。

# map阶段
cat input | grep -oE '\w+' | hadoop stream -mapper 'sort | cut -d " " -f1' -reducer 'echo'

# reduce阶段
hadoop stream -mapper 'cut -d " " -f2' -reducer 'cat > inverted_index.txt'

请注意，上述命令是简化的示例，实际应用中可能需要更复杂的逻辑，比如使用自定义的mapper/reducer脚本，并可能涉及其他工具如Pig或Spark等。

基于python、Bert、transformers模型实现以下任务：采用Google 提供的 Bert-Base-Chinese 模型，隐层输出维度为 768，学习率为 1e-6。先人工手动选取部分隐私词作为种子词，得到种子词列表；利用BERT模型训练大量的微博用户博文文本语料，获取词向量，然后其他词汇与已有种子词的相似度问题就转变成了向量相似度的问题；本任务采用余弦相似度，两个向量之间的余弦相似度越大说明它们关联度越高；利用部分种子词和训练好的模型输出最相似的词汇，将语义相近的词汇聚集在一起，对每一个种子词的关联词汇进行合并和去重，再进行人工筛选；设关联度阈值为q，语料中满足一定关联度阈值的词才能被定义为相关隐私词，并放入到隐私词库中；词库达到一定规模后，对词库进行过滤去重。

好的，这是一个关于利用BERT模型训练大量微博用户博文文本语料识别隐私词的任务。该任务的具体步骤如下：

1. 人工手动选取部分隐私词作为种子词，得到种子词列表。

2. 利用BERT模型训练大量的微博用户博文文本语料，获取词向量。

3. 利用部分种子词和训练好的模型输出最相似的词汇，将语义相近的词汇聚集在一起，对每一个种子词的关联词汇进行合并和去重，再进行人工筛选。

4. 设关联度阈值为q，语料中满足一定关联度阈值的词才能被定义为相关隐私词，并放入到隐私词库中。

5. 词库达到一定规模后，对词库进行过滤去重。

这个任务中，我们使用了Google提供的Bert-Base-Chinese模型，隐层输出维度为768，学习率为1e-6。利用余弦相似度将其他词汇与已有种子词的相似度问题转变成了向量相似度的问题。