python写一个文本去重程序
时间: 2023-03-20 13:01:33 浏览: 101
好的,以下是使用Python编写的文本去重程序:
```python
# 打开文件并读取内容
with open('input.txt', 'r', encoding='utf-8') as f:
lines = f.readlines()
# 去重
unique_lines = list(set(lines))
# 将去重后的内容写入新文件
with open('output.txt', 'w', encoding='utf-8') as f:
f.writelines(unique_lines)
```
这个程序假设你的文本文件名为`input.txt`,编码为UTF-8。它将读取文件中的每一行并将其存储在一个列表中,然后使用Python内置的`set()`函数来去重。最后,将去重后的内容写入一个新文件`output.txt`。
相关问题
python代码 设计一个程序,读出“三国演义.txt”文件中的三国演义全文,将常见人名进行去重后生成词云,并列出词频最高的10-20个词,并形成词云比如人物头像,三国地图
首先,需要安装一些必要的Python库:jieba、wordcloud和matplotlib。
```
pip install jieba wordcloud matplotlib
```
然后,可以按以下步骤进行程序设计:
1. 读取“三国演义.txt”文件中的全文内容。
2. 使用jieba分词对全文进行分词。
3. 对分词结果中的人名进行去重。
4. 统计每个人名出现的次数,并按照次数从高到低排序,取前10-20个。
5. 将结果生成词云并展示。
下面是完整的代码实现:
```python
import jieba
from collections import Counter
from wordcloud import WordCloud, ImageColorGenerator
import matplotlib.pyplot as plt
from PIL import Image
import numpy as np
# 读取文件内容
with open("三国演义.txt", "r", encoding="utf-8") as f:
text = f.read()
# 分词
words = jieba.cut(text)
# 去重
names = set()
with open("names.txt", "r", encoding="utf-8") as f:
for name in f:
name = name.strip()
if name:
names.add(name)
name_count = Counter()
for word in words:
if word in names:
name_count[word] += 1
# 排序取前10-20个
top_n = 20
name_count = name_count.most_common(top_n)
# 生成词云
mask = np.array(Image.open("map.png"))
wc = WordCloud(font_path="msyh.ttc", background_color="white", mask=mask)
wc.generate_from_frequencies(dict(name_count))
image_colors = ImageColorGenerator(mask)
plt.imshow(wc.recolor(color_func=image_colors), interpolation="bilinear")
plt.axis("off")
plt.show()
```
其中,names.txt文件是一个包含常见人名的文本文件,每行一个人名。
map.png是一张三国地图的图片,用来生成词云形状。
运行程序后,会生成一个展示词云的窗口,同时在命令行输出词频最高的10-20个人名及其出现次数。
python三国演义人名词云。 设计一个程序,读出“三国演义.txt”文件中的三国演义全文,将常见人名进行去重后生成词云,并列出词频最高的10-20个词,并形成词云(可以有不同的形状)。
好的,这是一个比较常见的NLP任务,我们可以按照以下步骤来完成:
1. 读取三国演义的文本文件。
2. 使用正则表达式或其他方法,提取文本中的人名。
3. 对人名进行去重和统计词频,并找出出现频率最高的10-20个人名。
4. 根据人名的词频,生成词云。
下面是一个Python程序,可以实现上述步骤:
```python
import jieba
import jieba.analyse
from wordcloud import WordCloud, ImageColorGenerator
import matplotlib.pyplot as plt
import numpy as np
from PIL import Image
import re
# 读取文本文件
with open('三国演义.txt', 'r', encoding='utf-8') as f:
text = f.read()
# 提取人名
pattern = re.compile('[\u4e00-\u9fa5]{2,4}(?:·[\u4e00-\u9fa5]{2,4})*')
names = pattern.findall(text)
# 去重
names = list(set(names))
# 统计词频
freq = {}
for name in names:
freq[name] = text.count(name)
# 找出出现频率最高的10-20个人名
top_names = sorted(freq.items(), key=lambda x: x[1], reverse=True)[:20]
# 生成词云
mask = np.array(Image.open('cloud.png'))
wc = WordCloud(font_path='msyh.ttc', background_color='white', max_words=2000, mask=mask)
wc.generate_from_frequencies(freq)
image_colors = ImageColorGenerator(mask)
wc.recolor(color_func=image_colors)
plt.imshow(wc, interpolation='bilinear')
plt.axis('off')
plt.show()
```
其中,`cloud.png`是词云的形状图片,可以根据实际需求自行替换。`msyh.ttc`是字体文件,如果没有该字体文件,可以使用其他中文字体。
运行程序后,即可生成三国演义人名词云,并列出词频最高的20个人名。