Python做文本按行去重的实现方法_消除文本里面重复行python

python

文本去重

199 浏览量更新于2023-03-16 评论收藏 42KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python做文本按行去重的实现方法做文本按行去重的实现方法

每行在promotion后面包含一些数字，如果这些数字是相同的，则认为是相同的行，对于相同的行，只保留一

行。接下来通过本文给大家介绍Python做文本按行去重的实现方法，感兴趣的朋友一起看看吧

文本：文本：

每行在promotion后面包含一些数字，如果这些数字是相同的，则认为是相同的行，对于相同的行，只保留一行。

思路：思路：

根据字典和字符串切割。

建立一个空字典。

读入文本，并对每行切割前半部分，在读入文本的过程中循环在这个字典中查找，如果没找到，则写入该行到字典。否则，则

表示该行已经被写入过字典了（即出现重复的行了），不再写入字典，这就实现了对于重复的行只保留一行的目的。

文本如下:

/promotion/232 utm_source

/promotion/237 LandingPage/borrowExtend/? ;

/promotion/25113 LandingPage/mhd

/promotion/25199 com/LandingPage

/promotion/254 LandingPage/mhd/mhd4/? ;

/promotion/259 LandingPage/ydy/? ;

/promotion/25113 LandingPage/mhd

/promotion/25199 com/LandingPage

程序如下:

line_dict_uniq = dict()

with open('1.txt','r') as fd:

for line in fd:

key = line.split(' ')[0]

if key not in line_dict_uniq.values():

line_dict_uniq[key] = line

else:

continue

print line_dict_uniq

print len(line_dict_uniq)

# 这里是打印了不重复的行（重复的只打印一次），实际再把这个结果写入文件就可以了，

# 就不写这段写入文件的代码了

上面这个程序执行效率比较低，改成如下会提高一些:

line_dict_uniq = dict()

with open('1.txt','r') as fd:

for line in fd:

key = line.split(' ')[0]

if key not in line_dict_uniq.keys():

line_dict_uniq[key] = line

else:

continue

print line_dict_uniq

print len(line_dict_uniq)

继续补充一个函数

# -*- coding: utf-8 -*-

'''

只使用与较小的文件，比较大的文件运行时间长

'''

def quchong(infile,outfile):

infopen = open(infile,'r',encoding='utf-8')

outopen = open(outfile,'w',encoding='utf-8')

lines = infopen.readlines()

list_1 = []

for line in lines:

if line not in list_1:

list_1.append(line)

outopen.write(line)

infopen.close()

outopen.close()

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

weixin_38729221

粉丝: 2
资源: 935

会员权益专享

Python做文本按行去重的实现方法

评论0

会员权益专享

最新资源

Python做文本按行去重的实现方法

评论0

文本文件按行去重

Python实现的txt文件去重功能示例

Python对字符串实现去重操作的方法示例

python实现txt文本内容去重且不打乱原本顺序

python实现文本去重

python文本去重方法

python写一个文本去重程序

用python实现txt文档合并去重

Python计算短文本相似度进行去重，有什么效果较好的算法

python爬虫数据文本去重

python文本去重

写一段根据文本相似度去重的Python代码

python中怎么去重中文

python txt去重

用python写一个脚本将txt中所有重复的行进行去重

python去重txt首列重复

设计一种python代码，对提供的文本中所涉及的所有公司名称进行提取，并将结果去重

设计一个python代码，对提供的文本中所涉及的所有公司名称（包括中文与英文两种名称）进行提取，并将结果去重

怎么用Python去除文本文件中重复的字符串

会员权益专享

最新资源