python 批量去除txt重复的行数据

可以使用Python中的set()函数和os模块来批量去除多个txt文件中的重复行数据，具体代码如下：

import os

# 遍历当前目录下的所有txt文件
for filename in os.listdir('.'):
    if filename.endswith('.txt'):
        with open(filename,'r') as f:
            lines = f.readlines()

        # 使用set()函数去除重复行
        lines = set(lines)

        with open(filename,'w') as f:
            # 将去重后的行写入文件
            for line in lines:
                f.write(line)

上述代码首先使用os模块的`listdir()`函数遍历当前目录下的所有txt文件，然后对每个文件进行去重操作，最后将去重后的行写回到原文件中。

相关问题

python批量将txt文本转成excel格式

要批量将txt文本转成excel格式，首先需要编写一个Python程序来实现这个功能。我们可以使用Python中的pandas库来处理文本文件和生成excel文件。

首先，我们需要使用Python中的os模块来获取指定文件夹中的所有txt文件。然后，逐个读取每个txt文件的内容，并将其转换成pandas的DataFrame数据结构。接着，我们可以使用pandas的to_excel方法将DataFrame保存为excel文件。

在处理每个txt文件时，我们可能需要进行一些数据清洗和格式转换的操作，例如去除不必要的字符或者重新排列数据。同时，我们还可以设置excel文件的格式和样式，包括表头和单元格的颜色、边框等。

另外，我们还可以将这个Python程序封装成一个函数，以便能够重复使用。这样，我们就可以在指定的文件夹中一次性处理所有的txt文件，并将它们批量转换成excel格式。

总的来说，通过使用Python编写一个程序来实现批量将txt文本转成excel格式是相对简单的。借助pandas库的功能，我们可以轻松地处理文本文件和生成excel文件，从而实现快速而高效的批量转换操作。