python找出文件中重复行

可以使用Python中的set()函数来查找文件中的重复行。

下面是一个示例代码：

with open("filename.txt", "r") as file:
    lines = file.readlines()

    # 使用set()函数查找重复行
    duplicates = set()
    for line in lines:
        if line in duplicates:
            print(line)
        else:
            duplicates.add(line)

在上面的代码中，我们打开了一个名为filename.txt的文件，并使用readlines()函数将其所有行读入一个列表中。然后，我们使用set()函数来查找重复行。如果一个行已经在set()中存在，那么它就是重复的，我们就可以打印出来。否则，我们将其添加到set()中，以便在后面的行中进行查找。

相关问题

python在excel中找出重复数据并删除

可以使用Python中的pandas库来实现在Excel中找出重复数据并删除的操作。下面是一个简单的示例代码：

import pandas as pd

# 读取Excel文件
df = pd.read_excel('example.xlsx')

# 找出重复数据
duplicate_rows = df[df.duplicated()]

# 删除重复数据
df.drop_duplicates(inplace=True)

# 将结果写入Excel文件
df.to_excel('example.xlsx', index=False)

在代码中，首先使用`pd.read_excel()`方法读取Excel文件，然后使用`df[df.duplicated()]`方法找出重复的行，接着使用`df.drop_duplicates(inplace=True)`方法删除重复的行，最后使用`df.to_excel()`方法将结果写入Excel文件。注意，`inplace=True`参数表示直接在原数据上修改，而不是返回一个新的数据。

pythoncsv表中找出两行一样的数据

### 如何在 Python 中找到 CSV 文件里完全相同的两行数据

为了检测并找出 CSV 文件中完全相同的数据行，可以利用 `pandas` 库来简化操作。下面展示了一种有效的方法：

#### 使用 Pandas 处理 CSV 并识别重复项

安装 pandas 可通过 pip 完成：

pip install pandas

接着可以通过如下方式加载 CSV 文件，并查找其中的重复记录。

import pandas as pd

# 加载CSV文件到DataFrame对象
df = pd.read_csv('data.csv')

# 查找所有重复的行，默认会保留第一次出现的位置
duplicates = df[df.duplicated(keep=False)]

print(duplicates)

上述代码片段能够帮助定位所有的重复行[^1]。这里的关键在于函数 `pd.DataFrame.duplicated()` 的应用；它返回一个布尔序列，指示哪些行是重复的。参数 `keep='first'` 表示标记除首次出现外的所有副本为 True；而设置 `keep=False` 则会使所有重复实例都被视为 True。

对于那些希望理解底层逻辑而不依赖第三方库的人而言，也可以采用纯 Python 方法实现同样的功能。这涉及到读取 CSV 文件并将每一行存储在一个集合(set) 或列表(list) 中以便后续对比。

#### 不借助外部库的手动去重方案

如果不想使用额外的库，则可以直接处理原始 CSV 数据流来进行比较:

import csv

def find_duplicates(file_path):
    seen = set()
    duplicates = []

    with open(file_path, 'r', encoding='utf8') as csvfile:
        reader = csv.reader(csvfile)

        for row in reader:
            tuple_row = tuple(row)  # 将每行转换为不可变类型的元组用于加入set
            
            if tuple_row in seen:
                duplicates.append(tuple_row)
            else:
                seen.add(tuple_row)

    return duplicates


duplicate_rows = find_duplicates('data.csv')
for dup in duplicate_rows:
    print(','.join(dup))

这段脚本实现了基本的功能——打开指定路径下的 CSV 文件，逐行扫描并记录已经遇到过的行（作为字符串形式），一旦发现之前见过的行就将其保存下来供最后打印输出[^2]。