用python写一个脚本统计txt所有行中文件重复的次数

好的，以下是一个简单的 Python 脚本，可以用来统计一个 txt 文件中所有行中文件重复的次数：

# 打开文件
with open("filename.txt", "r") as f:
    lines = f.readlines()

# 统计行数
counts = {}
for line in lines:
    if line in counts:
        counts[line] += 1
    else:
        counts[line] = 1

# 输出结果
for line, count in counts.items():
    if count > 1:
        print(f"{line.strip()} 重复了 {count} 次")

解释一下这个脚本的实现过程：

1. 打开指定的文件，并读取所有行到一个列表中。
2. 遍历每一行，使用一个字典来记录每一行出现的次数。
3. 最后遍历字典，输出出现次数大于 1 的行以及它们出现的次数。

你只需要将 "filename.txt" 替换成你要统计的 txt 文件的路径即可。

相关问题

用python写一个脚本统计txt中重复文件的数量

你好！感谢提问！下面是用 Python 编写的脚本，可以统计 txt 文件中重复行的数量：

import collections

# 打开文件并读取所有行
with open('file.txt', 'r') as f:
    lines = f.readlines()

# 统计每行出现的次数
counter = collections.Counter(lines)

# 输出重复行和出现次数
for line, count in counter.items():
    if count > 1:
        print(f'{line.strip()} 重复 {count} 次')

可以将 `file.txt` 替换为你要处理的 txt 文件路径。运行脚本后，它会输出所有重复的行和它们在文件中出现的次数。

用python写一个脚本将txt中所有重复的行进行去重

当然可以！以下是一个用 Python 编写的脚本，可以将文本文件中的重复行去重：

def remove_duplicate_lines(input_file, output_file):
    lines_seen = set()  # 用于保存已经出现过的行
    with open(input_file, 'r') as file_in, open(output_file, 'w') as file_out:
        for line in file_in:
            if line not in lines_seen:
                file_out.write(line)
                lines_seen.add(line)

# 使用示例
input_file = 'input.txt'  # 输入文件名
output_file = 'output.txt'  # 输出文件名
remove_duplicate_lines(input_file, output_file)
print("去重完成！")

请将脚本保存为一个 Python 文件（如 `remove_duplicates.py`），然后将待去重的文本内容保存到名为 `input.txt` 的文件中。运行脚本后，将会生成一个名为 `output.txt` 的文件，其中已经去除了重复行的内容。

注意：该脚本会保留首次出现的行，删除后续重复的行。如果你希望保留最后一次出现的行，可以修改 `remove_duplicate_lines` 函数中的代码为 `lines_seen[line] = True`，并在写入文件时按照字典的键值顺序进行遍历和写入操作。

希望对你有帮助！如果有任何问题，请随时提问。