python合并TXT文件后对TXT文件进行数据清洗

在Python中合并多个TXT文件后，数据清洗通常是清理文本中的无用信息、标准化格式、去除重复内容等步骤。以下是常见的操作：

1. **打开并读取文件**：使用`open()`函数逐个读取需要合并的TXT文件，并将内容存储在一个列表中。

import os

files = ['file1.txt', 'file2.txt', 'file3.txt']  # 替换为你实际的文件路径
data = []
for file in files:
    with open(file, 'r') as f:
        data.append(f.read())

2. **合并内容**：将所有文件的内容拼接成一个字符串，可以使用`'\n'.join()`连接每行。

merged_data = '\n'.join(data)

3. **数据清洗**：
- **移除空行和多余空白**：使用`re`模块的正则表达式替换空格和换行符。

   import re
   cleaned_data = re.sub(r'\s+', '', merged_data)  # 删除多余空白

- **去除特殊字符或非字母数字字符**：可以用`string`库的`punctuation`去除标点，或者使用`translate()`方法转换编码表。

   translator = str.maketrans('', '', string.punctuation)
   cleaned_data = cleaned_data.translate(translator)

- **分词处理**：如果需要对文本进行单词级别的清洗，可以使用`split()`函数拆分，然后过滤掉空词。

4. **保存清洗后的文件**：最后将清洗后的文本保存到新的TXT文件中。

with open('cleaned_data.txt', 'w') as f:
    f.write(cleaned_data)