将40MB大小TXT文件导入python，对重复数据进行合并求和

可以使用Python内置的`set()`和`defaultdict()`函数来对重复数据进行合并求和。

from collections import defaultdict

# 使用defaultdict来统计每个数出现的次数
count_dict = defaultdict(int)
with open('file.txt', 'r') as f:
    for line in f:
        num = int(line.strip())
        count_dict[num] += 1

# 将结果写入到文件中
with open('output.txt', 'w') as f:
    for num, count in count_dict.items():
        f.write('{}\t{}\n'.format(num, count))

其中，`file.txt`是你要导入的TXT文件的路径，`output.txt`是输出文件的路径。首先使用`defaultdict()`函数创建一个默认值为0的字典`count_dict`，然后遍历文件中的每一行数据，将其转换为整数类型并在`count_dict`中的对应键值加1。最后遍历`count_dict`，将每个数以及它出现的次数写入到输出文件中。