pandas读csv，用不确定数量的空格分割全文，删除重复的行

可以使用pandas的read_csv函数来读取csv文件，并通过指定分隔符参数来实现不确定数量的空格分割全文。具体代码如下：

import pandas as pd

# 读取csv文件
df = pd.read_csv('filename.csv', sep='\s+', header=None)

# 删除重复行
df.drop_duplicates(inplace=True)

其中，`sep='\s+'`表示使用一个或多个空格作为分隔符，`header=None`表示不使用文件中的第一行作为列名，`drop_duplicates(inplace=True)`表示直接在原数据上删除重复行。