pandas删除excel的重复行

要使用pandas库删除Excel文件中的重复行，你可以按照以下步骤进行：

1. **导入Pandas库**[^1]:

   import pandas as pd

2. **加载Excel数据**:

   excel_file = pd.read_excel('your_excel_file.xlsx')

3. **识别并标记重复行**:
使用`duplicated()`函数标记重复行，可以根据特定列（如`subset=['column_name']`)来指定哪些列参与判断重复。默认情况下，`keep='first'`表示保留每个唯一组合的第一条记录，其余为重复。

   df['is_duplicate'] = excel_file.duplicated(subset=['column_name'], keep=False)

4. **删除重复行**:
如果你想删除重复行，可以基于上述标记的`is_duplicate`列筛选非重复行：

   cleaned_df = excel_file[~excel_file['is_duplicate']]

5. **保存更新后的数据**:

   cleaned_df.to_excel('new_cleaned_file.xlsx', index=False)

或者，如果你想保留原始文件并创建一个新的副本，可以这样写：

   cleaned_df.to_excel('original_file_with_duplicates_removed.xlsx', 'Sheet2', index=False)