dataframe中列去重

### 如何在 Pandas DataFrame 中删除重复的列

为了处理 DataFrame 中存在相同名称或完全相同的列的情况，可以采用不同的策略来确保数据集中的每一列都是唯一的。

对于具有相同名称的列，在创建 DataFrame 的过程中 Python 只保留最后一个同名键值对[^2]。然而，如果目的是更广泛地识别并移除内容上重复而非仅限于名字上的冲突，则需采取额外措施：

#### 使用转置法去重

一种有效的方法是先将 DataFrame 进行转置操作，这样原本作为列的数据就变成了行；接着利用 `drop_duplicates()` 函数去除这些新形成的“行”间的冗余项；最后再次执行一次转置动作使结构恢复到初始状态。

import pandas as pd 

data = {'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [1, 2, 3]} 
df = pd.DataFrame(data)

# 转置 DataFrame 并应用 drop_duplicates()
df_cleaned = df.T.drop_duplicates().T
print(df_cleaned)

这种方法适用于当两列不仅名字不同但是其内部元素也一一对应相等的情形下实现真正的列级别上去重。

另外，也可以通过比较各列之间的相似度或者哈希值来进行更为复杂的匹配逻辑判断哪些列为重复列，并手动指定保留哪一列而不必依赖简单的转置方式[^4]。