pandas list去重

在pandas中，可以使用drop_duplicates()方法对列表进行去重操作。drop_duplicates()方法会返回一个去重后的新列表。

下面是使用drop_duplicates()方法进行列表去重的示例代码：

import pandas as pd

# 创建一个包含重复元素的列表
data = [1, 2, 3, 2, 4, 3, 5]

# 将列表转换为pandas的Series对象
series = pd.Series(data)

# 使用drop_duplicates()方法进行去重
new_series = series.drop_duplicates()

# 打印去重后的结果
print(new_series)

运行以上代码，输出结果为：

0    1
1    2
2    3
4    4
6    5
dtype: int64

可以看到，重复的元素被去除，得到了一个去重后的新列表。

相关问题

python pandas 数据去重

在Python中，使用pandas库可以很方便地进行数据去重操作。下面是三种常见的方法：

1. 使用`drop_duplicates`方法：这个方法适用于DataFrame格式的数据，可以去除指定列下的重复行。具体代码如下：

import pandas as pd

# 读取数据
df = pd.read_excel('666.xlsx')

# 去重
df.drop_duplicates(subset=['ASIN'], keep='first', inplace=True)

# 打印去重后的数据
print(df)

引用自

2. 使用`drop_duplicates`方法：这个方法同样适用于DataFrame格式的数据。具体代码如下：

import pandas as pd

# 读取数据
csv = pd.read_csv('E:/aaa/03.csv', low_memory=False, error_bad_lines=False)
df = pd.DataFrame(csv)

# 打印原始数据行数
print(df.shape)

# 去重
f = df.drop_duplicates(keep=False)

# 打印去重后的数据行数
print(f.shape)

# 将去重后的数据写入新文件
f.to_csv('E:/aaa/distionct_03.csv', index=None)

引用自

总结起来，以上两种方法都是使用pandas的`drop_duplicates`方法来进行数据去重。第一种方法是针对Excel文件，第二种方法是针对CSV文件。根据你的具体需求选择其中的一种方法即可。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [pandas怎么去除数据中的重复值](https://blog.csdn.net/Leexin_love_Ling/article/details/114024136)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [python数据去重（pandas）](https://blog.csdn.net/qq_39012566/article/details/98633780)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]

pandas 根据一列去重

可以使用Pandas中的unique()方法来根据一列去重。例如，假设我们有一个名为df的数据框，其中包含一列名为“c1”，我们可以使用以下代码来根据“c1”列去重：

df['c1'].unique()

这将返回一个包含唯一值的numpy数组。如果需要将其转换为Python列表，可以使用tolist()方法。如果需要根据“c1”列的唯一值来过滤数据框，则可以使用以下代码：

df[df['c1'].isin(df['c1'].unique())]

这将返回一个新的数据框，其中包含根据“c1”列去重后的唯一值。