dataframe去重

可以使用 pandas 库来对 dataframe 进行去重。具体操作可以使用 drop_duplicates() 函数，例如：

import pandas as pd

# 创建一个 dataframe
df = pd.DataFrame({'A': ['a', 'b', 'a'], 'B': [1, 2, 1]})

# 对 dataframe 进行去重
df = df.drop_duplicates()

# 输出去重后的 dataframe
print(df)

输出结果为：

   A  B
0  a  1
1  b  2

其中，drop_duplicates() 函数默认会对所有列进行去重，如果只想对指定的列进行去重，可以通过传递 subset 参数来实现，例如：

# 对指定列进行去重
df = df.drop_duplicates(subset=['A'])

相关问题

dataframe 去重

DataFrame 去重可以使用 `drop_duplicates()` 方法。该方法返回一个去重后的 DataFrame。

示例代码：

import pandas as pd

# 创建一个包含重复数据的 DataFrame
data = {
    'A': [1, 2, 3, 4, 4],
    'B': ['a', 'b', 'c', 'd', 'd']
}
df = pd.DataFrame(data)

# 去重
df = df.drop_duplicates()

print(df)

输出结果：

   A  B
0  1  a
1  2  b
2  3  c
3  4  d

pyspark dataframe去重

以下是使用pyspark dataframe进行去重的方法：

1. 使用dropDuplicates()方法去除重复行：

df.dropDuplicates().show()

2. 使用distinct()方法去除重复行：

df.distinct().show()

3. 使用groupBy()和agg()方法去除重复行：

df.groupBy(df.columns).agg(func.count('*').alias('count')).filter('count = 1').select(df.columns).show()