stream.groupby 去重
时间: 2023-08-23 20:04:22 浏览: 162
stream.x86.zh-cn.dat
你可以使用 `stream.groupby` 来对数据流进行分组,并且可以使用 `drop_duplicates` 方法来去除重复项。下面是一个示例代码:
```python
import pandas as pd
# 创建一个示例数据流
data = [
{'Category': 'A', 'Value': 1},
{'Category': 'B', 'Value': 2},
{'Category': 'A', 'Value': 3},
{'Category': 'B', 'Value': 2},
{'Category': 'C', 'Value': 4}
]
# 将数据流转换为 DataFrame
df = pd.DataFrame(data)
# 使用 groupby 分组,并去除重复项
df_unique = df.groupby('Category').apply(lambda x: x.drop_duplicates()).reset_index(drop=True)
# 打印去重后的结果
print(df_unique)
```
这段代码会将数据流按照 'Category' 列进行分组,然后在每个组内使用 `drop_duplicates` 方法去除重复项。最后,将结果转换为 DataFrame 并打印出来。
阅读全文