dataframe去除重复行

可以使用 pandas 库中的 drop_duplicates() 函数来去除 dataframe 中的重复行，例如：

import pandas as pd

# 创建一个示例 dataframe
df = pd.DataFrame({'A': [1, 2, 3, 2, 1], 'B': [4, 5, 6, 6, 4]})

# 输出原始 dataframe
print('原始 dataframe：')
print(df)

# 去除重复行
df = df.drop_duplicates()

# 输出去重后的 dataframe
print('去重后的 dataframe：')
print(df)

执行上述代码后，输出结果如下：

原始 dataframe：
   A  B
0  1  4
1  2  5
2  3  6
3  2  6
4  1  4
去重后的 dataframe：
   A  B
0  1  4
1  2  5
2  3  6
3  2  6

可以看到，去重后的 dataframe 中已经没有重复行了。

相关问题

去除dataframe中重复行

在Pandas DataFrame中去除重复行通常有两种常见的方法：

1. **drop_duplicates()** 函数：这个函数可以直接删除DataFrame中的重复行。默认情况下，它会基于所有列的值进行判断。如果你只想基于特定的列去重，可以指定`subset`参数。示例代码如下：

   df.drop_duplicates(inplace=True)

如果你想保留第一次出现的重复行并将之后的删除，可以设置`keep='first'`；如果你想保留最后一次出现的，设置`keep='last'`。

2. **duplicated()** + **loc[]** 或者 **drop_duplicates(subset=None, keep='first', ...)** 的组合：首先使用`duplicated()`函数获取布尔索引，然后选择不重复的数据。示例：

   duplicated_rows = df.duplicated()
   df_no_duplicates = df[~duplicated_rows]

dataframe去重复行

可以使用`drop_duplicates()`方法来去除DataFrame中的重复行。该方法默认会保留第一个出现的重复行，而将后面出现的重复行删除。例如：

import pandas as pd

df = pd.DataFrame({'col1': [1, 2, 2, 3], 'col2': ['a', 'b', 'b', 'c']})
print(df)

# Output:
#    col1 col2
# 0     1    a
# 1     2    b
# 2     2    b
# 3     3    c

df = df.drop_duplicates()
print(df)

# Output:
#    col1 col2
# 0     1    a
# 1     2    b
# 3     3    c

在上述例子中，`drop_duplicates()`方法将DataFrame中的重复行去除，得到了一个新的DataFrame。在处理重复数据时，还可以使用参数来指定保留哪个重复行，或删除所有重复行等操作。具体可以参考官方文档：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html