pandas删除重复数据 字符串含空格

Pandas是一个强大的数据分析库，用于Python，它提供了一种方便的方式来处理表格数据。当你想要删除DataFrame或Series中的重复数据时，可以使用`drop_duplicates()`函数。这个函数默认会检查每一列是否相等，如果所有列的值都完全一样，就会认为这是一行重复的数据，并将其删除。

例如，如果你有一个包含字符串的DataFrame `df`，其中有些字符串含有空格，你可以这样做：

# 假设 df 是一个 DataFrame
df = df.drop_duplicates(subset='your_column_with_spaces', keep='first') # 'keep' 参数可以选择保留第一份重复（'first'），第二份('last') 或者都不保留('drop')

在这里，`subset` 参数是你想要检查重复的列名，比如 `'your_column_with_spaces'`，如果该列有空格导致的重复。

如果你只想基于某个特定的条件删除重复项，也可以传递一个布尔数组或 Series 到 `keep` 参数：

duplicate_rows = df.duplicated('your_column_with_spaces', keep=False)  # 返回一个布尔数组，标记哪些是重复的
df = df[~duplicate_rows]  # 使用 ~ 运算符取反，选择非重复行

相关问题

pandas字符串去空格

你可以使用 Pandas 中的字符串方法 `str.strip()` 来去除字符串中的空格。这个方法可以应用于 Series 或 DataFrame 中的字符串列。以下是一个示例：

import pandas as pd

# 创建一个包含空格的字符串列
data = {'col1': ['  apple', 'banana  ', '  orange  ']}
df = pd.DataFrame(data)

# 使用 str.strip() 方法去除空格
df['col1'] = df['col1'].str.strip()

print(df)

输出：

     col1
0   apple
1  banana
2  orange

这样，字符串列中的空格就被去除了。你可以根据需要，使用其他 Pandas 字符串方法进行更多的字符串操作。

pandas 去除尾字符串

可以使用pandas中的str.rstrip()方法来去除字符串末尾的指定字符或空格。该方法返回一个新的Series或Index对象，其中每个字符串都被去除了指定的字符或空格。下面是一个例子：

import pandas as pd

# 创建一个包含字符串的Series
s = pd.Series(['apple ', 'banana ', 'orange ', 'pear'])

# 去除字符串末尾的空格
s = s.str.rstrip()

# 输出结果
print(s)

输出结果为：

0     apple
1    banana
2    orange
3      pear
dtype: object

在上面的例子中，我们首先创建了一个包含字符串的Series对象。然后，我们使用str.rstrip()方法去除了每个字符串末尾的空格，并将结果存储回原始的Series对象中。最后，我们输出了结果。