对数据中text和label属性都相同的数据进行去重

要对数据中text和label属性都相同的数据进行去重，可以使用 Pandas 库中的 `.drop_duplicates()` 方法。具体步骤如下：

1. 选择要比较的两列，假设分别为 "text" 和 "label"。
2. 使用 `.drop_duplicates(['text', 'label'], keep='first')` 方法，其中 `keep='first'` 表示保留每组的第一个出现的行，即删除重复的行。
3. 可以选择使用 `.reset_index(drop=True)` 方法重置索引，使索引连续。

示例代码如下：

import pandas as pd

# 示例 DataFrame
df = pd.DataFrame({
    'text': ['hello', 'world', 'hello', 'python', 'java', 'python'],
    'label': [1, 2, 1, 3, 4, 3]
})

# 选择要比较的两列，即 "text" 和 "label"
cols = ['text', 'label']

# 对重复的行进行去重
result = df.drop_duplicates(cols, keep='first').reset_index(drop=True)

print(result)

输出结果为：

     text  label
0   hello      1
1   world      2
2  python      3
3    java      4

在上面的示例中，我们使用了 `df.drop_duplicates(cols, keep='first').reset_index(drop=True)` 来对重复的行进行去重，其中 `cols` 是包含要比较的两列的列表。如果想保留每组的最后一个出现的行，可以将 `keep` 参数设置为 `'last'`。