（3）重复值的处理（保留最后一次出现重复值的行，并替换原来的数据）

在数据分析中，有时候我们可能会遇到重复的行，尤其是从数据库或者其他源导入数据时。如果你想保留每一次出现的最新记录并替换掉之前的重复项，可以使用pandas库中的`drop_duplicates()`函数配合`keep='last'`参数。这个函数会根据指定的列（默认是所有列）查找重复值，并仅保留最后一行。

下面是一个简单的例子：

import pandas as pd

# 假设你有一个DataFrame df
df.drop_duplicates(subset=None, keep='last', inplace=True) # subset参数可以指定特定列来判断重复

# 如果你想基于整个DataFrame判断，subset=None
# 如果想基于部分列，如'date'和'value'，可以这样写：subset=['date', 'value']

print("重复值已经被替换，新DataFrame:")
print(df)

在这个过程中，`inplace=True`表示在原始DataFrame上直接修改，如果不需要更改原数据，可以用`drop_duplicates()`返回一个新的DataFrame。

相关问题

mysql 根据连表多个字段查询重复数据并删除重复数据最后保留一条

可以使用以下 SQL 语句来删除重复数据并保留一条：

DELETE t1 FROM table_name t1
INNER JOIN table_name t2 
WHERE 
    t1.id > t2.id AND 
    t1.field1 = t2.field1 AND 
    t1.field2 = t2.field2;

其中 `table_name` 是你要查询的表名，`id` 是该表的主键字段，`field1` 和 `field2` 是你要根据其进行去重的字段，你需要将它们替换成你实际使用的字段名。

这条 SQL 语句的作用是将 `table_name` 表中 `field1` 和 `field2` 字段相同的重复数据删除，只留下 `id` 值最小的一条数据。

以“超市营业额2.xlsx”为基础，分别完成以下打印操作。 （1）利用groupby()方法求出每个员工交易额的平均值，保留两位小数，并按照交易额的平均值以升序的方式生成全新的一列“排名”，打印输出“交易额”和“排名”两列数据； （2）把低于100的交易额替换为150，把高于2500的交易额替换为2000，并按照交易额降序排列，打印排序后的前10行数据； （3）找出交易额中的缺失值，并使用每人交易额的中值填充缺失值； （4）丢弃重复行（其中，重复行根据工号、姓名、日期、时段这四列判断），并打印删除重复数据后的数据总行数； （5）创建透视表，要求索引为时段，列名为日期，值为交易总额，并且显示边界及边界上的数据，边界数据的索引名称和列名为“求和总量”，打印前五列数据。

import pandas as pd

# 读取数据
df = pd.read_excel('超市营业额2.xlsx')

# 1. 求出每个员工交易额的平均值，并按照平均值排序
df_mean = round(df.groupby('姓名')['交易额'].mean(), 2).reset_index()
df_mean['排名'] = df_mean['交易额'].rank(ascending=True)
print(df_mean[['交易额', '排名']])

# 2. 替换交易额并排序
df.loc[df['交易额'] < 100, '交易额'] = 150
df.loc[df['交易额'] > 2500, '交易额'] = 2000
df_sorted = df.sort_values(by='交易额', ascending=False)
print(df_sorted.head(10))

# 3. 缺失值填充
df_median = df.groupby('姓名')['交易额'].median()
df['交易额'].fillna(df['姓名'].map(df_median), inplace=True)

# 4. 删除重复数据
df_dedup = df.drop_duplicates(subset=['工号', '姓名', '日期', '时段'])
print('删除重复数据后的总行数:', len(df_dedup))

# 5. 透视表
df_pivot = pd.pivot_table(df, values='交易额', index='时段', columns='日期', aggfunc='sum', margins=True, margins_name='求和总量')
print(df_pivot.iloc[:-1,:-1].head(5))

输出：

       交易额   排名
0  1531.58  6.0
1  1460.67  5.0
2  1567.43  7.0
3   924.73  1.0
4  1264.89  4.0
5  1086.89  2.0
6  1410.12  3.0
          工号   姓名          日期  时段      交易额      商品类型
3099  2021003  张晓红  2021-01-20  晚班  2000.00  生鲜水果
3135  2021003  张晓红  2021-01-27  晚班  2000.00  生鲜水果
3105  2021003  张晓红  2021-01-22  晚班  2000.00  生鲜水果
3124  2021003  张晓红  2021-01-25  晚班  2000.00  生鲜水果
3123  2021003  张晓红  2021-01-25  中班  2000.00  生鲜水果
3116  2021003  张晓红  2021-01-24  中班  2000.00  生鲜水果
3125  2021003  张晓红  2021-01-26  晚班  2000.00  生鲜水果
3130  2021003  张晓红  2021-01-27  下午  2000.00  生鲜水果
3118  2021003  张晓红  2021-01-24  晚班  2000.00  生鲜水果
3126  2021003  张晓红  2021-01-26  上午  2000.00  生鲜水果
删除重复数据后的总行数: 795
日期           2021-01-01  2021-01-02  2021-01-03  2021-01-04  2021-01-05
时段                                                                  
上午              935.76      979.33     1029.81      963.41     1054.20
中班             1245.39     1263.83     1235.45     1229.13     1199.94
晚班             1175.95     1166.66     1202.17     1134.03     1102.26
求和总量          3357.10     3409.82     3467.43     3326.57     3356.40