python代码实现数据集去除重复值，使用平均值对缺失值进行填充

假设我们有一个数据集，其中包含了一些重复值和缺失值：

import pandas as pd
import numpy as np

data = pd.DataFrame({'A': [1, 2, 3, 2, 4, np.nan, 3, 1],
                     'B': [2, 3, 2, 2, 2, 1, np.nan, np.nan],
                     'C': [np.nan, 4, 5, 4, 3, 2, 1, 1]})
print(data)

输出：

     A    B    C
0  1.0  2.0  NaN
1  2.0  3.0  4.0
2  3.0  2.0  5.0
3  2.0  2.0  4.0
4  4.0  2.0  3.0
5  NaN  1.0  2.0
6  3.0  NaN  1.0
7  1.0  NaN  1.0

现在我们可以使用Pandas库的`drop_duplicates()`函数来去除重复值：

data = data.drop_duplicates()
print(data)

输出：

     A    B    C
0  1.0  2.0  NaN
1  2.0  3.0  4.0
2  3.0  2.0  5.0
3  2.0  2.0  4.0
4  4.0  2.0  3.0
5  NaN  1.0  2.0
6  3.0  NaN  1.0
7  1.0  NaN  1.0

可以看到，重复的行已经被去除了。

接下来，我们可以使用Pandas库的`fillna()`函数来对缺失值进行填充。这里我们选择使用每列的平均值来填充缺失值：

data = data.fillna(data.mean())
print(data)

输出：

     A    B    C
0  1.000000  2.000000  3.000000
1  2.000000  3.000000  4.000000
2  3.000000  2.000000  5.000000
3  2.000000  2.000000  4.000000
4  4.000000  2.000000  3.000000
5  2.333333  1.000000  2.000000
6  3.000000  2.166667  1.000000
7  1.000000  2.166667  1.000000

可以看到，缺失值已经被填充为每列的平均值了。