python数据预处理实例

以下是一个简单的Python数据预处理实例，包括数据清洗、特征选择和特征缩放：

数据清洗：

import pandas as pd

# 读取数据
df = pd.read_csv('data.csv')

# 删除缺失值
df.dropna(inplace=True)

# 删除重复值
df.drop_duplicates(inplace=True)

特征选择：

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2

# 选择最好的K个特征
X = df.iloc[:,:-1] # 特征矩阵
y = df.iloc[:,-1] # 目标向量
selector = SelectKBest(chi2, k=5)
selector.fit(X, y)
X_new = selector.transform(X)

特征缩放：

from sklearn.preprocessing import MinMaxScaler

# 将特征缩放到0-1之间
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X_new)

相关问题

python数据预处理超市实例

在超市数据预处理的实例中，我们将使用Python来处理和分析超市销售数据。假设我们有一个包含以下信息的数据集：

- 日期：销售发生的日期
- 商品：销售的商品名称
- 价格：每个商品的价格
- 数量：每个商品的销售数量
- 销售额：每个商品的总销售额

首先，我们需要导入所需的库：

import pandas as pd

接下来，我们将从CSV文件中加载超市销售数据集：

data = pd.read_csv('sales_data.csv')

接下来，我们可以查看数据集的前几行，以确保数据正确加载：

print(data.head())

接下来，让我们进行一些常见的数据预处理任务。

1. 缺失值处理：检查并处理数据集中的缺失值。可以使用`fillna()`函数替换缺失值或使用`dropna()`函数删除包含缺失值的行。

data = data.fillna(0)  # 使用0填充缺失值

2. 数据类型转换：根据需要，将某些列转换为适当的数据类型，如日期或数字。

data['日期'] = pd.to_datetime(data['日期'])  # 将日期列转换为日期类型
data['销售额'] = data['销售额'].astype(float)  # 将销售额列转换为浮点数类型

3. 数据过滤：根据特定条件过滤数据集中的行或列。例如，我们可以仅保留销售额大于100的行：

data = data[data['销售额'] > 100]

4. 数据排序：根据某个列对数据集进行排序。例如，我们可以按销售额降序排序：

data = data.sort_values(by='销售额', ascending=False)

5. 数据合并：如果有多个数据集，可以使用某些列作为键将它们合并在一起。例如，我们可以将两个数据集按日期进行合并：

data2 = pd.read_csv('sales_data2.csv')
merged_data = pd.merge(data, data2, on='日期')

这些是一些常见的数据预处理任务，可以根据具体情况进行调整和扩展。希望这个超市销售数据预处理的实例能对你有所帮助！