#1.数据处理 #（1）加载数据 df = pd.read_csv('dev.csv') print(df.head(5)) print(df.shape) 在jupyter中对中文数据集进行数据清洗

在Jupyter Notebook中，对于中文数据集的数据清洗，主要包括以下几个步骤：

1. **加载数据**：
使用Pandas库的`read_csv`函数加载名为'dev.csv'的中文CSV文件。`head(5)`用于查看数据集的前5行，`shape`则显示数据框的行数和列数。

# 加载中文数据
df = pd.read_csv('dev.csv', encoding='utf-8')  # 指定编码为UTF-8，防止乱码
print(df.head())  # 打印前五行
print(df.shape)  # 输出数据框的行数和列数

2. **初步检查**：
确保数据集中没有缺失值（NaNs）或异常值，这可以通过`isnull().sum()` 或 `describe()` 函数查看。

# 初步了解各列是否有缺失值
print(df.isnull().sum())

# 查看基本统计信息
print(df.describe(include='all'))  # 包含所有非数字类型的统计描述

3. **删除或处理缺失值**：
根据实际情况选择处理方法。可以直接删除含有缺失值的记录，或者使用插补法填充（如`fillna`或`ffill/bfill`）。

# 删除含有缺失值的行
df_cleaned = df.dropna()

# 或者使用均值、众数填充缺失值
df_filled = df.fillna(df.mean())

4. **异常值检测与处理**：
可能需要通过可视化（例如箱线图）找出异常值并进行修正或替换。

plt.boxplot(df['column_to_check'])

5. **数据类型转换**：
将非数字字段（如日期、文本）转换为适合进一步分析的形式。例如，日期可能需要转化为日期时间格式。

df['date_column'] = pd.to_datetime(df['date_column'])

6. **文本数据预处理**：
对中文文本进行分词、去停用词、词干提取或使用LDA等主题建模。

import jieba
df['tokens'] = df['text_column'].apply(jieba.lcut)

7. **编码字符串变量**：
对分类变量进行编码，比如one-hot编码。

df = pd.get_dummies(df, columns=['category_column'], drop_first=True)