x = train['contents_clean'][:10000] y = train['label'][:10000] x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.2) vec = TfidfVectorizer(ngram_range=(1, 2)) ####考虑二维的特征 临近的两个特征组合 X_train_vec = vec.fit_transform(x_train) X_test_vec = vec.transform(x_test) display(X_train_vec, X_test_vec) from sklearn.feature_selection import SelectKBest X_train_vec = X_train_vec.astype(np.float32) X_test_vec = X_test_vec.astype(np.float32) selector = SelectKBest(f_classif, k=min(20000, X_train_vec.shape[1])) selector.fit(X_train_vec, y_train) X_train_vec = selector.transform(X_train_vec) X_test_vec = selector.transform(X_test_vec) print(X_train_vec.shape, X_test_vec.shape)

这段代码是一个经典的文本分类流程，具体来说：

- 首先，从 `train` 数据集中选择前 10000 条数据作为训练集，分别将文本和标签存储在 `x` 和 `y` 变量中。
- 然后，使用 `train_test_split` 函数将训练集划分为训练集和测试集，其中测试集大小为训练集大小的 20%。
- 接下来，使用 `TfidfVectorizer` 对文本进行特征提取，其中 `ngram_range=(1, 2)` 表示提取单个词和二元组合的词作为特征。文本特征提取后，将训练集和测试集的特征向量分别存储在 `X_train_vec` 和 `X_test_vec` 变量中。
- 然后，使用 `SelectKBest` 进行特征选择，选择最相关的前 20000 个特征。这里使用的是 `f_classif` 评价函数，该函数计算每个特征与目标变量之间的方差比值（ANOVA F-value）。
- 最后，将训练集和测试集的特征向量转换为经过特征选择后的特征向量，并打印出它们的形状。

这段代码的目的是为了将原始的文本数据转换为可以用于机器学习模型训练的特征向量，并选择最相关的特征，以提高模型的性能。