Python优化减少样本量

在数据处理和机器学习中，样本量的大小直接影响到计算复杂度和模型的训练时间。有时候，尤其是在资源有限或者需要快速原型开发的情况下，我们可能需要优化减少样本量。以下是一些在Python中减少样本量的常用方法：

1. **随机采样（Random Sampling）**：可以使用numpy库中的`numpy.random.choice`函数来从数据集中随机抽取样本来减少样本量。这种方法简单快捷，但可能会丢失一些重要特征。

示例代码：

   import numpy as np

   # 假设 dataset 是一个数据集
   original_size = len(dataset)
   reduced_size = original_size // 10  # 减少到原来的1/10
   sampled_indices = np.random.choice(original_size, reduced_size, replace=False)
   reduced_dataset = dataset[sampled_indices]

2. **分层采样（Stratified Sampling）**：如果数据集具有分类特征，并且我们希望在减少样本时保持类别比例不变，可以使用分层采样。这可以通过`sklearn.model_selection.train_test_split`函数实现，其中设置`stratify`参数。

示例代码：

   from sklearn.model_selection import train_test_split

   # 假设 dataset 是一个包含特征和标签的数据集
   X = dataset.iloc[:, :-1]
   y = dataset.iloc[:, -1]

   X_train, _, y_train, _ = train_test_split(X, y, train_size=reduced_size, stratify=y)
   reduced_dataset = pd.concat([X_train, y_train], axis=1)

3. **聚类算法（Clustering Algorithms）**：可以使用K-均值聚类等算法对数据集进行聚类，然后选择每个聚类的中心点或者代表性样本。这样可以大大减少样本数量，同时尽量保留数据的多样性。

示例代码：

   from sklearn.cluster import KMeans

   # 假设 dataset 是一个数据集
   kmeans = KMeans(n_clusters=reduced_size)
   kmeans.fit(dataset)
   labels = kmeans.labels_
   centroids = kmeans.cluster_centers_

   reduced_dataset = pd.DataFrame(centroids, columns=dataset.columns)