如何利用python从含有多个txt文件的文件夹中用分层抽样抽取样本

在Python中，你可以使用`os`模块来遍历文件夹，`random`模块来进行随机抽样，以及`pandas`库处理文本数据。以下是分层抽样的步骤：

1. 首先，导入必要的库：

import os
import random
import pandas as pd

2. 定义函数来读取txt文件并将其内容合并到一个列表中，这里假设所有txt文件都有相同的结构：

def read_files_in_folder(folder_path):
    file_list = []
    for filename in os.listdir(folder_path):
        if filename.endswith('.txt'):
            with open(os.path.join(folder_path, filename), 'r') as f:
                file_list.append(f.read())
    return file_list

3. 确定每个层级的抽样比例。例如，如果想从每个层级抽取10%的样本，你需要有各个层级的数据分布信息。

4. 创建一个字典，存储各层级的文件路径和对应的权重（比如，如果第一层级有100个文件，第二层级有50个，权重可以设置为100和50）：

level_weights = {
    # 第一层级的文件夹路径：权重
    'level1': 100,
    'level2': 50,  # 请替换为你实际的层级和权重
}

# 按照权重计算总体样本数
total_samples = sum(level_weights.values())

# 分层抽样函数
def stratified_sampling(file_list, weights):
    sampled_files = {}
    for level, weight in weights.items():
        sample_size = int(weight * total_samples / sum(weights.values()))
        sampled_files[level] = random.sample(file_list[level_weight_dict[level]], sample_size)
    return sampled_files

5. 使用上述函数抽样，并保存结果：

folder_path = 'your_file_folder_path'  # 替换为你的文件夹路径
all_data = read_files_in_folder(folder_path)

level_weight_dict = {key: len(value) for key, value in level_weights.items()}  # 计算每个层级的实际文件数量

sampled_data = stratified_sampling(all_data, level_weights)

6. 最后，你可以将抽样后的数据转换成DataFrame，方便进一步处理：

df_sample = pd.DataFrame({
    'level': list(sampled_data.keys()),
    'data': sampled_data.values()
})