读取一个csv文件，按照100W条为分割，分割一个csv文件

读取CSV文件并按每100万行进行分割通常是为了处理大数据集，避免一次性加载到内存中导致性能问题。你可以使用Python的pandas库来实现这个功能，因为pandas支持分块读取大型数据文件。

以下是使用pandas的一个示例：

import pandas as pd

# 设置分块大小（这里是100万行）
chunksize = 1000000

# 指定CSV文件路径
file_path = 'your_file.csv'

# 使用read_csv函数的iterator选项，逐块读取文件
for chunk in pd.read_csv(file_path, iterator=True, chunksize=chunksize):
    # 对每个数据块执行操作，例如存储到数据库、处理等
    process_data(chunk)

在这个例子中，`process_data`是你需要定义的一个函数，它接收每一部分数据进行处理。如果你需要将每个部分分别保存为单独的文件，可以这样做：

def process_data(chunk):
    chunk.to_csv(f'split_{chunk_index}.csv', index=False)  # chunk_index从0开始计数

每次循环结束后，会生成一个新的CSV文件，每个文件包含100万行数据。