pandas 结合mmap和chunksize

Pandas结合mmap和chunksize可以用于处理大型数据集，以避免内存不足的问题。mmap是Python中的一个模块，它允许将文件映射到内存中，从而可以直接读取和写入文件，而无需将整个文件读取到内存中。

下面是一个使用Pandas结合mmap和chunksize的示例：

import pandas as pd
import numpy as np

# 创建一个大型数据集
df = pd.DataFrame(np.random.randn(1000000, 10))

# 将数据集写入磁盘
df.to_csv('large_dataset.csv', index=False)

# 使用mmap读取磁盘上的数据集
mmap = np.memmap('large_dataset.csv', dtype='float32', mode='r')

# 使用Pandas分块读取数据集
chunksize = 100000
for chunk in pd.read_csv('large_dataset.csv', chunksize=chunksize):
    # 处理数据块
    # ...

在这个示例中，我们首先创建一个大型数据集，并将其写入到磁盘中。然后，我们使用mmap将数据集映射到内存中，以便可以直接从内存中读取数据。接下来，我们使用Pandas的read_csv函数分块读取数据集，并对每个数据块进行处理。这样，我们就可以避免将整个数据集读入内存中，从而可以处理大型数据集。