使用numpy的memmap函数连接df

可以使用numpy的memmap函数来将一个pandas DataFrame对象转换为一个memmap对象，并且能够在不将整个对象加载到内存中的情况下对其进行操作。以下是一个简单的示例，展示如何使用memmap函数连接两个DataFrame对象：

import numpy as np
import pandas as pd

# 创建两个DataFrame对象
df1 = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
df2 = pd.DataFrame({'A': [7, 8, 9], 'B': [10, 11, 12]})

# 将DataFrame对象转换为memmap对象
arr1 = np.memmap('df1.dat', dtype='int32', mode='w+', shape=df1.shape)
arr2 = np.memmap('df2.dat', dtype='int32', mode='w+', shape=df2.shape)

# 将DataFrame对象的数据写入memmap对象
arr1[:] = df1.values[:]
arr2[:] = df2.values[:]

# 连接两个memmap对象
arr3 = np.memmap('df3.dat', dtype='int32', mode='w+', shape=(df1.shape[0] + df2.shape[0], df1.shape[1]))
arr3[:df1.shape[0], :] = arr1[:]
arr3[df1.shape[0]:, :] = arr2[:]

# 将结果转换为DataFrame对象
df3 = pd.DataFrame(arr3, columns=['A', 'B'])

在上面的示例中，我们首先创建了两个DataFrame对象df1和df2。然后，我们使用numpy的memmap函数将它们转换为两个memmap对象arr1和arr2，并将它们的数据写入到磁盘上的文件中。接下来，我们使用memmap函数创建一个空的memmap对象arr3，它的形状为两个输入DataFrame对象的行数之和和列数相同。最后，我们将arr1和arr2的数据复制到arr3中，并将arr3转换为一个新的DataFrame对象df3。