pandas 一个进程分块读取excel ，另一个对分块后的数据处理，生产者消费者模型

可以使用 Python 的多线程或多进程来实现。

在使用多进程的情况下，你可以创建一个生产者进程来读取 Excel 文件并将数据分块，然后将每一块数据放入队列中。另一个消费者进程从队列中取出数据并对其进行处理。

你也可以使用 Python 的多线程来实现这个模型。在这种情况下，你可以创建一个线程来读取 Excel 文件并将数据分块，然后将每一块数据放入队列中。另一个线程从队列中取出数据并对其进行处理。

无论是使用多进程还是多线程，你都可以使用 Python 的 queue 模块来创建一个队列来传递数据。

例如，你可以使用以下代码来创建一个生产者进程，它将使用 pandas 读取 Excel 文件并将数据分块，然后将每一块数据放入队列中：

import pandas as pd
import queue

def producer(q):
  df = pd.read_excel('file.xlsx', chunksize=1000)
  for chunk in df:
    q.put(chunk)

q = queue.Queue()
p = multiprocessing.Process(target=producer, args=(q,))
p.start()

然后你可以使用以下代码来创建一个消费者进程，它将从队列中取出数据并对其进行处理：

import pandas as pd
import queue

def consumer(q):