pandas处理csv文件时，缓存不够

当你在使用Pandas库处理CSV文件时，如果数据量非常大，可能会遇到内存不足的问题，因为Pandas试图将整个DataFrame加载到内存中。这可能导致`MemoryError`。为了解决这个问题，Pandas提供了一些选项来管理数据的读取过程：

1. **分块读取**（`pd.read_csv()`的`chunksize`参数）：可以设置每次只读取一部分数据，然后逐块处理，这样可以减少一次性加载的数据量。

chunk_size = 100_000  # 每次读取10万行
chunks = []
for chunk in pd.read_csv('big_file.csv', chunksize=chunk_size):
    # 对每个chunk进行操作
    process(chunk)

2. **智能内存优化**（`pd.read_csv()`的`memory_map`参数）：如果你只需要对文件进行随机访问，而不是遍历所有行，可以使用`memory_map=True`。这会创建一个文件映射，使得读取操作像读取内存中的数组一样高效，但是写入时需要小心，因为修改会被持久化到磁盘。

3. **Dask DataFrame** 或 `pandas.concat()`：对于更大的数据集，可以考虑使用Dask DataFrame，它可以在多个CPU或节点上并行处理数据，或者通过逐步合并小数据帧来处理大型CSV。

4. **存储优化**：如果数据允许，考虑压缩CSV文件，或者选择其他更节省空间的文件格式，如 Feather、Parquet等。