pandas读取大型csv文件

当处理大型CSV文件时，使用Pandas库可以提高数据的读取和处理效率。以下是一些处理大型CSV文件的最佳实践：

1. 使用chunksize参数：

Pandas提供了一个chunksize参数，它可以将大型CSV文件拆分为多个小的DataFrame对象，从而减少内存的使用量。

import pandas as pd

chunksize = 100000
for chunk in pd.read_csv('large.csv', chunksize=chunksize):
    process(chunk)

2. 指定数据类型：

在读取大型CSV文件时，Pandas默认会尝试猜测每一列的数据类型，这可能会导致内存的浪费。为了避免这种情况，我们可以指定每一列的数据类型。

import pandas as pd

dtype = {'column1': 'int32', 'column2': 'float32', 'column3': 'category'}
df = pd.read_csv('large.csv', dtype=dtype)

3. 选择需要读取的列：

如果你只需要处理CSV文件中的一部分列，可以使用usecols参数。

import pandas as pd

usecols = ['column1', 'column2']
df = pd.read_csv('large.csv', usecols=usecols)

4. 使用压缩文件：

如果你的CSV文件非常大，可以考虑使用压缩文件，如gzip或bz2，以减少文件大小。

import pandas as pd

df = pd.read_csv('large.csv.gz', compression='gzip')

以上是一些处理大型CSV文件的最佳实践，可以根据你的需求进行选择和组合。