用Python怎么将大型csv文件输入
时间: 2023-04-07 17:01:36 浏览: 81
Python写入CSV文件的方法
你可以使用Python中的pandas库来处理大型csv文件。使用pandas库中的read_csv()函数可以将csv文件读入到pandas的DataFrame对象中。如果文件太大,可以使用chunksize参数来分块读取文件。例如:
import pandas as pd
chunksize = 1000000 # 每次读取100万行数据
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
# 处理每个数据块
# ...
这样可以避免一次性读取整个文件导致内存溢出的问题。
阅读全文