pandas分段读取数据

pandas分段读取数据是指在读取大量数据时，将数据集分成几块进行读取，每次处理一小块数据，以避免一次性读入内存导致内存溢出的问题。pandas提供了两种分块读取数据的方法，一种是直接用分块方式读取数据集文件，另一种是使用迭代器逐块读取数据。两种方法各有优劣，可以根据实际需求自行选择。在直接用分块方式读取数据集文件的方法中，可以使用pandas.read_csv()函数，并设置chunksize参数来指定每块数据的大小。例如，df = pandas.read_csv("xxxx.csv",encoding="utf-8",chunksize=300000) #每块数据 30w 行，这样就可以将数据集分成多个块进行读取和处理。