jupyter分块读取
时间: 2023-10-14 11:04:40 浏览: 76
在处理大型文件或找出正确的参数集来正确处理大文件时,可以使用分块读取的方法。分块读取是指将文件分成多个小块,逐块进行读取和处理。这样可以减少内存的使用,提高程序的效率。在使用 jupyter 进行分块读取时,可以使用 pandas 库中的相关函数,比如 read_csv、read_excel 等,来读取文件的一部分或按照小块遍历文件。这些函数可以设置一些参数,如索引、类型推断、日期时间解析、迭代和数据清洗等,以满足不同的需求。通过适当地设置这些参数,可以实现对大型文件的有效读取和处理。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [利用python进行数据分析:文本格式数据的读写,分块读入文本文件](https://blog.csdn.net/weixin_46192930/article/details/106539325)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
阅读全文