如果我要读一个很大的数据,为什么dataframe跑的很慢,而用dictionary就可以跑的很快
时间: 2023-02-05 12:05:46 浏览: 305
如果你要读一个很大的数据文件,使用 pandas 的 DataFrame 可能会跑的很慢,这是因为 DataFrame 内部是使用二维数组存储数据的,在读取大量数据时,会产生大量的内存开销,从而导致程序运行变慢。
相比之下,使用 dictionary 可能会更快一些,因为 dictionary 内部是使用哈希表存储数据的,在读取大量数据时,内存开销会更小。
但是,dictionary 和 DataFrame 在功能上有很大的差别,dictionary 是一种简单的键值对存储方式,而 DataFrame 则是一种表格形式的数据存储方式,在数据处理方面,DataFrame 拥有更多的功能。
总的来说,在处理大量数据时,应该根据实际情况选择合适的数据存储方式。
阅读全文