pandas hdf4
时间: 2023-08-15 17:05:46 浏览: 96
对于pandas来说,它的持久化存储方式有多种,包括HDF5和CSV格式。在HDF5格式中,可以使用pandas的HDFStore类来创建与本地H5文件连接的IO对象,并使用store对象的键索引或get()方法来读取指定数据。例如,可以通过以下方式将数据存储到HDF5文件中:
```
import pandas as pd
import numpy as np
import time
store = pd.HDFStore('store.h5')
df = pd.DataFrame(np.random.rand(100000000,5)) # 生成一个1亿行,5列的标准正态分布随机数表
start1 = time.clock()
store['df'] = df # 存储数据到HDF5文件
store.close()
print(f'HDF5存储用时{time.clock()-start1}秒')
```
另外,如果想从HDF5文件中读取数据,可以使用以下两种方式:
```
store = pd.HDFStore('demo.h5')
df1 = store['df'] # 方式1:通过键索引读取数据
df2 = store.get('df') # 方式2:使用get()方法读取数据
df1 == df2
```
除了HDF5格式,还可以使用其他格式来持久化存储数据,比如CSV格式。可以使用pandas的to_csv()方法将数据存储为CSV文件,例如:
```
df.to_csv('df.csv',index=False) # 将数据存储为CSV文件
```
总结起来,pandas可以通过HDF5和CSV格式来实现数据的持久化存储。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [利用pandas读写HDF5文件](https://blog.csdn.net/kyle1314608/article/details/112391780)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
阅读全文