PANDAS中怎么读取速度大于0
时间: 2023-06-20 15:08:31 浏览: 90
pandas-hacks:回购展示了一些精美的熊猫包装
在Pandas中读取速度大于0的数据,可以使用以下方法:
1. 使用read_csv()函数,并传入参数usecols来指定需要读取的列。例如,如果你只需要读取速度大于0的数据,则可以这样写:
```python
df = pd.read_csv('data.csv', usecols=['speed'], dtype={'speed':float}, skiprows=lambda x: x>0 and float(x.split(',')[1])<=0)
```
这里的skiprows参数是一个函数,该函数将跳过第一行(因为第一行是标题行)以及速度小于等于0的行。
2. 如果数据文件中的数据很大,可以考虑使用分块读取的方法,即使用read_csv()函数的chunksize参数来读取数据文件的一部分。例如:
```python
chunks = pd.read_csv('data.csv', usecols=['speed'], dtype={'speed':float}, chunksize=1000000)
df_list = []
for chunk in chunks:
df_list.append(chunk[chunk['speed']>0])
df = pd.concat(df_list)
```
这里的chunksize参数指定每次读取1000000行数据,然后使用一个循环,逐个处理每个数据块,并将速度大于0的行添加到一个列表中。最后,使用concat()函数将所有处理过的数据块合并成一个DataFrame。
阅读全文