AIS数据清洗的python代码示例
时间: 2023-09-11 17:04:06 浏览: 118
以下是一个基本的 AIS 数据清洗代码示例,使用 pandas 库和正则表达式:
```python
import pandas as pd
import re
# 读取 AIS 数据文件为 DataFrame
df = pd.read_csv('ais_data.csv')
# 清洗数据
# 删除无用列
df = df.drop(columns=['Column1', 'Column2'])
# 重命名列
df = df.rename(columns={'old_name': 'new_name'})
# 删除包含 NaN 值的行
df = df.dropna()
# 删除包含错误值的行
df = df[~df['latitude'].str.contains('[^0-9.-]')]
df = df[~df['longitude'].str.contains('[^0-9.-]')]
# 转换数据类型
df['latitude'] = df['latitude'].astype(float)
df['longitude'] = df['longitude'].astype(float)
df['timestamp'] = pd.to_datetime(df['timestamp'])
# 保存清洗后的数据为 CSV 文件
df.to_csv('cleaned_ais_data.csv', index=False)
```
上述代码中,我们首先使用 pandas 库读取 AIS 数据文件为 DataFrame。然后,我们进行一系列清洗操作,例如删除无用列、重命名列、删除包含 NaN 值和错误值的行,以及将数据类型转换为正确的类型。最后,我们将清洗后的数据保存为 CSV 文件。请注意,这只是一个基本示例,具体的数据清洗操作取决于你的数据和需求。