爬取城市地铁数据的代码
时间: 2024-09-24 20:17:37 浏览: 42
爬取城市地铁数据通常涉及网络请求、HTML解析和数据存储等步骤。以下是一个简化的Python示例,使用`requests`库获取网页内容,`BeautifulSoup`库解析HTML,然后存储到CSV文件:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 指定要爬取的城市地铁数据网站URL
url = "http://example.com/subway-data"
# 发送GET请求获取网页内容
response = requests.get(url)
content = response.text
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(content, 'html.parser')
# 找到包含地铁数据的部分,这里假设数据在一个表格里
data_table = soup.find('table', {'class': 'subway-data'})
# 提取每一行的数据
rows = data_table.find_all('tr')
data = []
for row in rows:
cols = row.find_all('td')
cols_data = [col.text.strip() for col in cols]
data.append(cols_data)
# 将数据保存到CSV文件
with open('city_subway.csv', 'w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerows(data)
阅读全文