python爬取交通流量数据代码
时间: 2023-09-26 11:08:17 浏览: 102
以下是一个使用 Requests 库和 Beautiful Soup 库爬取交通流量数据的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 构造请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送 GET 请求并获取响应
url = 'http://www.example.com/traffic'
response = requests.get(url, headers=headers)
# 解析 HTML 页面
soup = BeautifulSoup(response.text, 'html.parser')
# 提取交通流量数据
data = []
for row in soup.find_all('tr'):
cols = row.find_all('td')
if len(cols) == 4:
date = cols[0].text
time = cols[1].text
location = cols[2].text
volume = cols[3].text
data.append((date, time, location, volume))
# 输出数据
for d in data:
print(d)
```
在这个例子中,我们向一个名为 `www.example.com` 的网站发送了一个请求,并使用 BeautifulSoup 库解析 HTML 页面。然后,我们从 HTML 页面中提取了交通流量数据,并将其保存在一个列表中。最后,我们遍历列表并输出数据。
需要注意的是,这只是一个示例代码,实际的代码可能因为具体网站和数据结构的不同而有所不同。同时,在爬取数据时需要遵守网站的 robots.txt 规则和法律法规,以避免侵犯他人的权益。
阅读全文