python爬虫获取http://www.826226.com/lstq/110100_2020_1/网页的天气数据
时间: 2023-07-31 14:06:34 浏览: 123
爬虫 获取最新天气 以及天气日历数据
要爬取http://www.826226.com/lstq/110100_2020_1/网页的天气数据,可以参考以下步骤:
1. 导入必要的库,如requests、BeautifulSoup等。
2. 发送HTTP请求,获取网页的HTML源代码。
3. 使用BeautifulSoup库解析HTML源代码,获取所需的数据。
4. 对获取到的数据进行处理和存储。
以下是一个简单的Python代码示例,用于从http://www.826226.com/lstq/110100_2020_1/网页上获取北京市今天到7天的天气预报:
```python
import requests
from bs4 import BeautifulSoup
# 请求头,模拟浏览器请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 获取HTML源代码
url = 'http://www.826226.com/lstq/110100_2020_1/'
response = requests.get(url, headers=headers)
html = response.content.decode('utf-8')
# 解析HTML源代码,获取所需的数据
soup = BeautifulSoup(html, 'html.parser')
data_list = soup.select('div[class="weather6"] ul')[0].find_all('li')
for data in data_list:
date = data.select('h1')[0].text
weather = data.select('p[class="wea"]')[0].text
temperature = data.select('p[class="tem"]')[0].text
print(date, weather, temperature)
```
该代码会输出形如下面的结果:
```
今天 今天阵雨 22℃ / 13℃
明天 明天多云 19℃ / 10℃
后天 后天多云 18℃ / 9℃
周五 周五晴 19℃ / 9℃
周六 周六多云 17℃ / 10℃
周日 周日多云 20℃ / 10℃
周一 周一多云 21℃ / 12℃
```
阅读全文