Python爬虫实战：获取并存储苏州天气数据

在本篇关于Python网络爬虫的文章中，主要探讨了如何使用Python爬虫技术抓取特定地区的天气数据，以苏州为例，目标是获取8-15天的天气信息，包括日期、天气状况、温度和风力等，并将这些数据存储到文档中。以下是对整个过程的详细解析和步骤： **问题分析** 1. **网页结构理解**：首先，需要熟悉目标网站（http://www.weather.com.cn/weather/101190401.shtml）的HTML结构。这通常涉及到查看网页源代码，可以通过浏览器的开发者工具（如右键选择“检查”或快捷键F12）来实现。了解网页布局和信息所在的标签结构对于编写爬虫至关重要。 2. **定位信息**：使用BeautifulSoup库，爬虫会寻找特定的id（如id="7d"）和class（如"class_="c7d" 和 "tclearfix"）来定位天气数据所在的元素。通过`find_all('li')`方法，可以获取到包含天气信息的列表。 3. **数据提取**：针对每个天气条目（li标签），需要进一步找到日期（通过`'span'`标签并带有`class_="time"`）、天气状况（`'span'`标签，`class_="wea"`）、温度（可能在其他相关span标签内）以及风力（同样可能需要根据class名定位）的数据。通过`.find()`方法逐一获取这些信息。 4. **遍历与处理**：使用for循环遍历`weathers`列表，对每个天气条目执行上述数据提取，然后将这些信息组合成一个字典或其他结构化数据类型，便于后续存储。 **完整代码示例**： 这部分提供了实际的Python代码片段，展示了如何使用requests库发送HTTP请求获取网页内容，然后通过BeautifulSoup解析HTML。关键代码段如下： ```python # ... (导入所需的库) res = requests.get('http://www.weather.com.cn/weather15d/101190401.shtml') res.encoding = 'utf-8' html = res.text soup = BeautifulSoup(html, 'html.parser') # 找到天气数据部分 weathers = soup.find(id="7d", class_="c7d").find('ul', class_="tclearfix").find_all('li') # 遍历weathers，提取并处理数据 for weather in weathers: # 提取日期、天气、温度和风力等信息 # ... # 存储数据至文档 with open("weather_data.txt", "w", encoding="utf-8") as f: for weather_data in weather_info_list: f.write(str(weather_data) + "\n") # 控制台输出 print("\n控制台：") for i, weather in enumerate(weathers, start=1): print(f"{i}") # 文档中的数据输出 print("\n文档中：") ``` **爬取结果** 这部分可能展示的是爬虫运行时的实际输出，比如控制台中的数据条数和文档中存储的天气数据的数量，以验证爬虫是否成功执行并获取了预期的数据。 总结来说，这篇文章介绍了如何使用Python和BeautifulSoup库，结合HTML解析，从指定URL抓取苏州未来15天的天气信息，并将其保存到文档中。关键在于理解网页结构，定位关键数据元素，以及正确处理和存储爬取到的数据。