编写python代码,爬取佛山市人社局官网政策信息
时间: 2024-03-02 19:41:36 浏览: 110
Python爬取当当、京东、亚马逊图书信息代码实例
以下是一个简单的Python代码示例,用于从佛山市人社局官网上爬取政策信息:
```python
import requests
from bs4 import BeautifulSoup
url = "http://rsj.foshan.gov.cn/zwgk/zcwj/tzgg/index.html"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
policy_list = soup.find_all("div", {"class": "news_list"})[0].find_all("li")
for policy in policy_list:
title = policy.find_all("a")[0].text.strip()
link = "http://rsj.foshan.gov.cn" + policy.find_all("a")[0]["href"]
date = policy.find_all("span")[0].text.strip()
print(title, link, date)
```
该代码会从佛山市人社局官网上爬取政策信息页面的URL,并使用requests模块发送HTTP请求。接着,使用BeautifulSoup模块解析HTML文档,并找到政策信息列表。最后,遍历政策列表,获取政策标题、链接和发布日期,并输出到控制台。
请注意,该代码示例仅供参考。在实际使用中,您需要遵守网站的使用协议和法律法规,避免对目标网站造成不必要的影响。
阅读全文