爬取http://www.cdt-kxjs.com/scientific/research/14972.html
时间: 2023-06-23 20:04:51 浏览: 54
好的,这个网页是一个科研项目的介绍页面,我们可以使用 Python 中的 requests 和 BeautifulSoup 库进行页面爬取和解析。
首先,我们需要安装 requests 和 BeautifulSoup 库:
```shell
pip install requests
pip install beautifulsoup4
```
然后,我们可以编写 Python 代码来实现页面爬取和解析:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送 GET 请求,获取页面内容
url = 'http://www.cdt-kxjs.com/scientific/research/14972.html'
response = requests.get(url, headers=headers)
# 解析页面内容
soup = BeautifulSoup(response.text, 'html.parser')
# 获取项目名称
title = soup.select_one('div.title > h2').text.strip()
print(title)
# 获取项目负责人
leader = soup.select_one('div.author > span:nth-child(2)').text.strip()
print(leader)
# 获取项目来源和时间
source_time = soup.select_one('div.author > span:nth-child(4)').text.strip()
print(source_time)
# 获取项目简介
summary = soup.select_one('div.introduction > p').text.strip()
print(summary)
```
代码中,我们首先设置了请求头,模拟浏览器请求,然后发送 GET 请求,获取页面内容。接着,我们使用 BeautifulSoup 库解析页面内容,使用 CSS 选择器来获取页面中的项目名称、项目负责人、项目来源和时间以及项目简介,并输出结果。
需要注意的是,在实际爬取中,我们需要对页面中的数据进行一些清洗和处理,确保数据的准确性和完整性。此外,我们也需要遵守网站的爬取规则,确保不会对网站造成不必要的影响。
相关推荐
![jar](https://img-home.csdnimg.cn/images/20210720083455.png)
![jar](https://img-home.csdnimg.cn/images/20210720083455.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)