python爬虫爬取CNNVD网页数据
时间: 2023-07-09 10:50:53 浏览: 235
python爬取cnnvd漏洞脚本
这里提供一个使用Python爬虫爬取CNNVD网页数据的示例代码,可以爬取指定漏洞的详细信息:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
# 输入漏洞ID
vul_id = input("请输入漏洞ID:")
# 构造请求url
url = f'http://www.cnnvd.org.cn/web/xxk/ldxqById.tag?CNNVD={vul_id}'
# 发送请求
response = requests.get(url, headers=headers)
# 解析网页
soup = BeautifulSoup(response.text, 'html.parser')
# 获取漏洞信息
vul_name = soup.find('div', {'class': 'detail_xq w770'}).find('h2').text.strip()
vul_level = soup.find('div', {'class': 'detail_xq w770'}).find_all('td')[1].text.strip()
vul_type = soup.find('div', {'class': 'detail_xq w770'}).find_all('td')[3].text.strip()
vul_description = soup.find('div', {'class': 'd_ldjj'}).find('p').text.strip()
# 打印漏洞信息
print('漏洞名称:', vul_name)
print('漏洞等级:', vul_level)
print('漏洞类型:', vul_type)
print('漏洞描述:', vul_description)
```
该代码会首先让用户输入漏洞ID,然后爬取指定漏洞的详细信息,并打印漏洞名称、漏洞等级、漏洞类型和漏洞描述。您可以根据自己的需求修改代码,爬取更多的信息。
阅读全文