python爬取cnvd漏洞库信息的实例_怎么样爬取漏洞信息

python

164 浏览量更新于2023-05-04 评论收藏 164KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

python爬取爬取cnvd漏洞库信息的实例漏洞库信息的实例

今天一同事需要整理http://ics.cnvd.org.cn/工控漏洞库里面的信息，一看960多个要整理到什么时候才结束。

所以我决定写个爬虫帮他抓取数据。

看了一下各类信息还是很规则的，感觉应该很好写。

but这个网站设置了各种反爬虫手段。

经过各种百度，还是解决问题了。

设计思路：设计思路：

1.先抓取每一个漏洞信息对应的网页url

2.获取每个页面的漏洞信息

# -*- coding: utf-8 -*-

import requests

import re

import xlwt

import time

from bs4 import BeautifulSoup

headers = {

'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

'Accept-Encoding': 'gzip, deflate, sdch',

'Accept-Language': 'zh-CN,zh;q=0.8',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'

}

cookies={'__jsluid':'8d3f4c75f437ca82cdfad85c0f4f7c25'}

myfile=xlwt.Workbook()

wtable=myfile.add_sheet(u"信息",cell_overwrite_ok=True)

j = 0

a = 900

for i in range(4):

url ="http://ics.cnvd.org.cn/?max=20&offset="+str(a)

r = requests.get(urttp://ics.cnvd.org.cnl,headers=headers,cookies=cookies)

print r.status_code

while r.status_code != 200:

r = requests.get(url,headers=headers,cookies=cookies)

print r.status_code

html = r.text

soup = BeautifulSoup(html)

#print html

for tag in soup.find('tbody',id='tr').find_all('a',href=re.compile('http://www.cnvd.org.cn/flaw/show')):

print tag.attrs['href'] wtable.write(j,0,tag.attrs['href'])

j += 1

a += 20

print u"已完成%s"%(a)

filename=str(time.strftime('%Y%m%d%H%M%S',time.localtime()))+"url.xls"

myfile.save(filename)

print u"完成%s的url备份"%time.strftime('%Y%m%d%H%M%S',time.localtime())

# -*- coding: utf-8 -*-

from selenium import webdriver

import xlrd

import xlwt

from selenium.webdriver.common.by import By

from selenium.webdriver.common.keys import Keys

from selenium.webdriver.support.ui import Select

from selenium.common.exceptions import NoSuchElementException

from selenium.common.exceptions import NoAlertPresentException

import unittest, time, re

class Gk(unittest.TestCase):

def setUp(self):

self.driver = webdriver.Firefox()

self.driver.implicitly_wait(5)

self.verificationErrors = [] self.accept_next_alert = True

def test_gk(self):

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

weixin_38633157

粉丝: 5
资源: 969

会员权益专享

python爬取cnvd漏洞库信息的实例

评论0

会员权益专享

最新资源

python爬取cnvd漏洞库信息的实例

评论0

cnvd漏洞爬虫脚本.zip

cnnvd爬虫，仅供学习参考。

CNVDSpider:使用js爬取CNVD漏洞库共享数据Crawl CNVD shared vulnerabilities with js

python爬取漏洞库.zip

java爬取cnvd漏洞

Java 获取cnvd漏洞

cnvd 提交漏洞是否属于未授权

cnvd漏洞挖掘教程

cnnvd和cnvd的区别

是否避免使用含有已公开漏洞的开源第三方应用组件及代码（漏洞库可参考CVE、CNVD等）

中国常见的漏洞公告平台

cnvd-2018-04757

使用什么工具检测已公开漏洞的开源第三方应用组件及代码（漏洞库可参考CVE、CNVD等）

cnvd-2023-08743

cnvd-2023-59471

是否避免使用含有已公开漏洞的开源第三方应用组件及代码（漏洞库可参考CVE、CNVD等），是检测什么的

cnvd-2021-16886 利用脚本

cnvd爬虫存入表格

cnvd-2023-69477

java编写CNVD在线更新

会员权益专享

最新资源