Python3 实现爬取网站下所有URL方式

Python3

URL

196 浏览量更新于2023-03-16 收藏 44KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

Python3 实现爬取网站下所有实现爬取网站下所有URL方式方式

今天小编就为大家分享一篇Python3 实现爬取网站下所有URL方式，具有很好的参考价值，希望对大家有所帮

助。一起跟随小编过来看看吧

获取首页元素信息：获取首页元素信息：

目标 test_URL：http://www.xxx.com.cn/

首先检查元素，a 标签下是我们需要爬取得链接，通过获取链接路径，定位出我们需要的信息

soup = Bs4(reaponse.text, "lxml")

urls_li = soup.select("#mainmenu_top > div > div > ul > li")

首页的URL链接获取：

完成首页的URL链接获取，具体代码如下：

'''

遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！

'''

def get_first_url():

list_href = []

reaponse = requests.get("http://www.xxx.com.cn", headers=headers)

soup = Bs4(reaponse.text, "lxml")

urls_li = soup.select("#mainmenu_top > div > div > ul > li")

for url_li in urls_li:

urls = url_li.select("a")

for url in urls:

url_href = url.get("href")

list_href.append(head_url+url_href)

out_url = list(set(list_href))

for reg in out_url:

print(reg)

遍历第一次返回的结果：遍历第一次返回的结果：

从第二步获取URL的基础上，遍历请求每个页面，获取页面中的URL链接，过滤掉不需要的信息

具体代码如下：

def get_next_url(urllist):

url_list = []

for url in urllist:

response = requests.get(url,headers=headers)

soup = Bs4(response.text,"lxml")

urls = soup.find_all("a")

if urls:

for url2 in urls:

url2_1 = url2.get("href")

if url2_1:

if url2_1[0] == "/":

url2_1 = head_url + url2_1

url_list.append(url2_1)

if url2_1[0:24] == "http://www.xxx.com.cn":

url2_1 = url2_1

url_list.append(url2_1)

else:

pass

else:

pass

else:

pass

else:

pass

url_list2 = set(url_list)

for url_ in url_list2:

res = requests.get(url_)

if res.status_code ==200:

print(url_)

print(len(url_list2))

递归循环遍历：递归循环遍历：

递归实现爬取所有url，在get_next_url()函数中调用自身，代码如下：

get_next_url(url_list2)

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

weixin_38695751

粉丝: 7
资源: 961

会员权益专享

Python3 实现爬取网站下所有URL方式

python网络爬虫爬取整个网页

Python3实现爬取简书首页文章标题和文章链接的方法【测试可用】

python 抓取网页中所有图片

用python代码实现爬取大众点评店铺所有评论

python爬虫递归爬取url

python爬虫scrapy爬取网站

python爬虫爬取音乐_利用python爬虫实现爬取网易云音乐热歌榜

帮我用python写代码爬取网站

写一个Python程序实现爬取豆瓣电影top250

python代码实现爬取豆瓣电影250

python代码实现爬取知乎用户信息

用python代码实现爬取百度热门新闻

python爬虫urllib爬取网站

Python中如何爬取网站数据

pythonpython爬取网站资源

用python写出爬取网站数据

python如何实现爬取一行数据输出一行到excel

用Python编写的爬取网站数据的复杂示例

python 爬虫动态爬取实例

python爬虫翻页爬取前十页

会员权益专享

最新资源