Python爬虫获取页面所有URL链接过程详解_python爬取网页中网址 - CSDN文库

1星 37 浏览量更新于2023-03-03 评论 3 收藏 46KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python爬虫获取页面所有爬虫获取页面所有URL链接过程详解链接过程详解

如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解

析，提取出所有的URL。

什么是什么是Beautiful Soup？？

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档

为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定

一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。

BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用

Python默认的解析器，lxml 解析器更加强大，速度更快。

全部代码：全部代码：

from bs4 import BeautifulSoup

import time,re,urllib2

t=time.time()

websiteurls={}

def scanpage(url):

websiteurl=url

t=time.time()

n=0

html=urllib2.urlopen(websiteurl).read()

soup=BeautifulSoup(html)

pageurls=[] Upageurls={}

pageurls=soup.find_all("a",href=True)

for links in pageurls:

if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:

Upageurls[links.get("href")]=0

for links in Upageurls.keys():

try:

urllib2.urlopen(links).getcode()

except:

print "connect failed"

else:

t2=time.time()

Upageurls[links]=urllib2.urlopen(links).getcode()

print n,

print links,

print Upageurls[links] t1=time.time()

print t1-t2

n+=1

print ("total is "+repr(n)+" links")

print time.time()-t

scanpage(http://news.163.com/)

利用BeautifulSoup还可以有针对性的获取网页链接：Python爬虫获取网页上的链接，通过beautifulsoup的findall()方法对匹配

的标签进行查找。

您可能感兴趣的文章您可能感兴趣的文章:python爬虫开发之使用python爬虫库requests，urllib与今日头条搜索功能爬取搜索内容实例使用Python

爬虫库requests发送请求、传递URL参数、定制headersPython爬虫 urllib2的使用方法详解python urllib爬虫模块使用解析

Python爬虫:url中带字典列表参数的编码转换方法python爬虫 urllib模块发起post请求过程解析python爬虫 urllib模块url编码处

理详解python爬虫之urllib3的使用示例

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论1

清馥

2021-10-06

下载下来的文件只有预览中的第一页，没有其他内容

weixin_38731979

粉丝: 5
资源: 897

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈