python3爬虫获取html内容及各属性值的方法_python爬虫获取属性

2.9k 浏览量更新于2023-05-27 评论收藏 35KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

python3爬虫获取爬虫获取html内容及各属性值的方法内容及各属性值的方法

今天小编就为大家分享一篇python3爬虫获取html内容及各属性值的方法，具有很好的参考价值，希望对大家有

所帮助。一起跟随小编过来看看吧

今天用到BeautifulSoup解析爬下来的网页数据

首先导入包from bs4 import BeautifulSoup

然后可以利用urllib请求数据

记得要导包记得要导包

import urllib.request

然后调用urlopen，读取数据

f=urllib.request.urlopen(‘http://jingyan.baidu.com/article/455a9950bc94b8a166277898.html‘)

response=f.read()

这里我们就不请求数据了，直接用本地的html代码，如下

注意：”'xxx”'是多行注释

#python3

from bs4 import BeautifulSoup

html='''<html>

<head>

<title class='ceshi'>super 哈哈 star</title>

</head>

<body>

天下第一帅

是不是

</p>

</body>

</html>'''

#用BeautifulSoup解析数据 python3 必须传入参数二'html.parser' 得到一个对象，接下来获取对象的相关属性

html=BeautifulSoup(html,'html.parser')

# 读取title内容

print(html.title)

# 读取title属性

attrs=html.title.attrs

print(attrs)

# 获取属性attrs['class'] ---->['ceshi'] 这是一个list 通过下标可以获取值

print(attrs['class'][0])

# 读取body

print(html.body)

读取数据还可以通过BeautifulSoup的select方法

html.select()

#按标签名查找

soup.select('title')

soup.select('body')

# 按类名查找

soup.select('.sister')

# 按id名查找

# p标签中id为link的标签

soup.select('p #link')

#取标签里面的值

soup.p.string

#取标签里属性值通过href获取

html['href']

以上这篇python3爬虫获取html内容及各属性值的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大

家多多支持我们。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

weixin_38725623

粉丝: 4
资源: 943

会员权益专享

python3爬虫获取html内容及各属性值的方法

评论0

会员权益专享

最新资源

python3爬虫获取html内容及各属性值的方法

评论0

写一个Python的爬虫代码

python爬虫xpath提取文本

python编写爬取网页内容

python爬虫数据提取方式——使用pyquery查找元素

用python写个爬取京东五粮液销售数据的代码

爬取<script id="js-initialdata" type="text/json"数据

会员权益专享

最新资源