Python爬虫爬虫BS4库的解析器正确使用方法库的解析器正确使用方法
bs4库之所以能快速的定位我们想要的元素,是因为他能够用一种方式将html文件解析了一遍 ,不同的解析器有不同的效果。
下文将一一进行介绍。
bs4解析器的选择解析器的选择
网络爬虫的最终目的就是过滤选取网络信息,最重要的部分可以说是解析器。解析器的优劣决定了爬虫的速度和效率。bs4库
除了支持我们上文用过的‘html.parser’解析器外,还支持很多第三方的解析器,下面我们来对他们进行对比分析。
bs4库官方推荐我们使用的是lxml解析器,原因是它具有更高的效率,所以我们也将采用lxml解析器。
PS注意:很多人学Python过程中会遇到各种烦恼问题,没有人解答容易放弃。为此小编建了个Python全栈免费答疑.裙 :七
衣衣九七七巴而五(数字的谐音)转换下可以找到了,不懂的问题有老司机解决里面还有最新Python实战教程免非下,,一起
相互监督共同进步!
lxml解析器的安装:解析器的安装:
依旧采用pip安装工具来安装:
$ pip install lxml
注意,由于我用的是unix类系统,用pip工具十分的方便,但是如果在windows下安装,总是会出现这样或者那样的问题,这里
推荐win用户去lxml官方,下载安装包,来安装适合自己系统版本的lxml解析器。
使用使用lxml解析器来解释网页解析器来解释网页
我们依旧以上一篇的 爱丽丝文档 为例子
html_doc = """
The Dormouse's story
Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.
...
"""
试一下吧:
import bs4
#首先我们先将html文件已lxml的方式做成一锅汤
soup = bs4.BeautifulSoup(open('Beautiful Soup 爬虫/demo.html'),'lxml')
#我们把结果输出一下,是一个很清晰的树形结构。
#print(soup.prettify())
'''
OUT:
The Dormouse's story
Once upon a time there were three little sisters; and their names were
Elsie
,
Lacie
and
评论10