python如何爬取网页中的文字_python爬取网站里的文档到自己电脑里 - CSDN文库

91 浏览量更新于2023-03-16 评论 2 收藏 47KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

python如何爬取网页中的文字如何爬取网页中的文字

在本篇文章里小编给大家整理的是关于python如何爬取网页中的文字的相关实例内容，需要的朋友们可以学习

下。

用Python进行爬取网页文字的代码：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import requests

import re

# 下载一个网页

url = 'https://www.biquge.tw/75_75273/3900155.html'

# 模拟浏览器发送http请求

response = requests.get(url)

# 编码方式

response.encoding='utf-8'

# 目标小说主页的网页源码

html = response.text

print(html)

1、编写爬虫思路：

确定下载目标，找到网页，找到网页中需要的内容。对数据进行处理。保存数据。

2、知识点说明：

1）确定网络中需要的信息，打开网页后使用F12打开开发者模式。

在Network中可以看到很多信息，我们在页面上看到的文字信息都保存在一个html文件中。点击文件后可以看到response，文

字信息都包含在response中。

对于需要输入的信息，可以使用ctrl+f，进行搜索。查看信息前后包含哪些特定字段。

对于超链接的提取，可以使用最左边的箭头点击超链接，这时Elements会打开有该条超链接的信息，从中判断需要提取的信

息。从下载小说来看，在目录页提取出小说的链接和章节名。

2）注意编码格式

输入字符集一定要设置成utf-8。页面大多为GBK字符集。不设置会乱码。

内容扩展：

接下来我们了解一下爬取网页信息的步骤。

想要获得我们所需的数据分三步

第一步：使用BeautifulSoup解析网页

Soup = BeautifulSoup(html,'lxml')

第二步：描述想要爬去信息的东西在哪里。

信息 = Soup.select('???')

要知道它叫什么名字，如何去定位。

第三步：从标签中获得你想要的信息

<p>Something</p>

从标签中获取我们需要的信息，去掉一些没有用的结构，并且把我们获取的信息按照一定格式装在数据容器中，方便我们去查

询。

以上就是python如何爬取网页中的文字的详细内容，更多关于python爬取网页文字的资料请关注我们其它相关文章！

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论0

weixin_38705762

粉丝: 6
资源: 905

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈