Python爬虫谷歌ChromeF12抓包过程原理解析_Python抓包爬虫 - CSDN文库

140 浏览量更新于2023-03-03 评论 1 收藏 144KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python爬虫谷歌爬虫谷歌Chrome F12抓包过程原理解析抓包过程原理解析

主要介绍了Python爬虫谷歌Chrome F12抓包过程原理解析,文中通过示例代码介绍的非常详细，对大家的学习

或者工作具有一定的参考学习价值,需要的朋友可以参考下

浏览器打开网页的过程就是爬虫获取数据的过程，两者是一样一样的。浏览器渲染的网页是丰富多彩的数据集合，而爬虫得到

的是网页的源代码htm有时候，我们不能在网页的html代码里面找到想要的数据，但是浏览器打开的网页上面却有这些数据。

这就是浏览器通过ajax技术异步加载（偷偷下载）了这些数据。

大家禁不住要问：那么该如何看到浏览器偷偷下载的那些数据呢？

答案就是谷歌Chrome浏览器的F12快捷键，也可以通过鼠标右键菜单“检查”（Inspect）打开Chrome自带的开发者工具，开发

者工具会出现在浏览器网页的左侧或者是下面（可调整），它的样子就是这样的：

让我们简单了解一下它如何使用：

谷歌谷歌Chrome抓包抓包:1. 最上面一行菜单最上面一行菜单

左上角箭头用来点击查看网页的元素

第二个手机、平板图标是用来模拟移动端显示网页

Elements 查看渲染后的网页标签元素

提醒是渲染后（包括异步加载的图片、数据等）的完整网页的html，不是最初下载的那个html。

Console 查看JavaScript的console log信息，写网页时比较有用

Sources 显示网页源码、CSS、JavaScript代码

Network 查看所有加载的请求，对爬虫很有帮助

后面的暂且不管。

谷歌谷歌Chrome抓包抓包:2. 重要区域重要区域

图中红框的两个按钮比较有用，编号为2的是清空请求记录；编号3的是保持记录，这在网页有重定向的时候很有用

图中绿色区域就是加载完整个网页，浏览器的全部请求记录，包括网址、状态、类型等。写爬虫时，我们就要在这里寻找线

索，提炼金矿。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论0

weixin_38641366

粉丝: 4
资源: 893

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈