python爬取”http://10.0.44.102/AgentProject/Index?branch=%E6%B9%96%E5%8C%97”结果存到excel表里面代码

时间: 2023-03-13 20:31:12 浏览: 98

python制作爬虫并将抓取结果保存到excel中

在本篇【Python制作爬虫并将抓取结果保存到Excel中】的文章中，作者通过实践展示了如何使用Python来抓取拉勾网上的招聘信息并存储到Excel文件中。我们需要理解爬虫的基本工作原理，即分析网站的请求过程。通过浏览器的开发者工具或者专门的网络抓包工具如Fiddler，我们可以观察到网页与服务器之间的交互，特别是POST请求，因为这些通常包含了动态加载的数据。在分析拉勾网的案例中，作者发现两个关键的POST请求——`companyAjax.json`和`positionAjax.json`，它们分别控制着页面内容和招聘信息。要抓取的数据位于`positionAjax.json`的响应中，包括了总页数、总职位数以及具体的职位信息。实现爬虫的步骤如下： 1. **发送请求，获取页面**：使用Python的`requests`库，模仿浏览器发送POST请求。`read_page`函数中，构建了请求头`headers`来伪装成浏览器，设置正确的`POST`数据，并通过`urlopen`获取页面内容。 2. **解析数据**：获取到的页面内容通常是HTML或JSON格式，这里可能是JSON。使用`json.loads()`将JSON字符串转化为Python对象，便于进一步处理。文章中的`read_tag`函数就是用来解析JSON数据，提取出招聘信息。 3. **抓取数据**：Python提供了多种数据抓取工具，如正则表达式`re`、`lxml`的`etree`、`json`和`bs4`的`BeautifulSoup`。根据实际需求选择合适的工具，例如，若数据结构清晰，`json`模块就足够了。在示例中，作者通过遍历JSON解析后的数据，将职位信息提取出来。 4. **保存到Excel**：抓取到数据后，可以使用`pandas`库将数据保存到Excel文件。`pandas`的`DataFrame`对象非常适合处理结构化的数据，并且提供了方便的`to_excel`方法来导出到Excel。例如，创建一个DataFrame，将解析出来的职位信息添加进去，然后调用`to_excel`方法： ```python import pandas as pd # 假设positions是从read_tag函数获取的职位列表 positions = [] # 解析数据并填充positions df = pd.DataFrame(positions) df.to_excel('lagou_jobs.xlsx', index=False) ``` 这样，爬虫抓取的拉勾网职位信息就被保存到了名为`lagou_jobs.xlsx`的Excel文件中，方便后续分析和使用。总结，Python爬虫涉及的关键知识点包括： - 分析HTTP请求和响应，了解网页动态加载机制。 - 使用`requests`库进行HTTP请求，模拟浏览器行为。 - JSON解析，利用`json`库处理API返回的数据。 - 数据抓取技术，如正则表达式、`BeautifulSoup`、`lxml`等。 - `pandas`库的使用，特别是`DataFrame`对象和`to_excel`方法，用于数据处理和导出到Excel。以上就是使用Python制作爬虫抓取拉勾网信息并保存到Excel的详细步骤和相关技术，希望对读者的Python爬虫学习有所帮助。

可以使用Python的Pandas库来爬取该网页，并把结果存储到Excel表格中。可以参考这段代码：import pandas as pdimport requestsurl = 'http://10.0.44.102/AgentProject/Index?branch=湖北'r = requests.get(url)data = r.json()df = pd.DataFrame(data)df.to_excel('result.xlsx')

阅读全文

python爬取”http://10.0.44.102/AgentProject/Index?branch=%E6%B9%96%E5%8C%97”结果存到excel表里面代码

相关推荐

python 爬取网页上的相关内容，下载到本地，并生成excel

python爬取内容存入Excel实例

rabbitmq-practice：遵循RabbitMQ官方教程在python中练习代码：https：//www.rabbitmq.comtutorialstutorial-one-python.html

python单任务爬取RNA数据 https://rnacentral.org/rna/

爬取彼岸图网的壁纸 https://pic.netbian.com/

Python 数据爬取：探索互联网的宝藏.md

Python爬虫实战：抓取http://www.win4000.com/美桌图片

Python-Mysql-Reference-w3schools：此存储库包含Python Mysql的练习文件。 参考：https：//www.w3schools.com

Python爬取去哪儿网文章及评论.py

python爬取微信公众号历史文章链接思路.md

Python爬取全国区划信息包括excel数据.rar

python爬取网站中的多页图片.py

用python爬取网页并导出为word文档.docx

MATLAB用拟合出的代码绘图-pyquantrf:这是一个利用[SciKitLearn]（https://scikit-learn.org/

Python爬取智联招聘网站数据，2023.10.31测试，可跑

一个微小的，友好的，强大的火炬实现人员重新识别基线的工具。 教程:backhand_index_pointing_right:https：//github.com/layumi/Person_reID_baseline_pytorch/tree/master/tutorial-Python开发

matlab里面用代码存储图片-SynthText_Chinese:使用python3和cv3从https://github.com/Jarv

leetcode2sumc-LeetCode:这个存储库是为了保存我对LeetCode的解决方案（https://leetcode.com/p

利用python爬取爱彼迎民宿信息爬取.md

最新推荐

解析python 中/ 和 % 和 //（地板除）

一个使用Androidstudio开发的校园通知APP

GitHub图片浏览插件：直观展示代码中的图像

管理建模和仿真的文件

【OPPO手机故障诊断专家】：工程指令快速定位与解决

求[100，900]之间相差为12的素数对（注：要求素数对的两个素数均在该范围内）的个数

Android IPTV项目：直播频道的实时流媒体实现

"互动学习：行动中的多样性与论文攻读经历"

【OPPO手机工程模式终极指南】：掌握这些秘籍，故障排查不再难！

前端在json文件里写模板，可以换行 有空格现在在文本框的时候

Python-Mysql-Reference-w3schools：此存储库包含Python Mysql的练习文件。参考：https：//www.w3schools.com

一个微小的，友好的，强大的火炬实现人员重新识别基线的工具。教程:backhand_index_pointing_right:https：//github.com/layumi/Person_reID_baseline_pytorch/tree/master/tutorial-Python开发

前端在json文件里写模板，可以换行有空格现在在文本框的时候