python爬虫技术栈清单
时间: 2023-11-21 13:06:16 浏览: 150
淘宝、京东、拼多多商品店铺基础信息爬虫 Selenium+Python技术栈.zip
Python爬虫技术栈清单包括以下内容:
1. 网络请求库:用于发送HTTP请求,如requests、urllib等。
2. 解析库:用于解析HTML、XML等文档,如BeautifulSoup、lxml等。
3. 数据存储库:用于将爬取到的数据存储到数据库或文件中,如MySQLdb、pymongo、csv等。
4. 反爬虫库:用于绕过网站的反爬虫机制,如selenium、pyppeteer等。
5. 代理IP库:用于获取和使用代理IP,如requests、urllib等。
6. 分布式爬虫框架:用于分布式爬取数据,如Scrapy、PySpider等。
7. 数据清洗和分析库:用于清洗和分析爬取到的数据,如pandas、numpy等。
8. 可视化库:用于将数据可视化展示,如matplotlib、seaborn等。
阅读全文