9、 python 爬虫有哪些常用第三方库，分别用在哪些环节？

Python爬虫中常用的第三方库有：

1. requests：用于发送HTTP/HTTPS请求，获取网页内容。
2. BeautifulSoup：用于解析HTML/XML等文档格式，提取需要的信息。
3. Scrapy：开源的Python爬虫框架，可用于快速开发高效的爬虫程序。
4. Selenium：用于模拟浏览器操作，实现爬取需要动态加载的网页或进行自动化测试。
5. PyQuery：类似于jQuery的Python库，可用于解析HTML文档并进行筛选。
6. lxml：用于解析XML和HTML文档的Python库，比Python内置的解析库性能更优。
7. Pandas：用于数据处理和分析，可以对爬取的数据进行清洗和整理。
8. pymongo：Python操作MongoDB的库，可用于存储爬取到的数据。
9. redis：Python操作Redis的库，可用于爬虫的缓存和分布式部署。

这些库主要用在以下环节：

1. requests：用于发送HTTP/HTTPS请求，获取网页内容。
2. BeautifulSoup和PyQuery：用于解析HTML/XML等文档格式，提取需要的信息。
3. Scrapy：用于快速开发高效的爬虫程序，可实现自动化爬虫流程和多线程爬取。
4. Selenium：用于模拟浏览器操作，实现爬取需要动态加载的网页或进行自动化测试。
5. Pandas：用于数据处理和分析，可以对爬取的数据进行清洗和整理。
6. pymongo和redis：用于存储爬取到的数据，支持数据的缓存和分布式部署。