python网页爬取数据常用库，函数

Python中用于网页爬取数据的常用库有很多，其中最流行和功能强大的几个库包括：

1. **BeautifulSoup**：它是一个用于解析HTML和XML文档的库，非常适合处理结构化的数据抓取。通过BeautifulSoup，你可以方便地查找、筛选和提取网页中的信息。

2. **Requests**：这是一个HTTP库，用于发送HTTP/1.1请求。它常与其他库配合使用，如BeautifulSoup，获取网页源代码。

3. **Scrapy**：这是一个完整的开源框架，专为复杂、大规模的数据抓取而设计。它包含许多高级功能，如分布式爬虫、中间件、数据存储等。

4. **Selenium**：虽然主要用于自动化浏览器操作，但也可以用于静态网页的爬取，特别是当网页内容需要JavaScript渲染才能加载完全时。

5. **PyQuery**：类似于jQuery的API风格，使得HTML解析像操作DOM一样直观。

6. **Lxml**：基于C语言的解析库，速度较快，尤其适用于处理大量数据。

相关问题：
1. BeautifulSoup主要用来解决HTML解析的哪些问题？
2. Requests库如何发送HTTP请求并获取响应？
3. Scrapy框架有哪些优势，使得它在大规模爬虫项目中受欢迎？
4. 当网页内容依赖于JavaScript时，如何使用Selenium进行爬取？
5. PyQuery和BeautifulSoup在处理HTML时有什么不同？