3.python爬虫

Python 爬虫是一种使用 Python 编程语言创建的自动化工具，用于从网站上抓取数据。它主要用于以下几个方面：

1. **数据采集**：从网页中提取结构化或半结构化的信息，如产品价格、新闻标题、用户评论等。

2. **信息挖掘**：对大量网络数据进行处理，提取有价值的信息进行分析，比如市场趋势、社交媒体情感分析等。

3. **数据存储**：抓取的数据通常会被整理并存储到本地数据库（如 SQLite）或云数据库（如 MongoDB、MySQL）中。

Python 爬虫常用库有：
- **BeautifulSoup**：解析 HTML 和 XML 文档。
- **Requests**：发送 HTTP 请求，获取网页内容。
- **Scrapy**：一个强大的框架，适合构建复杂的爬虫系统。
- **Selenium**：用于处理动态网页和JavaScript渲染的内容。
- **PyQuery**：类似 jQuery 的 API，用于简化 HTML 解析。