python正则表达式爬虫程序

Python正则表达式爬虫是一种利用Python的`re`模块（Regular Expression，正则表达式库）来处理和解析网页内容的编程技术。它可以帮助我们从HTML或XML文档中提取特定模式的数据，比如URL、电子邮件地址、电话号码等。

以下是基本步骤：

1. **导入库**：首先需要导入`requests`库获取网页内容，以及`re`库处理正则表达式。

import requests
import re

2. **发送请求**：使用`requests.get()`函数获取网页的HTML源码。

url = 'https://example.com'
response = requests.get(url)
html_content = response.text

3. **创建正则表达式**：编写一个正则表达式模式，用于匹配你需要的信息。例如，如果你想找所有的邮箱地址，可以使用`\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b`。

4. **查找并替换**：使用`re.findall()`或`re.search()`函数在HTML内容中寻找所有匹配的部分。

email_pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
emails = re.findall(email_pattern, html_content)

5. **处理结果**：最后你可以遍历找到的结果，存储到列表或其他数据结构中。