python正则表达式爬网页

以下是Python正则表达式爬网页的示例代码：

import re
import requests

url = 'https://www.example.com'
response = requests.get(url)
html = response.content.decode('utf-8')

pattern = re.compile('<a href="(.*?)".*?>(.*?)</a>', re.S)
results = re.findall(pattern, html)

for result in results:
    link, text = result
    print(link, text)

在上述示例代码中，我们首先导入了`re`和`requests`模块，然后指定了要爬取的网页URL，并使用`requests.get()`方法获取网页内容。接着，我们使用`response.content.decode('utf-8')`将网页内容转换为UTF-8编码的字符串格式。

接下来，我们使用正则表达式编写了要匹配的模式，该模式可以匹配出网页中所有的超链接。然后，我们使用`re.findall()`方法在网页内容中查找所有符合模式的结果，并将它们存储在`results`变量中。

最后，我们使用一个循环遍历`results`列表，并打印出每个匹配结果中的链接和文本。

相关问题

python 正则表达式爬虫

Python 正则表达式爬虫是一种使用Python编程语言和正则表达式技术来解析和提取网页内容的网络数据抓取方法。正则表达式是一种强大的文本处理工具，用于匹配特定模式的字符串。

以下是使用Python进行正则表达式爬虫的基本步骤：

1. **导入库**：首先，需要导入Python的内置`re`模块，它是处理正则表达式的库。

import re

2. **发送HTTP请求**：通常使用如`requests`或`BeautifulSoup`这样的库获取网页内容。

import requests
response = requests.get('http://example.com')
html_content = response.text

3. **解析HTML**：将网页内容（通常是HTML）转换为可以操作的文本形式。这通常涉及到HTML标签的解析。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')

4. **正则表达式查找**：使用正则表达式查找感兴趣的模式。例如，查找所有的URL:

url_pattern = re.compile(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\\(\\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+')
urls = url_pattern.findall(soup.prettify())

5. **提取信息**：根据匹配到的模式提取所需的数据，如链接、电子邮件地址、电话号码等。

6. **存储或处理数据**：最后，将提取的数据保存到文件、数据库或进行进一步的分析。

python正则表达式爬虫

使用Python的正则表达式进行爬虫是一种常见的方式，它可以用来从网页文本中提取特定的信息。下面是一个简单的示例，演示了如何使用正则表达式进行爬虫：

import re
import requests

# 发起网络请求获取网页内容
response = requests.get('http://example.com')
html_content = response.text

# 使用正则表达式匹配网页中的链接
pattern = r'<a href="(.*?)".*?>(.*?)</a>'
links = re.findall(pattern, html_content)

# 打印匹配到的链接
for link in links:
    url = link[0]
    text = link[1]
    print(f"URL: {url}\nText: {text}\n")

在上面的示例中，我们首先使用requests库发起了一个GET请求，获取了一个网页的内容。然后，我们使用re模块中的findall函数和正则表达式模式去匹配网页中的链接。这里的正则表达式模式用来匹配`<a href="URL">Text</a>`这样的链接标签。最后，我们打印出匹配到的链接的URL和文本。

需要注意的是，正则表达式可以很强大，但在处理复杂的HTML文档时可能会变得不够稳定。对于复杂的HTML解析，推荐使用专门的HTML解析库，如BeautifulSoup或lxml。这些库提供了更方便和健壮的方法来提取和处理HTML内容。