python爬虫抓取网页数据实例

Python 爬虫抓取网页数据通常使用 `requests` 库来发送 HTTP 请求获取网页内容，然后利用 `BeautifulSoup` 或者 `lxml` 这样的库解析 HTML。下面是一个简单的 Python 爬虫示例，抓取网页上指定元素的数据：

# 导入需要的库
import requests
from bs4 import BeautifulSoup

# 定义目标URL
url = "https://www.example.com"

# 发送GET请求并获取HTML内容
response = requests.get(url)
html_content = response.text

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html_content, 'lxml')

# 查找特定标签和其属性，这里假设我们要找所有的段落<p>
paragraphs = soup.find_all('p')

# 遍历每个找到的段落，打印其中的内容
for p in paragraphs:
    print(p.get_text())  # 获取纯文本