python爬虫抓取网页数据示例代码

在Python中，使用最流行的库如BeautifulSoup和requests可以编写简单的爬虫来抓取网页数据。这里是一个基本的示例，展示如何获取HTML页面的内容：

import requests
from bs4 import BeautifulSoup

# 请求目标网址
url = 'https://www.example.com'

# 使用requests.get()获取网页内容
response = requests.get(url)

# 检查请求是否成功 (HTTP状态码200表示成功)
if response.status_code == 200:
    # 解析HTML内容为BeautifulSoup对象
    soup = BeautifulSoup(response.text, 'html.parser')

    # 找到需要的数据，例如所有段落(p标签)
    paragraphs = soup.find_all('p')

    # 遍历并打印每个段落的内容
    for p in paragraphs:
        print(p.get_text())

else:
    print(f"请求失败, 状态码: {response.status_code}")