网络爬虫基础案例实战

网络爬虫是一种自动化程序，用于从互联网上抓取信息并存储到本地或数据库中。基础案例通常涉及简单的网页数据抓取，比如获取HTML页面中的文本、图片链接等。这里是一个基本Python爬虫案例，使用了requests库获取网页内容，BeautifulSoup库解析HTML：

import requests
from bs4 import BeautifulSoup

# 定义目标URL
url = "https://www.example.com"

# 发送GET请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML响应
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 找到需要的数据，例如所有段落<p>标签
    paragraphs = soup.find_all('p')

    # 遍历提取的数据并打印
    for p in paragraphs:
        print(p.get_text())

else:
    print(f"请求失败，状态码：{response.status_code}")