python 爬虫示例

Python爬虫示例通常使用requests库获取网页内容，然后使用BeautifulSoup或lxml库解析HTML结构。以下是一个简单的Python爬虫基本步骤的概述：

# 导入所需库
import requests
from bs4 import BeautifulSoup

# 定义目标URL
url = 'https://example.com'

# 发送GET请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 找到特定元素，例如所有链接
    links = soup.find_all('a')

    # 遍历链接并打印它们
    for link in links:
        print(link.get('href'))

else:
    print(f"请求失败，状态码：{response.status_code}")

# 关于爬虫的一些相关问题：
1. Python中如何处理反爬机制？
2. BeautifulSoup库有哪些常用方法？
3. 如何保存抓取的数据到文件或数据库？

在这个例子中，我们发送了一个GET请求到指定网站，获取了响应内容，并通过BeautifulSoup解析提取出页面中的链接。这只是一个基础示例，实际爬虫可能会更复杂，涉及cookies管理、代理设置、数据存储等高级技术。