python爬虫案例和代码

Python爬虫是一种常见的网络数据抓取技术，常用于自动化从网站上获取信息。下面是一个简单的Python爬虫案例，使用了requests库来发送HTTP请求，BeautifulSoup库解析HTML内容：

# 导入必要的库
import requests
from bs4 import BeautifulSoup

def spider(url):
    # 发送GET请求
    response = requests.get(url)
    
    # 检查请求是否成功
    if response.status_code == 200:
        # 解析网页内容
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 找到需要的数据，比如文章标题
        titles = soup.find_all('h2', class_='title')  # 假设标题在class为'title'的<h2>标签下
        
        for title in titles:
            print(title.get_text())  # 打印标题文本
            
    else:
        print(f"请求失败，状态码：{response.status_code}")

# 示例使用
spider("http://example.com")  # 将'http://example.com'替换为你想要爬取的实际网站URL