Python网络爬虫案例

Python是一种流行的编程语言，它非常适合编写网络爬虫，因为有像Requests和BeautifulSoup这样的库，可以轻松地发送HTTP请求和解析HTML文档。下面是一个简单的Python网络爬虫案例，它展示了如何使用这些库来抓取一个网页，并提取其中的标题信息。

import requests
from bs4 import BeautifulSoup

# 目标网页的URL
url = 'http://example.com/'

# 发送GET请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取网页的标题
    title = soup.find('title').get_text()
    
    # 打印标题
    print(f'网页标题：{title}')
else:
    print('网页请求失败')

在这个案例中，我们首先导入了requests库用于发送HTTP请求，以及BeautifulSoup库用于解析HTML。我们设置了要爬取的网页URL，使用requests库的`get`方法发送请求，并检查响应状态码以确认请求成功。如果请求成功，我们使用BeautifulSoup解析HTML内容，并通过查找`<title>`标签来获取网页标题，最后打印出来。