基于python的爬虫实验代码

Python是一个非常适合编写网络爬虫的高级语言，因为它的语法简洁、库丰富，尤其是`requests`和`BeautifulSoup`这两个库对爬虫开发者非常友好。下面是一个简单的基于Python的基础网络爬虫代码示例，目标是从网站抓取HTML内容并提取数据：

# 导入必要的库
import requests
from bs4 import BeautifulSoup

# 定义要抓取的网页URL
url = "https://example.com"  # 替换成你要爬取的实际网址

# 使用requests.get发送HTTP请求获取页面内容
response = requests.get(url)

# 检查请求是否成功（状态码200表示成功）
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 提取特定标签的数据（比如标题）
    title = soup.find('title').text
    print("标题:", title)

    # 如果需要进一步提取其他元素，可以根据HTML结构替换find()方法
else:
    print("请求失败，状态码:", response.status_code)