python爬虫抓取网页数据完整代码

Python爬虫抓取网页数据通常使用`requests`库获取HTML内容，然后用`BeautifulSoup`解析HTML提取所需信息。以下是一个简单的示例，展示如何抓取一个网页的标题：

# 导入需要的库
import requests
from bs4 import BeautifulSoup

def get_web_content(url):
    # 发送GET请求
    response = requests.get(url)
    
    # 检查请求是否成功
    if response.status_code == 200:
        # 使用BeautifulSoup解析HTML
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 找到并返回页面标题
        title = soup.find('title').text
        return title
    else:
        print(f"无法访问该URL: {response.status_code}")
        return None

# 示例网址
url = "https://www.example.com"
page_title = get_web_content(url)
if page_title:
    print(f"网页标题: {page_title}")