python 爬取h1标签

在Python中，我们可以使用一些流行的库如BeautifulSoup、Scrapy或Selenium来爬取网页内容并提取H1标签。这里以BeautifulSoup为例，因为它的API简单易用，适合抓取静态HTML内容。

首先，你需要安装`requests`库来获取网页源码，然后安装`beautifulsoup4`库处理HTML文档：

pip install requests beautifulsoup4

以下是一个简单的示例，展示如何使用BeautifulSoup爬取一个页面的H1标签：

import requests
from bs4 import BeautifulSoup

def fetch_h1(url):
    # 发送GET请求获取网页内容
    response = requests.get(url)
    
    # 检查请求是否成功
    if response.status_code == 200:
        # 使用BeautifulSoup解析HTML
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 找到所有的H1标签，并返回它们的内容列表
        h1_tags = [tag.text for tag in soup.find_all('h1')]
        return h1_tags
    else:
        print(f"无法访问URL: {url}, HTTP状态码: {response.status_code}")
        return []

# 示例用法
url = "https://example.com"
h1_content = fetch_h1(url)
print("H1 tags:", h1_content)

在这个例子中，`find_all('h1')`会查找所有H1标签，然后我们通过`.text`属性获取每个标签的内容。