python最简单的爬虫

Python是最适合编写简单爬虫的语言之一，因为它有简洁的语法、丰富的库以及强大的网络处理能力。最基本的Python爬虫通常涉及以下几个步骤：

1. **导入库**：使用`requests`库获取网页内容，`BeautifulSoup`或`lxml`用于解析HTML或XML。

import requests
from bs4 import BeautifulSoup

2. **发送请求**：使用`requests.get()`函数发送HTTP GET请求。

url = 'https://example.com'
response = requests.get(url)

3. **解析内容**：通过BeautifulSoup解析响应文本，提取所需的数据。

soup = BeautifulSoup(response.text, 'html.parser')
data = soup.find_all('tag_name')  # 替换 'tag_name' 为你需要的标签名

4. **保存数据**：将提取到的数据存储在文件、数据库或变量中。

with open('output.txt', 'w', encoding='utf-8') as f:
    for item in data:
        f.write(str(item) + '\n')

5. **异常处理**：添加适当的错误检查和处理，如网络连接失败或页面结构改变。

try:
    response.raise_for_status()  # 检查HTTP状态码是否正常
except requests.exceptions.RequestException as e:
    print(f"请求出错: {e}")