python爬取网页数据存入文件

在Python中，你可以使用requests库来获取网页内容，然后BeautifulSoup或lxml等库帮助解析HTML或XML数据。以下是基本步骤：

1. 安装所需库：

   pip install requests beautifulsoup4

2. 导入库并编写爬虫函数：

import requests
from bs4 import BeautifulSoup

def scrape_webpage(url):
    # 发送GET请求获取网页内容
    response = requests.get(url)
    
    # 检查请求状态码，确认是否成功
    if response.status_code == 200:
        # 使用BeautifulSoup解析HTML内容
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 提取需要的数据，这取决于页面结构
        data = soup.find_all('div', class_='example')  # 根据实际页面选择标签
        
        # 将数据保存到文件
        with open('output.txt', 'w', encoding='utf-8') as f:
            for item in data:
                f.write(str(item) + '\n')  # 如果是字符串，直接写入；如果是复杂结构，可能需要更复杂的处理
    
    else:
        print(f"Failed to fetch the page with status code {response.status_code}")

# 使用函数，提供目标URL
scrape_webpage('http://example.com')

在这个例子中，`'example'`应该替换为你要抓取的实际网页的URL，`'div'`和`class_='example'`也是假设网页中存在这个类的元素。