python爬虫爬取excel表格

Python爬虫可以用来抓取网页数据并保存到Excel表格中，这通常通过以下几个步骤实现：

1. **导入库**：首先，你需要安装`requests`库用于发送HTTP请求获取网页内容，以及`pandas`库来处理数据并生成Excel文件。如果尚未安装，可以使用`pip install requests pandas openpyxl`命令安装。

2. **发送请求**：使用`requests.get()`函数获取目标网页的内容，确保设置正确的URL。

3. **解析HTML**：使用如`BeautifulSoup`或`lxml`等库解析HTML文档，提取需要的数据。

4. **数据存储**：将提取的数据结构化（通常是字典列表），然后创建一个`pandas.DataFrame`对象。如果你想要保存为Excel文件，可以调用`df.to_excel('output.xlsx', index=False)`方法，其中`df`是DataFrame对象，`output.xlsx`是你希望保存的文件名。

5. **异常处理**：网络请求过程中可能会遇到各种错误，比如连接失败、页面解析错误等，应加入适当的异常处理代码。

下面是一个简单的例子：

import requests
from bs4 import BeautifulSoup
import pandas as pd

def get_data(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 假设你想从表格中提取数据，这里假设table是一个包含数据的标签
    table = soup.find('table')

    # 提取表格数据转化为list of dict
    data = []
    for row in table.find_all('tr'):
        cols = row.find_all('td')
        cols_data = [col.text.strip() for col in cols]
        data.append(cols_data)

    return data

url = 'http://example.com/table-page'
data = get_data(url)

# 创建DataFrame并保存到Excel
df = pd.DataFrame(data, columns=['Column1', 'Column2'])  # 根据实际数据列名替换
df.to_excel('output.xlsx', index=False)