用jupyter notebook爬取网络内容制作表格

在Jupyter Notebook中爬取网络数据并制作成表格，通常涉及以下步骤：

1. **导入库**：
首先，你需要安装一些必要的Python库，如`requests`用于发送HTTP请求获取网页内容，`BeautifulSoup`或`lxml`用于解析HTML，以及`pandas`用于处理和生成数据表格。

import requests
from bs4 import BeautifulSoup
import pandas as pd

2. **发送请求**：
使用`requests.get()`函数发送GET请求到目标网址，并保存响应内容。

url = 'https://example.com'
response = requests.get(url)

3. **解析内容**：
使用BeautifulSoup解析HTML内容，提取所需的数据。

soup = BeautifulSoup(response.text, 'html.parser')
data = soup.find_all('div', class_='target_class')  # 根据实际需要替换class名

4. **数据清洗**：
删除不需要的信息，清理文本，将数据转化为适合分析或存储的结构，例如列表或字典。

cleaned_data = [item.text.strip() for item in data]

5. **转换为DataFrame**：
使用pandas将数据转为DataFrame，这是创建表格的理想形式。

df = pd.DataFrame(cleaned_data, columns=['Column Name'])

6. **显示或保存表格**：
最后，可以使用`display()`函数在Notebook中显示数据框，也可以将其保存为CSV、Excel或其他文件格式。

df.head()  # 显示前几行数据
df.to_csv('output.csv', index=False)  # 保存为CSV文件