写一段爬取网页数据并制成表格的代码
时间: 2023-09-16 19:09:04 浏览: 106
Python基于pandas爬取网页表格数据
5星 · 资源好评率100%
好的,以下是一个简单的用 Python 爬取网页数据并制成表格的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 设置请求头,模拟浏览器访问
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送 GET 请求,获取网页内容
url = 'https://www.example.com/'
response = requests.get(url, headers=headers)
html = response.content
# 使用 BeautifulSoup 解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 找到表格元素
table = soup.find('table')
# 使用 Pandas 将表格转换为 DataFrame
df = pd.read_html(str(table))[0]
# 输出 DataFrame
print(df)
```
以上代码中,我们首先使用 requests 库发送 GET 请求,获取网页内容,并使用 BeautifulSoup 库解析网页内容。然后,我们找到表格元素,使用 Pandas 将表格转换为 DataFrame,并输出 DataFrame。你可以根据实际需求修改代码,比如修改请求头、修改网页链接等。
阅读全文