爬取网页生成csv文件的代码
时间: 2024-05-17 09:11:47 浏览: 97
以下是使用 Python 爬取网页并将数据保存到 CSV 文件中的示例代码:
```python
import csv
import requests
from bs4 import BeautifulSoup
url = "https://www.example.com" # 网页的 URL
response = requests.get(url) # 发送 GET 请求
soup = BeautifulSoup(response.text, "html.parser") # 使用 BeautifulSoup 解析 HTML
data = [] # 准备保存数据的列表
# 获取需要的数据,这里以获取网页中所有标题为例
titles = soup.find_all("h2")
for title in titles:
data.append(title.text) # 将标题文本添加到列表中
# 将数据保存到 CSV 文件中
with open("data.csv", "w", encoding="utf-8", newline="") as csvfile:
writer = csv.writer(csvfile)
writer.writerow(["标题"]) # 写入表头
for item in data:
writer.writerow([item]) # 写入数据
```
这个示例代码使用 `requests` 库发送 HTTP GET 请求获取网页内容,然后使用 `BeautifulSoup` 库解析 HTML 获取需要的数据。最后,使用 `csv` 库将数据保存到 CSV 文件中。你可以根据自己的需求修改代码,获取和保存不同的数据。
阅读全文