使用爬虫爬取网页数据并输出到csv文件中
时间: 2024-05-05 17:22:27 浏览: 155
爬虫抓取网页数据
好的,以下是使用 Python 爬虫爬取网页数据并输出到 csv 文件中的示例代码:
```python
import requests
import csv
from bs4 import BeautifulSoup
# 发送 GET 请求获取网页内容
url = "https://www.example.com"
response = requests.get(url)
# 使用 BeautifulSoup 解析 HTML
soup = BeautifulSoup(response.text, "html.parser")
# 从 HTML 中提取需要的数据
data = []
for item in soup.find_all("div", class_="item"):
title = item.find("h2").text.strip()
description = item.find("p").text.strip()
data.append([title, description])
# 将数据写入 csv 文件
with open("data.csv", "w", encoding="utf-8", newline="") as file:
writer = csv.writer(file)
writer.writerow(["Title", "Description"])
for row in data:
writer.writerow(row)
```
在这个示例中,我们首先使用 requests 库发送 GET 请求获取网页内容,然后使用 BeautifulSoup 解析 HTML,从 HTML 中提取需要的数据并存储在一个列表中。最后,我们使用 csv 库将数据写入到 csv 文件中。
需要注意的是,代码中使用了 open 函数打开 csv 文件并指定了编码和换行符参数,这是为了确保在写入数据时不会出现编码问题和换行符问题。
阅读全文