使用Python编写程序,爬取网页内容并将其写入CSV文件中。
时间: 2024-04-17 10:27:10 浏览: 126
利用Python如何将数据写到CSV文件中
您可以使用Python中的requests和BeautifulSoup库来实现爬取网页内容并将其写入CSV文件的功能。以下是一个示例代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 发起HTTP GET请求
response = requests.get("https://www.example.com")
# 解析HTML内容
soup = BeautifulSoup(response.text, "html.parser")
# 找到需要爬取的数据并提取
data = []
items = soup.find_all("div", class_="item")
for item in items:
title = item.find("h2").text
price = item.find("span", class_="price").text
data.append([title, price])
# 将数据写入CSV文件
with open("data.csv", "w", newline="") as csvfile:
writer = csv.writer(csvfile)
writer.writerow(["Title", "Price"]) # 写入表头
writer.writerows(data) # 写入数据
```
上述代码首先使用requests库发起了一个HTTP GET请求,获取网页的内容。然后使用BeautifulSoup库解析HTML内容,找到需要爬取的数据,并将其存储到一个列表中。最后,利用csv库将数据写入到CSV文件中。
请注意,这只是一个简单的示例,实际应用中可能需要根据网页的结构进行适当的修改。另外,爬取网页内容时需遵守网站的使用条款和法律法规。
阅读全文