使用Python编写程序,爬取网页内容并将其写入CSV文件中。
时间: 2024-04-15 12:29:59 浏览: 108
您可以使用Python的requests库和BeautifulSoup库来爬取网页内容,并使用csv库将其写入CSV文件中。以下是一个示例代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 发送HTTP GET请求,获取网页内容
url = 'http://example.com'
response = requests.get(url)
html_content = response.text
# 使用BeautifulSoup解析网页内容,提取所需数据
soup = BeautifulSoup(html_content, 'html.parser')
data = []
# 示例:提取所有标题
titles = soup.find_all('h1')
for title in titles:
data.append(title.text)
# 将数据写入CSV文件
filename = 'data.csv'
with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['Title']) # 写入表头
for item in data:
writer.writerow([item]) # 写入每一行数据
print(f'数据已成功写入{filename}文件中。')
```
请注意,这只是一个示例代码,并且具体的网页结构和所需数据提取方法可能因网站而异。您需要根据目标网站的实际情况进行相应的修改。
阅读全文