python爬虫爬取网页 CSV
时间: 2023-11-11 17:47:55 浏览: 65
您好!对于爬取网页并将内容保存为 CSV 文件,您可以使用 Python 中的 requests 和 csv 模块来实现。下面是一个简单的示例代码:
```python
import requests
import csv
url = 'http://example.com/page' # 网页的 URL
response = requests.get(url) # 发起 GET 请求获取网页内容
# 如果请求成功,则将内容保存为 CSV 文件
if response.status_code == 200:
data = response.text
# 解析网页内容,提取需要保存的数据
# ...
# 将数据保存为 CSV 文件
with open('data.csv', 'w', newline='') as csvfile:
writer = csv.writer(csvfile)
# 写入 CSV 文件的表头
writer.writerow(['Column1', 'Column2', ...])
# 写入数据行
writer.writerow([data1, data2, ...])
# ...
print('数据已保存为 data.csv 文件')
else:
print('请求失败')
```
在上面的示例代码中,您需要替换 `url` 变量为您要爬取的网页的 URL。您还可以根据实际需要解析网页内容,提取需要保存的数据,并将其写入 CSV 文件中。