使用requests和bs4库爬取网站并保存在csv文件中的代码
时间: 2024-05-04 22:15:51 浏览: 129
py程序_python爬虫_
好的,以下是使用requests和bs4库爬取网站并保存在csv文件中的代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 请求URL
url = 'https://www.example.com'
# 发送请求,获取响应
response = requests.get(url)
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 查找需要的信息
data = []
for item in soup.find_all('div', class_='item'):
title = item.find('h2').text.strip()
content = item.find('p').text.strip()
data.append([title, content])
# 保存到CSV文件中
with open('data.csv', 'w', encoding='utf-8', newline='') as file:
writer = csv.writer(file)
writer.writerow(['Title', 'Content'])
for item in data:
writer.writerow(item)
```
希望可以帮助到您!如果您有其他问题,请继续提问。
阅读全文