请你用Python编写一个功能强大的爬虫,功能至少要有信息爬取等。
时间: 2024-09-22 15:05:25 浏览: 41
小白必看使用Python爬取喜马拉雅音频并保存的示例代码
在Python中,我们可以利用一些强大的库如`requests`、`BeautifulSoup`和`pandas`来编写一个基础的信息爬虫。以下是一个简单的例子,展示如何爬取网页上的数据并存储到CSV文件:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 定义要爬取的URL
url = "https://example.com" # 请替换为实际目标网站地址
# 发送GET请求获取网页内容
response = requests.get(url)
content = response.text
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(content, 'html.parser')
# 确定需要抓取的数据部分,比如所有段落(p)标签内的文本
data_tags = soup.find_all('p')
# 创建一个空列表来存储数据
data = []
# 提取每个段落的内容
for tag in data_tags:
data.append(tag.get_text())
# 将数据保存到CSV文件
with open('scraped_data.csv', mode='w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(['Title']) # 写入表头
for item in data:
writer.writerow([item])
阅读全文