请为我写一个用python爬取网站数据的代码
时间: 2024-09-19 22:14:10 浏览: 39
Python爬取数据保存为Json格式的代码示例
5星 · 资源好评率100%
在Python中,我们可以使用requests库来发送HTTP请求获取网页内容,然后使用BeautifulSoup库解析HTML文档。以下是一个简单的示例,展示如何爬取一个静态网页的数据:
```python
import requests
from bs4 import BeautifulSoup
# 目标URL
url = "https://www.example.com"
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML响应
soup = BeautifulSoup(response.text, 'html.parser')
# 选择需要的数据元素(这里假设我们需要所有段落)
paragraphs = soup.find_all('p')
# 打印每个段落的内容
for para in paragraphs:
print(para.get_text())
else:
print(f"请求失败,状态码:{response.status_code}")
# 提示用户输入保存文件名(如果要保存到本地)
save_to_file = input("是否要将结果保存到文件?请输入文件名(默认不保存): ")
# 如果有保存需求,可以写入到文件
if save_to_file:
with open(save_to_file, 'w', encoding='utf-8') as f:
f.write('\n'.join([para.get_text() for para in paragraphs]))
else:
print("未保存到文件")
阅读全文