通过url 下载网页并保存
时间: 2024-09-14 21:09:33 浏览: 27
c#通过url下载到本地文件.txt
5星 · 资源好评率100%
下载网页并保存通常涉及到网络请求和文件操作两个步骤。以下是使用Python语言的一个简单示例,利用`requests`库下载网页内容,然后用`BeautifulSoup`解析HTML,并使用`with open`将内容保存到本地文件:
```python
import requests
from bs4 import BeautifulSoup
def download_and_save(url, filename):
# 发送HTTP请求获取网页内容
response = requests.get(url)
# 检查请求是否成功(状态码200表示成功)
if response.status_code == 200:
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 将网页内容写入到指定文件
with open(filename, 'w', encoding='utf-8') as f:
f.write(str(soup))
print(f"网页已成功保存至{filename}")
else:
print("请求失败,无法下载网页")
# 示例使用
download_and_save('https://www.example.com', 'example.html')
```
在这个例子中,你需要先安装`requests`和`beautifulsoup4`库,可以使用pip进行安装:
```bash
pip install requests beautifulsoup4
```
阅读全文