python爬取一个网页的信息,包括其他信息,例如图片,js文件,等价于鼠标右键另存为的示例代码
时间: 2024-06-10 09:06:58 浏览: 78
以下是一个简单的Python爬虫示例,可以爬取一个网页及其相关资源(例如图片、CSS、JS文件):
```python
import requests
from urllib.parse import urlparse, urljoin
from bs4 import BeautifulSoup
import os
# 目标网页
url = "https://www.example.com"
# 解析目标网页的URL
parsed_url = urlparse(url)
# 创建目标网页保存的文件夹(如果不存在)
save_dir = parsed_url.netloc
if not os.path.exists(save_dir):
os.makedirs(save_dir)
# 发送HTTP请求,获取目标网页的HTML内容
response = requests.get(url)
# 使用BeautifulSoup解析HTML内容,提取需要的信息(例如图片、CSS、JS文件)
soup = BeautifulSoup(response.text, 'html.parser')
for link in soup.find_all('img'):
# 获取图片的URL
img_url = link.get('src')
# 将相对URL转换为绝对URL
if not img_url.startswith('http'):
img_url = urljoin(url, img_url)
# 发送HTTP请求,获取图片内容
img_response = requests.get(img_url)
# 将图片保存到文件夹
img_name = os.path.basename(img_url)
img_path = os.path.join(save_dir, img_name)
with open(img_path, 'wb') as f:
f.write(img_response.content)
# 参考链接:
# https://www.crummy.com/software/BeautifulSoup/bs4/doc/
# https://docs.python.org/3/library/os.path.html#os.path.basename
# https://requests.readthedocs.io/en/master/user/quickstart/
```
请注意,爬取网站上的所有信息可能会侵犯他人的版权和隐私权。在使用本代码时,请务必遵循适用的法律法规,谨慎处理相关信息。
相关推荐
![7z](https://img-home.csdnimg.cn/images/20210720083312.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![txt](https://img-home.csdnimg.cn/images/20210720083642.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)