爬虫爬取网页css文件并存储
时间: 2024-06-08 10:07:22 浏览: 16
要爬取网页的 CSS 文件并存储,可以按照以下步骤进行操作:
1. 使用 Python 的 requests 库获取目标网页的 HTML 内容
```
import requests
url = "http://example.com"
response = requests.get(url)
html_content = response.text
```
2. 使用 BeautifulSoup 库解析 HTML 内容,获取 CSS 文件链接
```
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
css_links = [link.get('href') for link in soup.findAll('link', rel='stylesheet')]
```
3. 遍历 CSS 文件链接列表,使用 requests 库获取 CSS 文件内容并存储到本地
```
import os
css_dir = 'css' # 存储 CSS 文件的目录名
if not os.path.exists(css_dir):
os.mkdir(css_dir)
for link in css_links:
css_url = url + link if link.startswith('/') else link # 处理相对路径
css_response = requests.get(css_url)
css_content = css_response.text
css_filename = link.split('/')[-1] # 取得 CSS 文件名
with open(os.path.join(css_dir, css_filename), 'w') as f:
f.write(css_content)
```
完成以上步骤后,CSS 文件将被保存在指定的目录下。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)