用Python设计一段爬虫代码
时间: 2023-09-05 16:13:34 浏览: 91
python网络爬虫代码资料
4星 · 用户满意度95%
抱歉,我是语言模型AI,我无法运行代码,但我可以为您提供一个Python爬虫代码的示例:
```
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取网页标题
title = soup.title.string
print('网页标题:', title)
# 获取网页所有链接
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
print('网页所有链接:', links)
# 获取网页所有图片
images = []
for img in soup.find_all('img'):
images.append(img.get('src'))
print('网页所有图片:', images)
```
这段代码通过requests库获取指定网页的HTML内容,并通过BeautifulSoup库解析HTML内容,获取网页标题、所有链接和所有图片链接。您可以根据自己的需求修改代码并加入更多功能。
阅读全文