网络爬虫python代码
时间: 2023-09-30 21:05:21 浏览: 67
Python网络爬虫代码
以下是一个简单的Python爬虫代码,用于抓取指定网站的数据:
```python
import requests
from bs4 import BeautifulSoup
url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# 找到网页中所有的链接
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
# 找到网页中所有的图片
images = []
for img in soup.find_all('img'):
images.append(img.get('src'))
# 打印结果
print("Links:")
print(links)
print("Images:")
print(images)
```
这段代码使用了Requests库和BeautifulSoup库。首先,我们使用Requests库来获取网页的内容。然后,使用BeautifulSoup库来解析HTML内容并提取所需的数据。在这个例子中,我们抓取了指定网站中的所有链接和图片,并将它们打印出来。
阅读全文