爬虫爬取58同城二手房图片
时间: 2023-06-30 07:18:41 浏览: 79
您可以使用Python中的Requests和BeautifulSoup库来爬取58同城二手房图片。首先,您需要发送一个请求获取网页内容,然后使用BeautifulSoup库对网页进行解析,找到包含图片链接的标签,并提取出图片链接。最后,您可以使用Python中的urllib库下载图片到本地。
以下是简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import urllib
url = "https://bj.58.com/ershoufang/"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
# 发送请求
response = requests.get(url, headers=headers)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到包含图片链接的标签
img_tags = soup.find_all('img', class_='lazy')
# 提取图片链接并下载
for img in img_tags:
img_url = img['data-original']
urllib.request.urlretrieve(img_url, "image_name.jpg")
```
请注意,爬取网站内容可能涉及法律问题,建议您在遵守相关法律法规的前提下进行爬取操作。