帮我写一个网上房地产网站的爬数python代码
时间: 2023-06-20 09:10:33 浏览: 37
好的,首先你需要安装 `requests` 和 `beautifulsoup4` 这两个库,可以使用以下命令进行安装:
```
pip install requests beautifulsoup4
```
然后你可以使用以下代码进行网站爬取:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com/real-estate'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.content, 'html.parser')
# 获取房产信息
houses = soup.find_all('div', {'class': 'house'})
for house in houses:
name = house.find('h2', {'class': 'name'}).text.strip()
description = house.find('p', {'class': 'description'}).text.strip()
price = house.find('div', {'class': 'price'}).text.strip()
print(name, description, price)
```
以上代码假设你要爬取的网站房产信息是以 `<div class="house">` 开始的,每个房产信息里都包含了房屋名称、描述和价格。你可以根据实际情况进行修改。