python爬取贝壳二手房成交
时间: 2023-11-02 13:06:02 浏览: 233
PythonPlanet|二手房产成交数据分析
可以使用Python的第三方库Requests和BeautifulSoup来爬取贝壳网站的二手房成交信息。下面是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.ke.com/chengjiao/' # 贝壳二手房成交列表页的URL
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
} # 添加User-Agent头部,模拟浏览器请求
# 发送HTTP GET请求获取网页内容
response = requests.get(url, headers=headers)
html = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 找到所有的成交房源信息
house_items = soup.find_all('div', class_='info')
# 遍历成交房源信息并输出
for item in house_items:
title = item.find('div', class_='title').text.strip() # 房源标题
info = item.find('div', class_='address').text.strip() # 房源地址
deal_date = item.find('div', class_='dealDate').text.strip() # 成交日期
deal_price = item.find('div', class_='totalPrice').text.strip() # 成交价格
print(f'标题:{title}')
print(f'地址:{info}')
print(f'成交日期:{deal_date}')
print(f'成交价格:{deal_price}')
print('---')
```
请注意,爬取网站数据时需要遵守网站的相关规定和政策,不要过于频繁地请求网站,以免给网站带来压力或违反相关规定。
阅读全文