从贝壳二手房获取雨花、岳麓、天心、开福、芙蓉、望城、宁乡、浏阳、长沙县九个区域的二手房数据
时间: 2023-12-28 12:26:14 浏览: 93
根据提供的引用内容,可以使用Python爬虫从贝壳二手房获取雨花、岳麓、天心、开福、芙蓉、望城、宁乡、浏阳、长沙县九个区域的二手房数据。以下是一个示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 定义要爬取的区域列表
regions = ['yuhua', 'yuelu', 'tianxin', 'kaifu', 'furong', 'wangcheng', 'ningxiang', 'liuyang', 'changshaxian']
# 创建一个空列表,用于存储爬取的数据
data = []
# 遍历区域列表,依次爬取数据
for region in regions:
url = f'https://cs.ke.com/ershoufang/{region}/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取房源信息的标签
house_list = soup.find_all('div', class_='info clear')
# 遍历房源信息标签,提取数据
for house in house_list:
title = house.find('div', class_='title').text.strip()
price = house.find('div', class_='totalPrice').span.text.strip()
unit_price = house.find('div', class_='unitPrice').span.text.strip()
# 将提取的数据添加到列表中
data.append({'title': title, 'price': price, 'unit_price': unit_price})
# 打印爬取的数据
for item in data:
print(item)
```
请注意,上述代码仅为示例,实际运行时可能需要根据网页结构进行适当的调整。另外,爬取网页数据时需要遵守网站的使用规则,避免对网站造成过大的负担。
阅读全文