安居客长沙二手房爬虫
时间: 2023-10-13 18:07:36 浏览: 85
安居客爬虫程序,方便房产数据汇总
你可以使用 Python 来编写一个简单的爬虫来抓取安居客网站上长沙地区的二手房信息。下面是一个基本的示例代码:
```python
import requests
from bs4 import BeautifulSoup
def crawl_anjuke():
# 设置请求头,模拟浏览器访问
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求,获取页面内容
url = 'https://cs.anjuke.com/sale/'
response = requests.get(url, headers=headers)
# 解析页面内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取二手房信息
house_list = soup.find_all('li', class_='list-item')
# 遍历二手房信息并保存
for house in house_list:
title = house.find('a', class_='houseListTitle').text.strip()
price = house.find('span', class_='price-det').text.strip()
area = house.find('div', class_='details-item').text.strip()
print('标题:', title)
print('价格:', price)
print('面积:', area)
print('=============================')
crawl_anjuke()
```
这是一个简单的示例,你可以根据自己的需求进行修改和扩展。需要注意的是,爬虫行为需要遵守网站的使用规则,不要频繁请求,以免被封禁IP。
阅读全文