帮我写一个的爬虫代码,能够爬取到https://cm.lianjia.com/ershoufang,该网站的数据
时间: 2023-06-27 20:06:53 浏览: 143
好的,以下是一个简单的Python爬虫代码,可以爬取链家二手房网站上的数据:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://cm.lianjia.com/ershoufang'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
page = requests.get(url, headers=headers)
soup = BeautifulSoup(page.content, 'html.parser')
# 获取房源信息
house_list = soup.find_all('div', class_='info clear')
for house in house_list:
# 获取房源标题
title = house.find('div', class_='title').text.strip()
# 获取房源链接
link = house.find('a', class_='noresultRecommend').get('href')
# 获取房源价格
price = house.find('div', class_='totalPrice').text.strip() + '万'
# 获取房源单价
unit_price = house.find('div', class_='unitPrice').text.strip()
# 打印房源信息
print(title, link, price, unit_price)
```
这个代码使用了requests和BeautifulSoup库,首先通过requests库获取网页内容,然后使用BeautifulSoup库对网页进行解析,最后使用find_all方法获取房源信息。你可以根据需要修改代码,比如增加对更多字段的获取、保存数据到文件等等。
阅读全文