用python写一个爬取兰州市房价信息可以爬取安居客网站上的兰州新房和二手房的信息,如名称、价格、面积、地址、类型等
时间: 2024-06-08 16:12:11 浏览: 108
好的,这里提供一个简单的代码实现,需要使用到 requests 和 BeautifulSoup 库。请先确保已经安装了这两个库。
```python
import requests
from bs4 import BeautifulSoup
# 爬取的目标url
url = 'https://lz.anjuke.com/sale/'
# 发送http请求,获取网页源代码
response = requests.get(url)
# 使用BeautifulSoup解析html
soup = BeautifulSoup(response.text, 'html.parser')
# 获取新房和二手房的标签
new_house = soup.find_all('div', class_='key-list imglazyload')
second_hand_house = soup.find_all('div', class_='list-item')
# 遍历新房标签,抓取需要的信息
for item in new_house:
name = item.find('a', class_='items-name').text.strip() # 名称
price = item.find('em', class_='price').text.strip() # 价格
area = item.find('div', class_='details-item').text.strip() # 面积
address = item.find('span', class_='list-map').text.strip() # 地址
house_type = '新房' # 类型
print(name, price, area, address, house_type)
# 遍历二手房标签,抓取需要的信息
for item in second_hand_house:
name = item.find('a', class_='houseListTitle').text.strip() # 名称
price = item.find('span', class_='price-det').text.strip() # 价格
area = item.find('div', class_='details-item').text.strip() # 面积
address = item.find('span', class_='comm-address').text.strip() # 地址
house_type = '二手房' # 类型
print(name, price, area, address, house_type)
```
爬取到的信息将会在控制台中输出。如果需要将信息保存到本地文件中,可以使用 Python 的文件操作来实现。
需要注意的是,网站的反爬虫机制比较严格,如果频繁地发送请求可能会被封 IP。建议加上一些延时或者使用代理池等方法来规避这个问题。
阅读全文