利用网络爬虫技术抓取龙港房地产网站前5页的楼房信息,抓取出页面中的部分数据,包括详细地址、区域、房型、户型、面积、出售价格、登记时间,并以Excel表格的形式存放到本地。
时间: 2023-12-21 22:04:12 浏览: 253
好的,下面是一个简单的Python爬虫代码示例,可以抓取龙港房地产网站前5页的楼房信息,并将数据存储到本地Excel表格中。
```python
import requests
import openpyxl
from bs4 import BeautifulSoup
# 获取网页内容
def get_html(url):
response = requests.get(url)
response.encoding = 'utf-8'
return response.text
# 解析网页内容,获取房屋信息
def parse_html(html):
soup = BeautifulSoup(html, 'html.parser')
house_list = soup.find_all('div', class_='house')
data_list = []
for house in house_list:
address = house.find('p', class_='address').text.strip()
region = house.find('p', class_='region').text.strip()
house_type = house.find('p', class_='house-type').text.strip()
room_type = house.find('p', class_='room-type').text.strip()
area = house.find('p', class_='area').text.strip()
price = house.find('p', class_='price').text.strip()
date = house.find('p', class_='date').text.strip()
data_list.append([address, region, house_type, room_type, area, price, date])
return data_list
# 存储数据到Excel表格
def save_to_excel(data_list):
wb = openpyxl.Workbook()
ws = wb.active
ws.append(['详细地址', '区域', '房型', '户型', '面积', '出售价格', '登记时间'])
for data in data_list:
ws.append(data)
wb.save('house_info.xlsx')
if __name__ == '__main__':
# 爬取前5页数据
for i in range(1, 6):
url = f'http://www.longgangfc.com/house/sell/list_4_{i}.html'
html = get_html(url)
data_list = parse_html(html)
save_to_excel(data_list)
```
这段代码中使用了requests库发送网络请求,使用BeautifulSoup库解析网页内容,使用openpyxl库将数据存储到Excel表格中。您可以根据需要进行修改和优化。
阅读全文