用python对该https://shenzhen.anjuke.com/sale/?from=HomePage_TopBar网站爬取数据并存储
时间: 2023-12-03 15:03:23 浏览: 125
使用python爬取淘宝商品信息
5星 · 资源好评率100%
好的,这是一个非常好的问题。我们可以使用Python中的requests和BeautifulSoup库来实现静态网页爬取和数据存储。
以下是一个简单的步骤列表:
1. 安装requests和BeautifulSoup库。在命令行中输入`pip install requests beautifulsoup4`即可安装。
2. 使用requests获取网页HTML代码。以下是一个示例:
```
import requests
url = 'https://shenzhen.anjuke.com/sale/'
response = requests.get(url)
html = response.text
```
3. 使用BeautifulSoup解析HTML并提取数据。以下是一个示例:
```
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
# 找到所有房源信息
listings = soup.find_all('li', class_='list-item')
# 遍历所有房源信息并提取数据
for listing in listings:
# 获取房源标题
title = listing.find('div', class_='house-title').text.strip()
# 获取房源总价
total_price = listing.find('span', class_='price-det').text.strip()
# 获取房源单价
unit_price = listing.find('span', class_='unit-price').text.strip()
# 获取房源链接
link = listing.find('a', class_='houseListTitle')['href']
# 存储房源数据
# ...
```
4. 存储数据。可以将提取的数据存储到数据库中,也可以将其存储到CSV文件中。以下是一个示例:
```
import csv
# 打开CSV文件并写入数据
with open('anjuke_listings.csv', 'w', newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['标题', '总价', '单价', '链接']) # 写入表头
for listing in listings:
# 获取房源数据
# ...
# 将房源数据写入CSV文件中
writer.writerow([title, total_price, unit_price, link])
```
希望这可以帮助你开始对安居客深圳二手房网站进行静态网页爬取和数据存储。
阅读全文