继续输出以上代码存储到列表中,打印结果以及保存数据到当前目录test.csv文件的剩余代码
时间: 2024-04-09 22:31:58 浏览: 92
以下是完整的代码,包括将数据保存到列表中、打印结果和保存数据到文件的部分:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 构造请求URL
base_url = 'https://bj.lianjia.com/ershoufang/chaoyang/pg'
page_count = 100
# 存储结果的列表
property_list = []
# 循环获取每一页的数据
for page in range(1, page_count+1):
url = base_url + str(page)
response = requests.get(url)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
# 获取每个房型信息的标签
items = soup.find_all('div', class_='info clear')
# 遍历每个房型信息
for item in items:
# 提取基本属性
title = item.find('div', class_='title').text.strip()
total_price = item.find('div', class_='totalPrice').text.strip()
unit_price = item.find('div', class_='unitPrice').text.strip()
area = item.find('div', class_='houseInfo').text.strip().split('|')[1].strip()
orientation = item.find('div', class_='houseInfo').text.strip().split('|')[2].strip()
# 存储到列表中
property_list.append({
'title': title,
'total_price': total_price,
'unit_price': unit_price,
'area': area,
'orientation': orientation
})
# 打印结果
for property in property_list:
print(property)
# 保存数据到文件
filename = 'test.csv'
with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.DictWriter(csvfile, fieldnames=['title', 'total_price', 'unit_price', 'area', 'orientation'])
writer.writeheader()
writer.writerows(property_list)
print("数据已保存到", filename)
```
运行以上代码后,会在当前目录下生成一个名为`test.csv`的文件,其中包含爬取到的房型基本属性信息,并且会将结果打印在控制台上。
阅读全文