pycharm爬取贝壳网宁波房屋出售信息,分类存储到本地数据库中(建议sqlite)。 要求:项目源代码

时间: 2023-11-13 17:04:19 浏览: 43
很好,我可以为您提供一份Python源代码,实现您所需的功能。在运行代码之前,请确保已经安装以下Python库: - requests - beautifulsoup4 - sqlite3 以下是代码实现: ```python import requests from bs4 import BeautifulSoup import sqlite3 # 获取页面源代码 def get_html(url): response = requests.get(url) response.encoding = 'utf-8' return response.text # 解析页面获取房屋信息 def parse_page(html): soup = BeautifulSoup(html, 'html.parser') house_list = soup.find_all('div', class_='info clear') for house in house_list: title = house.find('a', class_='title').text.strip() info = house.find('div', class_='houseInfo').text.strip() price = house.find('div', class_='totalPrice').text.strip() unit_price = house.find('div', class_='unitPrice').text.strip()[2:-4] yield title, info, price, unit_price # 存储房屋信息到数据库 def save_to_database(houses): conn = sqlite3.connect('house.db') cursor = conn.cursor() cursor.execute('CREATE TABLE IF NOT EXISTS house (id INTEGER PRIMARY KEY AUTOINCREMENT, ' 'title TEXT, info TEXT, price TEXT, unit_price TEXT)') for house in houses: cursor.execute('INSERT INTO house (title, info, price, unit_price) VALUES (?, ?, ?, ?)', house) conn.commit() conn.close() if __name__ == '__main__': url = 'https://nb.ke.com/ershoufang/' html = get_html(url) houses = parse_page(html) save_to_database(houses) ``` 运行代码后,程序将自动爬取贝壳网宁波房屋出售信息,并将信息存储到本地SQLite数据库中。您可以根据需要自行修改代码,例如更改爬取的城市、页面数量等等。

相关推荐

最新推荐

recommend-type

Python-Pycharm实现的猴子摘桃小游戏(源代码)

1.基于Python-Pycharm环境开发; 2.用于pygame库开发框架
recommend-type

用pycharm开发django项目示例代码

主要介绍了用pycharm开发django项目示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
recommend-type

pycharm中连接mysql数据库的步骤详解

在进行Python研发的时候,pycharm是一个很好的IDE,下面这篇文章主要给大家介绍了pycharm中连接mysql数据库的步骤,文中通过图文介绍的非常详细,对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。
recommend-type

新建文件时Pycharm中自动设置头部模板信息的方法

主要介绍了新建文件时Pycharm中自动设置头部模板信息的方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
recommend-type

图文详解Django使用Pycharm连接MySQL数据库

主要介绍了Django使用Pycharm连接MySQL数据库的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
recommend-type

中文翻译Introduction to Linear Algebra, 5th Edition 2.1节

中文翻译Introduction to Linear Algebra, 5th Edition 2.1节 线性代数的核心问题是求解方程组。这些方程都是线性的,即未知数仅与数相乘——我们绝不会 遇见 x 乘以 y。我们的第一个线性方程组较小。接下来你来看看它引申出多远: 两个方程 两个未知数 x − 2y = 1 3x + 2y = 11 (1) 我们一次从一个行开始。第一个方程 x − 2y = 1 得出了 xy 平面的一条直线。由于点 x = 1, y = 0 解 出该方程,因此它在这条直线上。因为 3 − 2 = 1,所以点 x = 3, y = 1 也在这条直线上。若我们选择 x = 101,那我们求出 y = 50。 这条特定直线的斜率是 12,是因为当 x 变化 2 时 y 增加 1。斜率在微积分中很重要,然而这是线 性代数! 图 2.1 将展示第一条直线 x − 2y = 1。此“行图”中的第二条直线来自第二个方程 3x + 2y = 11。你 不能错过两条线的交点 x = 3, y = 1。点 (3, 1) 位于两条线上并且解出两个方程。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

识别MATLAB微分方程求解中的混沌行为:分析非线性方程混沌行为的实用技巧

![matlab求解微分方程](https://img-blog.csdnimg.cn/2021062810300367.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTQ3OTY3OA==,size_16,color_FFFFFF,t_70) # 1. MATLAB微分方程求解概述 微分方程是描述物理、工程和金融等领域中动态系统的数学模型。MATLAB提供了强大的工具来求解微分方程,包括内置求解器和自定义函数
recommend-type

physon如何做ERP系统

作为一个AI语言模型,我可以给您提供一些基本的建议和思路: 1.明确需求和目标:在开始开发ERP系统之前,需要明确您的业务需求和目标,了解您的业务流程、流程数据、员工角色和权限、财务管理等方面的要求,这样才能更好的设计和开发ERP系统。 2.选择技术框架和开发工具:选择合适的技术框架和开发工具是ERP系统开发的关键。选择一种流行的技术框架和工具可以提高开发效率和质量。 3.设计数据库:ERP系统需要一个功能强大的数据库来存储数据。设计数据库需要考虑数据的完整性、安全性和可扩展性。 4.设计系统架构:系统架构是ERP系统的骨架,需要考虑系统的可扩展性、可维护性和性能。 5.开发和测试:
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。