RETSManager：房地产数据库构建器和同步器

软件X 10（2019）100351原始软件出版物RETSManager：房地产数据库构建器和同步器Issam Hammada，Bachelor，Kamal El-Sankarya，Holly Hornibrookba达尔豪西大学，哈利法克斯，NS，加拿大加拿大安大略省多伦多市RE/MAX Professionalsar t i cl e i nf o文章历史记录：收到2019年收到修订版2019年10月21日接受2019年10月21日关键词：Django房地产RETS机器学习a b st ra ctRETSManager是一个基于Django的平台，用于检索，存储和同步来自多个列表服务（MLS）服务器的房地产数据和图像该平台可用于构建同步和最新的房地产数据集，用于机器学习、基于图像的深度学习和 住 房 市 场 统 计 分 析 等 研 究 领 域 。 该 平 台 将 来 自 MLS 服 务 器 的 原 始 XML 数 据 转 换 和 重 命 名 为PostgreSQL或 SQLite数 据 库 中 的 结 构 数 据 此 外 ， 它 还 支 持 在 本 地 驱 动 器 或 Amazon Web Services（AWS）S3存储桶上存储和同步图像该平台是生产就绪的，可以部署为多个Docker容器，包括用于Web应用程序支持的预配置Nginx容器以及用于支持定期更新的Celery和Redis容器©2019作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本V。1.0版此代码版本所用代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2019_246法律代码许可证MIT使用GitHub的代码版本控制系统使用Python、Django（Python库）、Redis、Celery、Nginx、Docker的软件代码语言、工具和服务编译要求、操作环境依赖性定义如下：https://github.com/issamhammad/RETSManager/blob/master/requirements.txt如果有开发人员文档/手册https://github.com/issamhammad/RETSManager/blob/master/README.md问题支持电子邮件Issam. dal.ca1. 动机和意义研究房地产市场趋势非常受欢迎。房地产市场的健康对经济有重大影响，因此，分析最新的房地产数据至关重要，并由不同的机构和各方执行。例如[1]采用新闻媒体情绪的文本分析来研究房地产投资信托基金（REIT）的市场走势。如今，机器学习正被用于房屋评估。几个包含房地产记录的开源数据库被∗通讯作者。电子邮件地址：Issam. dal.ca（I. Hammad），kamal. dal.ca（K.El-Sankary），hollyhornibrook@gmail.com（H.Hornibrook）。https://doi.org/10.1016/j.softx.2019.100351例如[2]由研究文章[3]的作者发表，[4]由研究文章[5]的作者发表。一些机器学习论文使用了数据集[2]和[4]，尽管它们相对较小，因为它们包含412和372个实例。使用小的开源数据集可能是机器学习的一个主要缺点，特别是对于基于图像的机器学习研究。最近的一些机器学习研究文章提出了使用图像和列表数据的组合来进行更准确的评估的想法。在研究文章中可以看到例子[6与其他行业一样，可以应用更多用例，例如使用机器学习评估房地产信心指数（RECI）[9]和房地产文档分类[10]。2352-7110/©2019作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2I. Hammad，K.El-Sankary和H.Hornibrook/SoftwareX 10（2019）100351在北美，房地产上市数据存储在不同地区房地产协会拥有的MLS服 务 器 上 。 数 据 使 用 称 为 Real Estate Transaction Standard（RETS）的XML统一格式存储[11]。将RETS XML数据转换为结构化数据，并确认所有事务同步和更新可能是一项艰巨的任务。 该平台提供了一个端到端的解决方案，研究人员可以从MLS服务器检索并同步RETS数据到结构化数据库中，并将相应的图像同步到本地或云上的结构化文件夹中。 因此，研究人员可以构建干净的数据集，其中可以包含多达数十万的列表数据和图像 在研究中使用，因为他们可以访问MLS服务器。2. 软件描述该平台是根据[12]中描述的加拿大房地产协会（CREA）数据分发设施（DDF）有效载荷结构设计的因此，它可以在没有任何修改的情况下用于构建数据集，以基于加拿大住房市场数据进行研究。此外，通过对数据库结构的微小更改，该平台可以支持全球任何MLS服务器。许多GitHub存储库提供了工作RETS客户端，如[13]和[14]，它们被认为是从MLS服务器检索数据的微型客户端。然而，没有一个存储库像本文中提出的那样提供用于检索、存储和同步房地产数据的该平台由多个层次模型组成，这些模型将从MLS服务器获得的原始XML数据转换为具有图像的同步数据库。图1说明了该平台的高级体系结构。根据图1、平台由多个应用组成。文件ddf_client/ddf_client.py包含DDFClient类，该类包含使用RETS客户端从MLS服务器更新和同步列表数据和图像所需的所有函数[13]。在项目的rets_lib文件夹下包含了[13]的本地副本并进行了轻微修改。平台中的其余模块是本地开发的。为了遵循CREA然后，它请求所有可用列表ID的主列表。最后，在将数据库中的现有列表与接收到的活动列表与主列表中的列表ID进行比较之后，它通过“按ID请求”下载缺失的这些步骤中的每一个都是使用一个单独的函数来实现的，该函数可用于DDFClient类的任何自定义用法。重要的是要注意，下载活动记录是使用多个调用完成的，因为DDF API有100个返回记录的限制，这也是由DDFClient处理的。下载列表后，DDFClient会通过update_photos（）函数将所有图像直接下载并重定向到本地驱动器或AWSS3存储桶此外，客户端识别应该删除的过期列表update（）函数的返回值是一个python字典，它首先包含新列表的完整细节，其次是自上次更新以来过期列表的ID图2说明了DDFClient的流程图。ddf_manager是另一个高级应用程序，它创建了一个DDFClient对象（在ddf_client.py下），以便将列表数据存储到使用Django模型定义的数据库中。此应用程序根据DDFClient对象返回的数据处理数据库的更新和同步。这包括根据DDFClient对象返回的ID删除所有过期的列表. 此外，它通过了所有DDFClient所需的配置，如凭证、媒体存储介质（S3或本地）和记录器设置。ddf_manager支持其他功能，如图像同步器，它可以重新验证所有可用图像是否与数据库记录匹配。如果不需要在数据库中存储记录，则可以直接使用DDFClient类，而不需要ddf_manager。web_app是Django Web应用程序的模板web_app模板可用于开发此平台的Web界面。通过与房地产销售人员合作获得API密钥，使用数千条真实和日常记录进行测试RETSManager部署在生产环境中，为房地产销售人员提供每24小时自动同步该平台已已经运行了一年多RETSManager为部署提供生产就绪解决方案。该平台提供了一 个 预 配 置 的 docker- compose 文 件 ， 该 文 件 运 行 Redis ，Celery，Nginx和RETSManager的多个容器。这为用户提供了基于计划自动同步数据库的能力，并且该平台可以通过使用模板web_app开发Web界面来部署为Web应用程序。RETS- Manager也可以作为一个独立的应用程序使用，这对于那些只对检索手动批量数据感兴趣而不需要在Web服务器上部署或需要定期更新的用户非常有用。存储库文档提供了有关这两种部署模式的详细信息。3. 说明性实例使用文件ddf_manager/ddf.py，用户可以配置主MLS服务器的更新频率。Cel- ery将处理这些定期更新的调度。图3显示了ddf_manager/ddf.py的源代码，默认情况下，该代码配置为每24小时更新图4演示了一个来自生产Web服务器的日志文件示例，该服务器使用RETS管理器和实际数据。该图显示了两个相隔24小时的自动更新。记录的信息包括新列表的数量、更新列表的数量（不是新的但已修改）、删除列表的数量、照片下载的状态和其他信息。图5演示了如何将RETS管理器数据与其他组件（如具有更新数据的实时地图）集成的示例。这张照片来自使用RETS管理器的制作网站RETS管理器web_app可以开发为基于ddf_manager检索和同步的数据构建交互式解决方案。RETSManager被开发为CREA MLS的即用型软件包，无需修改。但是，用户可能需要直接使用DDFClient类执行特定任务，而不需要ddf_manager。图6演示了如何使用DDFClient类。该代码片段显示了主列表如何如何获取;然后是如何请求具体的列表详细信息。该代码段还展示了如何为列表请求特定照片4. 影响和结论本文介绍了RETSManager一个用于同步房地产挂牌数据和媒体的平台.该平台提供了一个端到端的解决方案，用于从MLS服务器获取RETS数据并将其同步到结构化数据库中。此外，该平台还支持在本地或AWS S3存储桶中同步和下载列表图像。因此，可以使用由研究人员建立一个结构化的房地产数据库，I. Hammad，K.El-Sankary和H.Hornibrook/SoftwareX 10（2019）1003513Fig. 1.RETSManager高级架构。图二. DDFClient流程图。图像用于与房价趋势、市场预测、统计相关的研究，特别是用于基于图像的机器学习。此外，它还可以用于收集和同步所需的数据库，以执行[15]提出的基于代理的房地产交易模拟例如，该平台可以用于构建数据集，以进行类似于[6]和[7]的研究，这些研究基于房地产数据提出了基于图像的机器学习模型。在[6]和[7]中，投入了时间来构建用于模型开发的合适数据集因此，RETS管理器为研究人员提供了构建这些4I. Hammad，K.El-Sankary和H.Hornibrook/SoftwareX 10（2019）100351图3.第三章。w w w . e x a m p l e . c o m 的示例ddf.py，每24小时应用一次定期更新。图四、日 志 文 件 的快照，每 24 小 时 自动定期更新。图五.将RETS管理器数据与谷歌地图集成。数据集轻松快捷。此外，它还支持定期更新需要实时和最新数据的实验此外，可以轻松开发自定义Web应用程序，以使用提供的Web应用程序模板可视化数据或任何分析结果。该平台经过了一年多的测试，使用了数千条记录，每天都有定期更新。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作I. Hammad，K.El-Sankary和H.Hornibrook/SoftwareX 10（2019）1003515引用图六、平 台 的自定义使用示 例 。[8]David Koch等人，用补丁级convnets对建筑条件进行视觉估计。在 ：2 0 1 8 年ACM多 媒 体 研讨会的 会 议 记录[1]Ruscheinsky，Roxanne Jessica，Lang Marcel，Schäfers Wolfgang. 通过文本分析来真实评估媒体情绪。J Prop Invest Financ2018;36（5）：410-28.[2]UCI Machine Learning Repository，Real estate valuation data set Data Set[online]：https://archive.ics.uci.edu/ml/datasets/Real+estate+valuation+data+set.[3]叶义成，徐子光。运用案例推理的比较法建立房地产估价模型。Appl SoftComput2018;65：260-71.[4] UCI机器学习库，住宅建筑数据集[在线]：https://archive.ics.uci.edu/ml/datasets/Residential+Building+Data+Set。[5]放大图片作者：Rafiei，Hossein Mohammad，Adelli Hojjat.一种用于房地产单位销售价格估计的新型机器学习模型。J Constr Eng Manage2015;142（2）.04015066。[6]游 强 ， 庞 荣 ， 曹 玲 ， 罗 军 。 基 于 图 像 的 房 地 产 估 价 。 IEEE TransMultimed2017;19（12）：2751-9.[7]Omid Poursaeed，Matera Tomán，Belongie Serge.基于视觉的房地产价格估计。Mach Vis Appl2018;29（4）：667-76.房地产技术ACM; 2018.[9]马玉坤，徐斌，徐晓飞。基于房地产新闻的房地产信心指数。Emerg MarkFinanc Trade2018;54（4）：747-60.[10]马里奥·博登本德库兹洛克·比约恩·马丁人工智能在房地产领域的广泛应用，包括文档分类、信息提取和预测分析。J Gen Manage2019;44（3）：170-9.[11]RETS 2.0 标 准 ， 全 国 房 地 产 经 纪 人 协 会 [ 在 线 ] ： https ： //www.nar.realtor/retsorg.nsf/RETS2_Service_final.pdf网站。[12]数 据 馈 送 技 术 文 档 （ DDF ） ， 加 拿 大 房 地 产 协 会 （ CREA ） ， [ 在 线 ] ：https://www.crea.ca/wp-content/uploads/2016/02/Data_Distribution_Facility_Data_Feed_Technical_Documentation.pdf。[13]Refindlyllc/retsGitHub 仓 库 。 2017 年 ， 中 国 科 学 院 出 版 社 。https://github.com/refindlyllc/rets[14]Opendoor-labs/rets GitHub 仓 库 。 2016 年 ， https://github.com/opendoor-labs/rets。[15]伊万·加西亚·马加里诺拉奎斯塔·拉奎尔。基于代理的房地产交易模拟。JComput Sci2017;21：60-76.