微众银行自研DataSphere Studio：一站式数据应用开发解决方案

DSS的用户界面统一，通过工作流式的图形化拖拽开发体验，支持数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度以及数据输出应用等数据应用开发的全流程场景需求。DSS的设计允许用户根据需要替换或新增功能组件，实现了金融级的高并发、高可用、多租户隔离和资源管控等执行与调度能力。 DSS的主要特点包括： 一、一站式、全流程的应用开发管理界面 DSS集成了多个系统，如数据开发IDE工具Scriptis、数据可视化工具Visualis、数据质量管理工具Qualitis、工作流调度工具Azkaban等。这种插拔式的设计使得用户可以轻松替换集成的Web系统，例如，将Scriptis替换成Zeppelin，将Azkaban替换成DolphinScheduler。 二、基于Linkis计算中间件的AppJoint设计理念 AppJoint是DSS集成上层Web系统的核心概念，它定义了一套统一的前后台接入规范，方便外部数据应用系统接入DSS。通过AppJoint的串联和工作流的编排，用户可以进行实时执行和定时调度的数据应用开发。外部系统通过AppJoint集成，可以享有资源管控、并发限流、用户资源管理等功能，并实现跨系统级的上下文信息共享，解决应用孤岛问题。 三、Project级管理单元 以Project为单位进行数据应用系统的组织和管理，定义了一套项目协同开发的通用标准，方便跨数据应用系统的项目管理。 四、已集成的数据应用组件 DSS通过多个AppJoint的实现，已经集成了包括数据调度、数据开发、数据可视化、数据质量、数据发送和信号节点在内的多种数据应用系统。DSS还支持集成新的数据应用系统，以替换或丰富现有的开发流程。 压缩包子文件的文件名称列表中包含的"说明.htm"可能是对DSS的使用说明文档，而"DataSphereStudio"可能是DSS软件的主程序或安装包。" 在了解了DSS的功能和特点后，接下来对一些重要的IT知识点进行详细说明： 1. 插拔式框架设计：这是一种软件架构设计模式，允许软件系统中的组件或模块可以像插头和插座一样插入和拔出。这种设计使得软件更加灵活，便于扩展、升级和维护。在DSS中，插拔式设计使得用户能够根据实际需要替换或增加功能模块，增强系统的扩展性和适应性。 2. 计算中间件：在DSS中，Linkis作为计算中间件承担了连接、复用与简化的关键作用。它主要负责在不同的数据处理任务之间提供通用的通信和管理机制。计算中间件可以将底层计算资源抽象化，从而使得上层应用能够更便捷地使用计算资源。 3. 工作流式图形化拖拽开发体验：DSS提供的工作流式开发体验允许用户通过直观的图形界面进行应用开发，它支持拖拽式的操作，用户无需编写代码即可完成应用的搭建。这种开发方式降低了开发门槛，使得业务人员也能够参与到数据应用的开发中。 4. 高并发、高可用、多租户隔离和资源管控：这些是DSS在设计时考虑的关键技术特性。高并发意味着系统能够同时处理大量的用户请求；高可用保证了服务的持续稳定运行；多租户隔离确保了不同用户间的数据和资源互不影响；资源管控则提供了对计算和存储资源的合理分配和使用，以满足不同业务场景的需求。 5. AppJoint设计理念：DSS的AppJoint设计理念类似于微服务架构中服务注册与发现的机制，它定义了统一的服务接入规范，使得不同的Web系统能够快速接入DSS平台。这种设计理念促进了系统的模块化和解耦，有助于构建一个可伸缩、灵活、易管理的数据应用生态系统。 6. Project级管理单元：在大型组织中，通过Project级别的管理单元可以有效地组织资源，进行项目协同开发。这种管理单元提供了一种通用标准，允许跨不同数据应用系统的工作协同进行，有助于提高工作效率和项目管理的透明度。 7. 数据应用组件的集成：DSS通过集成了多个数据应用组件，如数据调度、数据开发、数据可视化等，实现了数据应用的全流程覆盖。这些组件的集成减少了用户对不同工具的依赖，提升了数据应用开发的整体效率和体验。