普元Primeton DITM数据集成平台:增量数据抽取策略解析
需积分: 40 55 浏览量
更新于2024-08-08
收藏 1.39MB PDF 举报
"增量数据抽取模式-c#控件picturebox实现画图功能"
本文主要讨论了数据集成平台的部署结构和增量数据抽取模式,其中涉及普元数据集成产品Primeton DITM的一些关键特性。
4.1 数据集成平台部署结构:
DI Server支持集群部署,每个实例在独立的JVM上运行,通过HTTP心跳信号进行通信。DI Metadata Warehouse可以存储为文件,也可以使用关系型数据库。DI Studio是开发人员使用的工具,用于构建数据处理模型,而Governor则用于部署和监控模型。
4.2 增量数据抽取模式:
增量数据抽取旨在捕获自上次处理以来发生变更的数据。Primeton DITM提供了基于触发器的增量数据抽取方法。该方法需要在业务数据库中设置触发器,以便在记录发生增、删、改时,将这些变化写入临时表,然后由DI Server从临时表中读取这些增量数据。这种方法的优点在于利用了数据库自身的机制,确保了数据抽取的可靠性。
此外,文件还提到了Primeton DITM产品的其他方面,如:
- 数据处理模型分为同步和异步两种,同步模型适用于实时性要求高的场景,而异步模型适合批处理任务,两者各有适用的环境。
- 业务模型调度和作业监控功能,允许用户管理和跟踪数据处理任务的状态。
- 高可用性(HA)能力,确保企业级的负载均衡和故障切换。
- 功能和资源权限管理,确保数据安全和操作合规。
- 支持多种操作系统、Java EE服务器、数据库、浏览器和JDK版本,具有良好的兼容性和灵活性。
- 提供了实际案例,如诸暨市智慧安居工程数据交换平台和上海银行CRM系统的解决方案,展示了产品在实际应用中的价值。
Primeton DITM作为一款高效、易管控的数据集成平台,具备灵活的部署选项、可靠的增量数据抽取策略以及全面的管理和监控功能,能满足不同企业对于数据集成和处理的需求。
2020-12-26 上传
2020-08-26 上传
218 浏览量
2023-06-28 上传
2023-05-30 上传
2023-06-28 上传
2023-09-04 上传
2023-03-24 上传
2024-10-12 上传
刘看山福利社
- 粉丝: 33
- 资源: 3923
最新资源
- JDK 17 Linux版本压缩包解压与安装指南
- C++/Qt飞行模拟器教员控制台系统源码发布
- TensorFlow深度学习实践:CNN在MNIST数据集上的应用
- 鸿蒙驱动HCIA资料整理-培训教材与开发者指南
- 凯撒Java版SaaS OA协同办公软件v2.0特性解析
- AutoCAD二次开发中文指南下载 - C#编程深入解析
- C语言冒泡排序算法实现详解
- Pointofix截屏:轻松实现高效截图体验
- Matlab实现SVM数据分类与预测教程
- 基于JSP+SQL的网站流量统计管理系统设计与实现
- C语言实现删除字符中重复项的方法与技巧
- e-sqlcipher.dll动态链接库的作用与应用
- 浙江工业大学自考网站开发与继续教育官网模板设计
- STM32 103C8T6 OLED 显示程序实现指南
- 高效压缩技术:删除重复字符压缩包
- JSP+SQL智能交通管理系统:违章处理与交通效率提升