OGG+TDT部署详指南：从源端到目标端

本手册详细介绍了OGG+TDT（5.x版本）在实时大数据场景中的部署过程，由星环信息科技（上海）有限公司提供，主要针对Oracle数据库作为源端数据源和目标端的HDFS数据存储。以下是关键步骤的概要： 1. **文档说明**：手册首先明确了文档的目的和适用范围，为OGG+TDT的部署提供了全面的指导，包括从源端Oracle配置到目标端处理、TDTClient配置以及Inceptor和TDT本身的设置。 2. **数据流图**：手册可能包含一个数据流图，展示了数据从Oracle数据库通过OGG传输到TDTClient，再到HDFS的整个流程，直观地展示了各个组件之间的交互。 3. **源端Oracle配置**： - **开启归档**：确保Oracle数据库开启了归档模式以支持数据备份和恢复。 - **附加/强制日志**：配置数据库的日志选项，以便捕获数据变化。 - **用户与权限**：创建并配置Goldengate用户，并为表设置logging属性。 - **字符集检查**：确认数据库的字符集设置与OGG兼容。 4. **源端OGG配置**： - **安装与初始化**：在ORACLE服务器上安装OGG，包括添加用户、设置环境变量和配置进程。 - **编辑进程**：对管理、抽取和传输进程进行定制，确保正确连接和处理数据。 - **添加与启动进程**：配置并启动所需的OGG进程，如trandata处理和表结构定义文件生成。 - **数据加载**：根据表列数调整，添加trandata以确保数据迁移。 5. **目标端OGG配置**： - **目标端安装**：在目标端安装OGG软件，设置环境变量，配置handler.properties文件，创建相关目录，上传jar包。 - **编辑进程**：继续调整管理、Handler进程，确保目标端数据处理的顺畅。 - **启动与监控**：启动目标端OGG进程并检查运行状态。 6. **TDTClient配置**： - **安装与配置**：安装TDTClient并修改配置以适应数据同步需求。 - **数据同步脚本**：编写或执行脚本，实现实时将数据同步到HDFS。 - **测试**：确保数据同步功能正常，并进行必要的测试验证。 7. **Inceptor建表**：Inceptor用于在目标系统中创建和管理表，根据配置文件自动创建相应的表结构。 8. **配置TDT**： - **Reader设置**：配置TDT的Reader以读取源数据。 - **表过滤与转换**：应用过滤规则和转换操作，以清洗和格式化数据。 - **列映射**：映射源表列到目标表结构。 - **选择目录表**：确定要同步的表和目录。 - **调试**：在部署过程中进行必要的调试，确保数据质量和处理性能。 9. **TDT应用**：完成所有配置后，开始使用TDT进行数据处理，包括表同步、转换和可能的数据清洗。 通过遵循本手册提供的步骤，用户能够有效地在OGG+TDT环境中实现Oracle数据库到HDFS的实时数据迁移和处理，满足大数据分析的需求。