Informatica开发过程与最佳实践

"Informatica 公司的开发过程涵盖了数据集成方法论、物理部署策略、开发流程、开发模式、数据质量探查、增量抽取设计、参数设定建议、整体流程设计、断点续传处理以及性能优化等多个方面。" Informatica 是一款强大的数据集成工具，其开发过程描述文档详细阐述了从项目开始到实施的各个阶段的关键步骤。 1) **数据集成方法论：Velocity53** Velocity53 是 Informatica 的一种数据集成方法论，它可能包含一套系统化的步骤和最佳实践，用于指导数据集成项目的规划、设计、实施和监控，确保高效的数据迁移和转换。 2) **物理部署** 建议 Informatica Server 应独立部署，以减少网络I/O和性能延迟。根据数据量和网络状况，可以考虑将 Informatica Server 与目标数据库部署在同一台机器上，以优化性能。在数据源分散的情况下，使用中转区可以降低错误概率。 3) **开发过程** 开发过程分为多个阶段，包括： - **数据源分析**，了解源系统的表结构、字段属性和数据质量。 - **目标设计**，与 DBA 合作使用建模工具设计目标表，考虑维表和事实表的时间戳、约束和索引。 - **ETL 设计**，创建 Velocity 映射，定义源到目标的转换规则和业务逻辑。 - **测试文档**，制定单元测试和集成测试计划。 - **开发人员文档**，详细记录 Mapping 设计和其他组件的说明。 4) **开发模式** 未提供具体信息，但通常可能涉及敏捷开发、迭代或瀑布模型等。 5) **Dataprofiling 数据质量探查** 数据探查用于评估源数据的质量，识别错误、不一致和缺失值，为清洗和转换阶段提供依据。 6) **增量抽取设计** 增量抽取策略确保只处理自上次抽取以来发生改变的数据，以提高效率并减少不必要的资源消耗。 7) **设定参数的推荐方式** 提供了两种推荐的参数设定方法，以优化 Informatica 的运行效率。 8) **整体流程设计建议** 提供了一套流程设计原则，可能涉及工作流管理、错误处理和流程监控。 9) **Session 断点续传** 描述了在 Session 失败时如何处理，可能包括保存断点信息以便后续恢复执行。 10) **性能建议** 提出了内存管理和多存储节点的优化策略，以及索引和约束的调整，以提升 Informatica 的整体性能。 Informatica 公司的开发过程强调了从项目初期的规划到后期的优化，涵盖了数据集成的各个方面，旨在确保高效、高质量的数据处理。这一系列的步骤和建议对于任何 Informatica 开发团队来说都是宝贵的指南。