在海量数据迁移方案中，针对Oracle数据库中的大型表或因业务架构调整需要重新分布数据的情况，本文重点关注如何有效地进行数据迁移，同时保证数据完整性、最小化对业务的影响以及控制停机时间。迁移策略主要分为全量迁移和增量迁移两个步骤。
1. **数据迁移场景与目标**
数据迁移通常发生在以下场景：表数据过大、需要调整业务架构导致的数据重新分布，如并发冲突（enq:HW-contention、TX-rowlockcontention、TX-indexcontention）等问题。目标是将表从一个库迁移到另一个库，可能是一对一、一对多、多对一或多对多的关系，迁移平台可以涉及Oracle到Oracle、Oracle到MySQL，甚至Oracle到NoSQL等。迁移的核心目标是确保数据完整性和迁移效率，尽可能限制停机时间，例如0分钟、1分钟等，且要考虑不同数据量级，如10GB至1TB。
2. **全量迁移常见方案**
- **exp/imp/expdp/impdp**: Oracle提供的导出和导入工具，适用于Oracle数据库之间的迁移。
- **Insert into table select*from table@Dblink**: 利用DBLink技术直接从源数据库导入数据。
- **MV Refresh**: Oracle的Materialized View刷新功能，用于实时或批量更新目标表。
- **SqlULDR/loaddata**: 外部工具，用于数据文件的导入。
3. **增量迁移常见方案**
- **Extent->Rowid**：关注Oracle数据库的物理结构，利用Rowid进行迁移。
- **Rowid(pkid)/Procedure**: 使用自定义函数或存储过程处理Rowid迁移。
- **Perl脚本**：自动化脚本编程实现更灵活的数据迁移。
- **TDDL数据层**：某些数据库中间件的解决方案，提供数据迁移服务。
4. **化整为零之Extent方案**
在Oracle数据库中，特别是8i之前的版本，数据是以Extent（固定大小的数据块）为单位存储的。8i之后，虽然逻辑上仍是Extent，但管理方式有所变化。因此，为了高效迁移和减少风险，一种策略是将数据按照Extent进行分割，然后逐个迁移，即所谓的"化整为零"。这样做的好处是可以避免一次性处理大量数据引发的并发问题，如ora-01555错误，同时降低迁移过程中回滚的复杂性。
迁移时需要注意的风险包括可能出现的ora-01555错误，以及在出现问题时的回滚操作可能导致的性能瓶颈。通过采用化整为零的Extent策略，可以更好地控制迁移的复杂性和潜在问题。
最后，对于大规模迁移，尤其是时间敏感的场景，应选择简单、高效且可靠的方案，并在实际操作中结合具体环境和需求进行调整和优化。迁移计划应该细致周密，以确保在最短的时间内完成任务，并尽量减少对业务流程的影响。
我的内容管理
展开
