优化中国太保Greenplum数据库性能策略

本文档是中国太平洋保险针对其Greenplum数据库平台进行的一次系统调优总结，由易安信电脑系统（中国）有限公司于2013年3月20日发布。调优背景是由于部分新应用上线后，系统性能下降和function执行速度变慢。调优是在一个2+12节点的GP集群环境中进行，集群已存储大量生产数据（28TB），但未广泛使用压缩表和分区表。 调优的主要内容包括： 1. **调优需求**：系统性能问题主要表现为在多任务并行时响应延迟和夜间并发时function执行缓慢，白天单任务时性能较好。 2. **调优时间安排**：调优分为三个阶段，每个阶段持续一周，从2月18日至25日。第一阶段主要针对发现的问题进行初步诊断。 3. **执行计划分析**： - **不同时期执行计划比较**：通过对不同时间点的执行计划对比，找出性能瓶颈。 - **差异原因分析**：对计划差异进行深入剖析，可能涉及SQL查询优化、索引选择或主键约束设置等。 - **调优原则**：强调了根据业务需求和系统特性制定的优化策略，如避免全表扫描、合理使用索引等。 4. **分布键选择与优化**： - **调优前/后效率**：评估调整前后的性能提升。 - **SQL优化示例**：提供具体的SQL语句优化实例。 - **效率分析**：通过实测数据展示优化效果。 - **调优方案**：给出针对性的优化措施。 - **调优原则**：再次强调了优化的原则，如选择合适的分布键以提升数据分布均匀性。 5. **索引、主键约束**：同样进行了优化，包括效率提升、SQL调整和原则说明。 6. **分区表规划**： - **调优前/后效率**：分区表的优化对性能的影响。 - **SQL示例**：展示了如何利用分区表进行查询加速。 - **效率分析**：对比分区前后的查询性能。 - **调优方案**：针对分区表的调整策略。 - **调优原则**：分区表应根据数据访问模式进行合理划分。 7. **关联查询效率优化**：针对查询性能瓶颈，通过SQL调整实现更快的查询速度。 8. **后续优化建议**： - **硬件问题**：考虑硬件升级，如内存、CPU或I/O性能的提升。 - **磁盘空间回收**：清理不必要的数据以释放磁盘资源。 - **分布键调整**：动态监控并适时调整分布键。 - **分区表建立**：根据业务变化和查询模式创建或调整分区表。 本文档详尽地介绍了在特定环境下如何进行Greenplum数据库的系统调优，通过实例分析和优化策略，为企业提供了一套实用的性能优化方案。