51job数据库系统架构实践与性能监控关键点

在2011年的数据库大会上，前程无忧（51job）的技术专家杨向勇分享了关于51job数据库系统架构的实践经验。51job作为中国领先的招聘网站，其数据库系统的稳定性和性能对业务至关重要。面对曾经遇到的系统过载问题，如严重超载导致速度减慢和可能的宕机，他们采取了一系列措施来优化和改进数据库架构。 首先，51job采用了3+1的数据库架构设计，包括三台主数据库服务器和一台备用服务器。这种架构的主要优点在于结构简单且可靠性高，避免了单点故障的风险，通过数据复制和备份技术（如DG - 数据库镜像），在主库出现故障时可以迅速切换到备用库。然而，这样的架构也存在局限性，比如处理能力降低，因为资源被分散到了多台服务器上，同时额外占用了一台小型服务器资源。 在性能监控与维护方面，他们关注多个关键领域：业务层面的监控，包括使用9top、sar、iostat、vmstat等工具实时检查主机性能；网络和主机层面的健康状况，通过crontab和shell脚本定时执行sar-u、sar-d等命令；数据库层面，通过AWR报告追踪 Transactions、v$sysstat、commit和rollback等指标，以及利用dbms_workload_repository模块进行定期的性能报告。空间管理也是重要环节，监控主机磁盘空间使用情况（通过bdf命令）和数据库表空间（dba_data_files和dba_free_space）状态，确保足够的存储空间。 为了保持系统的高效运行，他们实施了日常维护策略，包括定期清理历史数据，将不再需要的数据离线存储并通过SQL操作进行数据迁移，利用exp/expdp工具进行数据导出和导入，以及管理表分区（dropping partitions）以优化存储效率。 当系统面临压力时，他们考虑过硬件升级，但更重要的是通过合理的架构设计和持续的性能优化来解决性能瓶颈。这个案例强调了数据库系统架构在支撑高并发、大数据量在线服务中的关键作用，以及维护团队如何通过监控、调整和维护来保障业务的稳定和顺畅运行。