服务器故障应急处理：Web与数据库排查与恢复

该文档主要探讨的是服务器软件故障应急预案，针对线上业务访问和关键服务的故障处理。以下详细解析文档中的知识点： 1. 网站访问故障处理: - 首先，当发现线上业务访问出现问题时，应立即检查负载均衡器(LB)上的web挂载状态，使用命令`ipvsadm -Ln`来验证服务的健康状态。 - 接着，通过访问监控系统（例如Nagios，通过访问`https://10.31.11.30/nagios`）获取服务器的实时状态，根据显示的状况判断故障源。 - 定位到问题服务器后，首先将其从LB上移除，通过停止服务（如`/etc/init.d/webcheck stop`）并检查日志，进一步诊断和修复。 2. 数据库故障处理: - 数据库故障可能由人为操作失误或数据同步问题引起。 - 对于人为误操作，可以通过备份恢复数据（比如使用备份文件）或者利用binlog（二进制日志）追踪操作，回滚到错误前的状态。 - 数据不同步涉及主从复制，当出现锁表（`flushtableswithreadlock;`）、停止复制（`stopslave;`）等情况时，需要操作主服务器进行同步，确认无误后再解锁（`unlocktables;`）。 3. 预览服务器故障及迁移策略: - 预览服务器若出现问题，可能会导致文件预览功能受限。此时，如果域控或文件存储服务器也故障，可以考虑将服务临时迁移到联通云平台进行修复。 - 修复完成后，再逐步切换回电信环境，确保业务连续性。 4. 文件存储服务器硬盘故障: - 当硬盘出现故障，如发现/dev/sdb异常，首先通过`umount`卸载有问题的硬盘，然后查看系统日志（`dmesg|tail`）以获取更多故障信息。 - 使用`mkfs.xfs`对新硬盘进行格式化，接着执行`mount -a`重新挂载，确保数据可用。 总结来说，这份文档提供了一套完整的服务器故障应急响应流程，涵盖了从网站访问、数据库管理到文件存储服务器的故障排查与恢复措施，强调了在实际运维中快速定位问题并采取相应措施的重要性。