徐汇区治理网关故障复盘：2021年6月25日事件处理与优化

在2021年6月25日发生的徐汇区汇治理网关故障事件报告中，事件起始于当天14:10至23:42，影响的主要业务包括已经面向公众使用的汇治理小程序，以及徐汇区“一网统管”实战平台的大屏部分数据显示功能，后者属于次要影响。问题的核心在于业务系统访问智能网关的接口时遭遇了报错。 故障的具体表现为，实战平台大屏首先在9:43反馈接口报错，经过技术团队的迅速响应，发现是由于数据分析平台的接口因为频繁访问超过了每分钟2000次的访问次数限制，从而被拒绝服务。为解决这个问题，团队在10:02临时通过调整redis规则将总次数限制清零，使得接口暂时恢复正常。 意识到频繁的总次数限制可能导致再次出现问题，团队决定去除这个限制，以实现更灵活的限流策略。10:45，运维团队升级至公司二线寻求解决方案，二线提供了通过sgadmin网页修改invokelimit和requestlimit配置的方法。11:00，项目组计划将那些限制较低的接口访问总次数阈值增大，以缓解压力。 在11:30，一线运维人员成功通过sgadmin网页修改了事件分析-街道镇接口的redis规则，但同时注意到其他接口也有类似问题，共有600多条规则涉及访问次数限制，因此计划编写脚本来批量修改这些规则。然而，在13:00尝试使用脚本验证历史记录规则（history:apigate:routeRule_op_z2sub_xhcyzhdp）时，脚本并未成功，运维人员随后转向手动修改sgadmin网页上的规则，但由于规则众多，网页加载缓慢且在修改过程中卡死，导致了操作延迟。 14:10，用户反馈所有接口都无法调用，团队迅速与二线合作排查，初步怀疑是13:00运行的修改历史记录的脚本可能引发了问题。尽管初步判断，后续对脚本进行了深入检查，以确定具体影响因素。 总结来说，这次故障事件揭示了对智能网关访问控制策略的优化需求，包括对Redis规则的管理、限流策略的调整以及自动化脚本的开发和测试。同时，也强调了团队在遇到问题时的快速响应、多途径协同以及问题追踪的重要性，确保了在类似事件中能有效防止和解决问题。