徐汇区治理网关故障复盘:2021年6月25日事件处理与优化
在2021年6月25日发生的徐汇区汇治理网关故障事件报告中,事件起始于当天14:10至23:42,影响的主要业务包括已经面向公众使用的汇治理小程序,以及徐汇区“一网统管”实战平台的大屏部分数据显示功能,后者属于次要影响。问题的核心在于业务系统访问智能网关的接口时遭遇了报错。 故障的具体表现为,实战平台大屏首先在9:43反馈接口报错,经过技术团队的迅速响应,发现是由于数据分析平台的接口因为频繁访问超过了每分钟2000次的访问次数限制,从而被拒绝服务。为解决这个问题,团队在10:02临时通过调整redis规则将总次数限制清零,使得接口暂时恢复正常。 意识到频繁的总次数限制可能导致再次出现问题,团队决定去除这个限制,以实现更灵活的限流策略。10:45,运维团队升级至公司二线寻求解决方案,二线提供了通过sgadmin网页修改invokelimit和requestlimit配置的方法。11:00,项目组计划将那些限制较低的接口访问总次数阈值增大,以缓解压力。 在11:30,一线运维人员成功通过sgadmin网页修改了事件分析-街道镇接口的redis规则,但同时注意到其他接口也有类似问题,共有600多条规则涉及访问次数限制,因此计划编写脚本来批量修改这些规则。然而,在13:00尝试使用脚本验证历史记录规则(history:apigate:routeRule_op_z2sub_xhcyzhdp)时,脚本并未成功,运维人员随后转向手动修改sgadmin网页上的规则,但由于规则众多,网页加载缓慢且在修改过程中卡死,导致了操作延迟。 14:10,用户反馈所有接口都无法调用,团队迅速与二线合作排查,初步怀疑是13:00运行的修改历史记录的脚本可能引发了问题。尽管初步判断,后续对脚本进行了深入检查,以确定具体影响因素。 总结来说,这次故障事件揭示了对智能网关访问控制策略的优化需求,包括对Redis规则的管理、限流策略的调整以及自动化脚本的开发和测试。同时,也强调了团队在遇到问题时的快速响应、多途径协同以及问题追踪的重要性,确保了在类似事件中能有效防止和解决问题。
![](https://csdnimg.cn/release/download_crawler_static/20359957/bg1.jpg)
下载后可阅读完整内容,剩余5页未读,立即下载
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/5e138b6811d54e0588d04f6271982b90_weixin_44171756.jpg!1)
- 粉丝: 0
- 资源: 1
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决Eclipse配置与导入Java工程常见问题
- 真空发生器:工作原理与抽吸性能分析
- 爱立信RBS6201开站流程详解
- 电脑开机声音解析:故障诊断指南
- JAVA实现贪吃蛇游戏
- 模糊神经网络实现与自学习能力探索
- PID型模糊神经网络控制器设计与学习算法
- 模糊神经网络在自适应PID控制器中的应用
- C++实现的学生成绩管理系统设计
- 802.1D STP 实现与优化:二层交换机中的生成树协议
- 解决Windows无法完成SD卡格式化的九种方法
- 软件测试方法:Beta与Alpha测试详解
- 软件测试周期详解:从需求分析到维护测试
- CMMI模型详解:软件企业能力提升的关键
- 移动Web开发框架选择:jQueryMobile、jQTouch、SenchaTouch对比
- Java程序设计试题与复习指南
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)