搜狗高级架构师分享:异步调度优化提升重计算服务器性能
需积分: 10 55 浏览量
更新于2024-07-07
收藏 2.42MB PDF 举报
本文档探讨了重计算网络服务器的异步调度性能优化,作者李颖欣,作为搜狗搜索事业部高级架构师,拥有丰富的8年多C++架构研发经验。在搜狗的分布式KV存储系统和大规模分布式离线/在线存储解决方案中,她负责了关键部分的架构设计和实施。近两载,她专注于C++异步调度编程范式Workflow的开发,并推动其开源,同时领导srpc生态系统的建设。
文档主要分为以下几个部分:
1. **任务流重构搜索Cache流水线模式**:传统的流水线模式在处理多路下游数据源时显得不够灵活,特别是当数据源的延迟和吞吐量各不相同时。搜索Cache模块的关键在于高效整合请求结果并执行复杂计算。作者提出采用任务流重构,以解决资源配比的灵活性问题,确保异步请求不会阻塞线程资源,并能应对突发的网络耗时。
- **网络模型与控制逻辑**:对比了Reactor和Proactor两种常见的网络模型,Workflow采用了新的网络模型,通过回调函数统一管理不同协议的请求,确保线程资源的有效复用,即使在网络通信中遇到错误也能动态调整流程。
- **计算通信融合**:强调了网络通信和计算在性能优化中的协同作用,通过底层统一调度方式,实现了网络与计算的无缝结合,减少了不必要的调度开销。
2. **具体需求与重构实践**:在重构过程中,着重考虑了异步请求、突发网络负载处理、易于扩展新数据源以及在错误情况下的流程调整。搜狗内部已使用自研的Workflow框架对Cache模块进行了业务重构,显著提高了整体吞吐量和降低单个请求的延迟。
3. **编程范式**:文档还深入探讨了任务流编程范式在复杂任务处理中的应用,这不仅提升了系统的可扩展性和灵活性,也简化了开发者的工作,有助于提高代码的可维护性和性能。
总结部分,作者分享了在网络模型和控制逻辑、资源对等性以及任务流的运用方面的实践经验,展示了如何通过异步调度优化重计算网络服务器的性能,从而更好地支持大规模分布式系统的高效运作。这个研究对于理解现代搜索引擎架构优化以及分布式系统设计具有重要意义。
2022-07-14 上传
2021-09-10 上传
2023-06-10 上传
2023-10-21 上传
2023-05-22 上传
2023-09-26 上传
2023-05-17 上传
2023-05-20 上传
2023-07-28 上传
![](https://profile-avatar.csdnimg.cn/afaabc09be964afd9c7bf52f81b89a77_gufengleijiu.jpg!1)
gufengleijiu
- 粉丝: 4
- 资源: 284
最新资源
- 构建Cadence PSpice仿真模型库教程
- VMware 10.0安装指南:步骤详解与网络、文件共享解决方案
- 中国互联网20周年必读:影响行业的100本经典书籍
- SQL Server 2000 Analysis Services的经典MDX查询示例
- VC6.0 MFC操作Excel教程:亲测Win7下的应用与保存技巧
- 使用Python NetworkX处理网络图
- 科技驱动:计算机控制技术的革新与应用
- MF-1型机器人硬件与robobasic编程详解
- ADC性能指标解析:超越位数、SNR和谐波
- 通用示波器改造为逻辑分析仪:0-1字符显示与电路设计
- C++实现TCP控制台客户端
- SOA架构下ESB在卷烟厂的信息整合与决策支持
- 三维人脸识别:技术进展与应用解析
- 单张人脸图像的眼镜边框自动去除方法
- C语言绘制图形:余弦曲线与正弦函数示例
- Matlab 文件操作入门:fopen、fclose、fprintf、fscanf 等函数使用详解