百度BFE的Go语言应用与挑战
"李炳毅在Gopher China 2016大会上的演讲分享了Go语言在百度BFE(Baidu FrontEnd)项目中的应用,讲述了BFE作为百度统一前端平台的功能、发展背景以及为何选择Go语言进行重写。此外,还探讨了Go语言在BFE项目中遇到的挑战,如垃圾回收(GC)问题及其优化策略。" 李炳毅,作为百度运维部BFE团队的一员,自2010年加入百度,专注于流量接入、安全和防攻击工作,并参与了多个使用Go语言开发的项目,如7层流量代理Go-BFE和应用层防火墙WAF。BFE是一个七层流量接入平台,主要负责百度各重要产品的流量调度、防攻击和数据分析,日处理请求量达到千亿级别。 随着BFE从Transmit、Utr、C-BFE的演变到Go-BFE,主要原因是原有系统存在高修改成本、事件驱动编程模型的调试难度、C语言的开发效率低下、配置管理落后以及不支持平台化等问题。因此,技术选型转向Go语言,考虑到其较低的学习成本、同步并发编程模型、内存管理和强大的语言描述能力,尽管在BFE的场景下性能并非首要考虑因素,但可以通过算法设计和架构优化来满足性能需求。 然而,Go语言的垃圾回收机制带来了延迟问题,这对实时性要求极高的BFE来说是个挑战。李炳毅提到,GC的延迟可能达到几十到几百毫秒,这在高并发环境下可能导致明显的性能影响。为了优化,他们采取了一系列措施,包括减少对象数量、合并小对象、利用C代码和cgo、对象复用(对象池)以及深度优化系统结构和算法。例如,通过将小对象合并成大对象,利用Array减少引用,以及在必要时将数据移至C代码,以降低GC扫描的影响。 演讲中还讨论了其他技术问题,如http协议栈的处理和分布式架构的设计,以及开发过程中对好用工具链的需求。这些内容展示了Go语言在大规模、高性能网络服务中的实际应用和面临的挑战,以及如何通过技术创新和优化来解决这些问题。
剩余30页未读,继续阅读
import requests import re headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'} def baidu(page): num = (page - 1) * 10 url = 'http://www.baidu.com/s?ie=utf-8&medium=0&rtt=1&bsst=1&rsv_dl=news_b_pn&cl=2&wd=meizu&tn=news&rsv_bp=1&rsv_sug3=16&rsv_sug1=6&rsv_sug7=100&oq=&rsv_btype=t&f=8&inputT=5752&rsv_sug4=6599&x_bfe_rqs=032000000000000000004800000000000000000000000008&x_bfe_tjscore=0.080000&tngroupname=organic_news&newVideo=12&goods_entry_switch=1&pn='+ str(num) res = requests.get(url, headers=headers).text baidu(i+1) print("第"+str(i+1)+"页爬取成功") import re p_title = '}">(.*?)
- 粉丝: 0
- 资源: 3
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- Hadoop生态系统与MapReduce详解
- MDS系列三相整流桥模块技术规格与特性
- MFC编程:指针与句柄获取全面解析
- LM06:多模4G高速数据模块,支持GSM至TD-LTE
- 使用Gradle与Nexus构建私有仓库
- JAVA编程规范指南:命名规则与文件样式
- EMC VNX5500 存储系统日常维护指南
- 大数据驱动的互联网用户体验深度管理策略
- 改进型Booth算法:32位浮点阵列乘法器的高速设计与算法比较
- H3CNE网络认证重点知识整理
- Linux环境下MongoDB的详细安装教程
- 压缩文法的等价变换与多余规则删除
- BRMS入门指南:JBOSS安装与基础操作详解
- Win7环境下Android开发环境配置全攻略
- SHT10 C语言程序与LCD1602显示实例及精度校准
- 反垃圾邮件技术:现状与前景