没有合适的资源?快使用搜索试试~ 我知道了~
首页阿里双11:互联网技术超级工程的创新与突破
阿里双11:互联网技术超级工程的创新与突破
![](https://csdnimg.cn/release/wenkucmsfe/public/img/star.98a08eaa.png)
"九年双11互联网技术超级工程" 阿里巴巴的双11活动自2009年开始,已经成为全球瞩目的年度购物盛宴,同时也是互联网技术的巅峰之作。每年的双11,阿里巴巴都会面临前所未有的流量挑战,这不仅考验着公司的技术实力,也是对全球互联网技术的一次重大检验。在2017年的双11活动中,阿里巴巴CTO张建锋(行癫)强调,双11不仅是商业的盛宴,更是技术的狂欢。 今年的双11技术亮点在于,交易创建峰值达到了每秒32.5万笔,支付成功峰值则为每秒25.6万笔,这些数字刷新了历史纪录,表明阿里技术在高并发处理上的卓越能力。在复杂的促销策略下,系统依然保持稳定,为消费者提供了流畅的购物体验。 技术在双11中的作用不再仅仅是保障,而是全面赋能整个活动。数据智能和机器智能贯穿于各个环节,如商品推荐、交易链路管理、决策制定等,都借助了机器智能的力量。例如,鲁班智能设计系统在短时间内生成了超过4亿张海报,智能客服系统处理了95%的咨询量,推荐系统实时分析用户行为以优化决策,而智能音箱天猫精灵的热销也标志着阿里巴巴的机器智能产品进入千家万户。 未来的规划中,阿里巴巴希望通过阿里云平台,将积累的技术成果开放给商家、合作伙伴及客户,使他们能够利用最新的技术提升服务质量和效率。这体现了阿里巴巴致力于将技术转化为普惠基础设施,降低社会创新成本,提高整体创新效能的目标。 阿里巴巴技术大学作为培养技术人才的摇篮,致力于传承、突破和开拓,分享阿里技术的文化与实践经验,助力技术人才的成长。每一位阿里技术人的贡献,共同塑造了这场年度技术超级工程的辉煌成就。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/10220577/bg10.jpg)
8 > 9 年双 11:互联网技术超级工程
得了 10%(AB-Test) 以上的搜索指标提升。
阿里巴巴人工智能搜索应用的未来计划
通用用户表征学习
前面介绍的 DUPN 是一个非常不错的用户表征学习模型,但基于 query 的
attention 只适合搜索,同时缺少基于日志来源的 attention,难以推广到其他业
务,在思考做一个能够适合多个业务场景的用户表征模型,非搜索业务做些简单 fine
tuning 就能取得比较好的效果;同时用户购物偏好受季节和周期等影响,时间跨度
非常大,最近 K 个行为序列假设太简单,我们在思考能够做 life-longlearning 的模
型,能够学习用户过去几年的行为序列;
搜索链路联合优化
从用户进入搜索到离开搜索链路中的整体优化,比如搜索前的 query 引导(底
纹),搜索中的商品和内容排序,搜索后的 query 推荐(锦囊)等场景;
跨场景联合优化
今年搜索内部主搜索和店铺内搜索联合优化取得了很好的结果,未来希望能够拓
展在更多大流量场景,提高手淘的整体购物体验;
多目标联合优化
搜索除了成交外,还需要承担卖家多样性,流量公平性,流量商业化等居多平台
和卖家的诉求,搜索产品中除了商品搜索外还有“穹顶”,“主题搜索”,“锦囊”,“内
容搜索”等非商品搜索内容,不同搜索目标和不同内容(物种)之间的联合优化未来
很值得深挖。
智能交互
“搜索排序做的再好,搜索也只是一个工具”,如何把搜索从工具做成私人导购助
手,能够听懂你的语言,了解你的情绪,能够对话和多轮交互,解决售前售后困惑,
推荐更加个性化的商品应该是搜索未来的另外一个主要发展方向。
![](https://csdnimg.cn/release/download_crawler_static/10220577/bg12.jpg)
10 > 9 年双 11:互联网技术超级工程
数据库如何实现极致弹性能力?
数据库上云
大家都知道,数据库实现弹性能力是比较困难的,一方面是因为数据库对性能要
求非常高,另一方面是需要进行大量数据的搬迁,成本很高。数据库弹性的第一个方
向是数据库上云,通过云的弹性能力来解决数据库的资源问题。
数据库上云面临以下几个难点:
1. 数据库如何快速上云,构建混合云?
2. 如何降低虚拟化带来的性能损耗?
3. 公有云环境和内部网络的互通问题。
经过几年的探索,这些难点都已得到解决。第一,数据库使用了高性能 ECS,
通过使用 SPDK、DPDK 技术和 NVMe 存储,可以让虚拟化损耗非常小,接近物理
机;第二,我们建设了一套数据库混合云管理系统,可以同时管理云上和云下环境,
在双 11 前快速把混合云构建起来,支撑双十一。第三,我们通过 VPC 网络连接阿
里内部和公有云的网络,解决了混合云场景下的网络互联问题。
![](https://csdnimg.cn/release/download_crawler_static/10220577/bg13.jpg)
新智能 < 11
数据库弹性调度
使用云的资源还不够,为了实现更加极致的弹性能力,我们通过离在线混部技
术,可以让数据库使用离线集群的计算资源,最大程度的降低成本。为了实现离在线
混部技术,有两大基础条件:第一是容器化,通过容器实现了计算节点的资源隔离和
统一调度,第二是计算存储分离,它是数据库弹性调度能力的基础。非常幸运的是,
这几年技术的发展让存储计算分离成为可能,比如:25G 高速网络、RDMA 技术,
高性能分布式存储等。
数据库存储计算分离架构如图,包括存储层、网络层和计算层,存储使用阿里自
研分布式存储系统 - 盘古,数据库计算节点则部署在阿里自研容器(Pouch)中,通
过 25G 网络与存储节点连接。
为了实现数据库存储和计算分离,我们在分布式存储 - 盘古上做了非常多的优
化,比如:
●
响应延时:单路读写响应延时 0.4ms,RDMA 网络响应延时小于 0.2ms;
●
二三异步:第三个数据副本异步完成,极大提升了延时的稳定性;
●
QoS 流控:根据前台业务负载情况控制后台 IO 流量,保证写入性能;
●
快速 Failover:存储集群单机 failover 优化为 5 秒,达到业界领先水平;
●
高可用部署:单集群四 Rack 部署,将数据可靠性提升到 10 个 9。
同时,在数据库方面我们也做了大量优化,最重要的是降低计算节点和存储节点
的网络传输量,以此来降低网络延迟对于数据库性能的影响。第一是 redologsync
![](https://csdnimg.cn/release/download_crawler_static/10220577/bg14.jpg)
12 > 9 年双 11:互联网技术超级工程
优化,将数据库吞吐提升了 100%。第二是由于盘古支持原子写功能,所以我们关闭
了数据库的 DoubleWriteBuffer,高压力下数据库吞吐提升 20%,网络带宽节省了
100%。
双 11 数据库混部技术
容器化和存储计算分离,使得数据库无状态化,具备调度能力。在双 11 高峰,
通过将共享存储挂载到不同的计算集群(离线集群),实现数据库的快速弹性。
阿里新一代数据库技术
阿里最早是商业数据库,然后我们做去 IOE,研发出阿里 MySQL 分支 AliSQL
和分布式中间件 TDDL。2016 年,我们开始研发阿里新一代数据库技术,我们把它
命名为 X-DB,X 代表追求极限性能,挑战无限可能的含义。
阿里的业务场景对于数据库有很高的要求:
●
数据要可扩展;
●
持续可用、数据要强一致;
●
数据量大、重要程度高;
●
数据有明显的生命周期特性,冷热数据特点鲜明;
●
交易、库存,支付等业务,操作逻辑简单,要求高性能。
因此,定义新一代数据库就要包含几个重要特点:具备数据强一致、全球部署能
力;内置分布式、高性能、高可用能力;具备自动数据生命周期管理能力。
剩余295页未读,继续阅读
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
小what
- 粉丝: 0
- 资源: 2
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 构建Cadence PSpice仿真模型库教程
- VMware 10.0安装指南:步骤详解与网络、文件共享解决方案
- 中国互联网20周年必读:影响行业的100本经典书籍
- SQL Server 2000 Analysis Services的经典MDX查询示例
- VC6.0 MFC操作Excel教程:亲测Win7下的应用与保存技巧
- 使用Python NetworkX处理网络图
- 科技驱动:计算机控制技术的革新与应用
- MF-1型机器人硬件与robobasic编程详解
- ADC性能指标解析:超越位数、SNR和谐波
- 通用示波器改造为逻辑分析仪:0-1字符显示与电路设计
- C++实现TCP控制台客户端
- SOA架构下ESB在卷烟厂的信息整合与决策支持
- 三维人脸识别:技术进展与应用解析
- 单张人脸图像的眼镜边框自动去除方法
- C语言绘制图形:余弦曲线与正弦函数示例
- Matlab 文件操作入门:fopen、fclose、fprintf、fscanf 等函数使用详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)