没有合适的资源?快使用搜索试试~ 我知道了~
首页阿里双11技术盛宴:九年演进与智能驱动力
阿里双11技术盛宴:九年演进与智能驱动力
需积分: 9 3 下载量 141 浏览量
更新于2024-07-19
收藏 25.49MB PDF 举报
阿里技术分享-九年双11互联网技术演进 在阿里巴巴技术分享中,我们深入了解了阿里集团CTO张建锋(花名:行癫)对于双11这一全球性商业和技术盛事的看法。他强调,阿里巴巴的双十一不仅是全球商业活动的高峰,更是互联网技术的超级工程。每年的双十一,都见证着阿里技术的显著进步,如2017年的交易峰值达到每秒32.5万笔订单创建和25.6万笔支付成功,展现了公司在大数据处理、智能算法以及云计算等领域的强大实力。 今年的双11,数据智能和机器智能深度融入了各个环节。例如,鲁班智能设计系统产生了超过4亿张个性化海报,智能客服系统承担了高达95%的客户服务,推荐系统实时分析用户行为并据此做出决策。在系统保障方面,自动化技术如机房管理、压力测试等也广泛应用,体现人机协同的高效运作。同时,智能音箱天猫精灵在双11期间的销售突破100万台,标志着阿里巴巴的机器智能产品进入了千家万户,成为日常生活的一部分。 未来,阿里云平台被寄予厚望,它不仅为商家、合作伙伴和客户提供技术支持,还希望通过技术的共享,降低全社会的创新成本,提升创新效率。阿里巴巴技术大学作为阿里巴巴的技术人才培养基地,秉持“传承”、“突破”和“开拓”的理念,致力于提升技术人员的能力和视野,推动技术创新和应用。 总结来说,阿里双11不仅是商业活动的展示舞台,更是技术驱动的创新实验场。通过历年来的技术演进,阿里巴巴不仅在业务上实现了突破,也在推动着整个行业的数字化转型,使得更多企业受益于其先进的技术成果。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/10233746/bg10.jpg)
8 > 9 年双 11:互联网技术超级工程
得了 10%(AB-Test) 以上的搜索指标提升。
阿里巴巴人工智能搜索应用的未来计划
通用用户表征学习
前面介绍的 DUPN 是一个非常不错的用户表征学习模型,但基于 query 的
attention 只适合搜索,同时缺少基于日志来源的 attention,难以推广到其他业
务,在思考做一个能够适合多个业务场景的用户表征模型,非搜索业务做些简单 fine
tuning 就能取得比较好的效果;同时用户购物偏好受季节和周期等影响,时间跨度
非常大,最近 K 个行为序列假设太简单,我们在思考能够做 life-longlearning 的模
型,能够学习用户过去几年的行为序列;
搜索链路联合优化
从用户进入搜索到离开搜索链路中的整体优化,比如搜索前的 query 引导(底
纹),搜索中的商品和内容排序,搜索后的 query 推荐(锦囊)等场景;
跨场景联合优化
今年搜索内部主搜索和店铺内搜索联合优化取得了很好的结果,未来希望能够拓
展在更多大流量场景,提高手淘的整体购物体验;
多目标联合优化
搜索除了成交外,还需要承担卖家多样性,流量公平性,流量商业化等居多平台
和卖家的诉求,搜索产品中除了商品搜索外还有“穹顶”,“主题搜索”,“锦囊”,“内
容搜索”等非商品搜索内容,不同搜索目标和不同内容(物种)之间的联合优化未来
很值得深挖。
智能交互
“搜索排序做的再好,搜索也只是一个工具”,如何把搜索从工具做成私人导购助
手,能够听懂你的语言,了解你的情绪,能够对话和多轮交互,解决售前售后困惑,
推荐更加个性化的商品应该是搜索未来的另外一个主要发展方向。
![](https://csdnimg.cn/release/download_crawler_static/10233746/bg12.jpg)
10 > 9 年双 11:互联网技术超级工程
数据库如何实现极致弹性能力?
数据库上云
大家都知道,数据库实现弹性能力是比较困难的,一方面是因为数据库对性能要
求非常高,另一方面是需要进行大量数据的搬迁,成本很高。数据库弹性的第一个方
向是数据库上云,通过云的弹性能力来解决数据库的资源问题。
数据库上云面临以下几个难点:
1. 数据库如何快速上云,构建混合云?
2. 如何降低虚拟化带来的性能损耗?
3. 公有云环境和内部网络的互通问题。
经过几年的探索,这些难点都已得到解决。第一,数据库使用了高性能 ECS,
通过使用 SPDK、DPDK 技术和 NVMe 存储,可以让虚拟化损耗非常小,接近物理
机;第二,我们建设了一套数据库混合云管理系统,可以同时管理云上和云下环境,
在双 11 前快速把混合云构建起来,支撑双十一。第三,我们通过 VPC 网络连接阿
里内部和公有云的网络,解决了混合云场景下的网络互联问题。
![](https://csdnimg.cn/release/download_crawler_static/10233746/bg13.jpg)
新智能 < 11
数据库弹性调度
使用云的资源还不够,为了实现更加极致的弹性能力,我们通过离在线混部技
术,可以让数据库使用离线集群的计算资源,最大程度的降低成本。为了实现离在线
混部技术,有两大基础条件:第一是容器化,通过容器实现了计算节点的资源隔离和
统一调度,第二是计算存储分离,它是数据库弹性调度能力的基础。非常幸运的是,
这几年技术的发展让存储计算分离成为可能,比如:25G 高速网络、RDMA 技术,
高性能分布式存储等。
数据库存储计算分离架构如图,包括存储层、网络层和计算层,存储使用阿里自
研分布式存储系统 - 盘古,数据库计算节点则部署在阿里自研容器(Pouch)中,通
过 25G 网络与存储节点连接。
为了实现数据库存储和计算分离,我们在分布式存储 - 盘古上做了非常多的优
化,比如:
●
响应延时:单路读写响应延时 0.4ms,RDMA 网络响应延时小于 0.2ms;
●
二三异步:第三个数据副本异步完成,极大提升了延时的稳定性;
●
QoS 流控:根据前台业务负载情况控制后台 IO 流量,保证写入性能;
●
快速 Failover:存储集群单机 failover 优化为 5 秒,达到业界领先水平;
●
高可用部署:单集群四 Rack 部署,将数据可靠性提升到 10 个 9。
同时,在数据库方面我们也做了大量优化,最重要的是降低计算节点和存储节点
的网络传输量,以此来降低网络延迟对于数据库性能的影响。第一是 redologsync
![](https://csdnimg.cn/release/download_crawler_static/10233746/bg14.jpg)
12 > 9 年双 11:互联网技术超级工程
优化,将数据库吞吐提升了 100%。第二是由于盘古支持原子写功能,所以我们关闭
了数据库的 DoubleWriteBuffer,高压力下数据库吞吐提升 20%,网络带宽节省了
100%。
双 11 数据库混部技术
容器化和存储计算分离,使得数据库无状态化,具备调度能力。在双 11 高峰,
通过将共享存储挂载到不同的计算集群(离线集群),实现数据库的快速弹性。
阿里新一代数据库技术
阿里最早是商业数据库,然后我们做去 IOE,研发出阿里 MySQL 分支 AliSQL
和分布式中间件 TDDL。2016 年,我们开始研发阿里新一代数据库技术,我们把它
命名为 X-DB,X 代表追求极限性能,挑战无限可能的含义。
阿里的业务场景对于数据库有很高的要求:
●
数据要可扩展;
●
持续可用、数据要强一致;
●
数据量大、重要程度高;
●
数据有明显的生命周期特性,冷热数据特点鲜明;
●
交易、库存,支付等业务,操作逻辑简单,要求高性能。
因此,定义新一代数据库就要包含几个重要特点:具备数据强一致、全球部署能
力;内置分布式、高性能、高可用能力;具备自动数据生命周期管理能力。
剩余295页未读,继续阅读
![jpeg](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
目标是什么
- 粉丝: 0
- 资源: 34
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Hadoop生态系统与MapReduce详解
- MDS系列三相整流桥模块技术规格与特性
- MFC编程:指针与句柄获取全面解析
- LM06:多模4G高速数据模块,支持GSM至TD-LTE
- 使用Gradle与Nexus构建私有仓库
- JAVA编程规范指南:命名规则与文件样式
- EMC VNX5500 存储系统日常维护指南
- 大数据驱动的互联网用户体验深度管理策略
- 改进型Booth算法:32位浮点阵列乘法器的高速设计与算法比较
- H3CNE网络认证重点知识整理
- Linux环境下MongoDB的详细安装教程
- 压缩文法的等价变换与多余规则删除
- BRMS入门指南:JBOSS安装与基础操作详解
- Win7环境下Android开发环境配置全攻略
- SHT10 C语言程序与LCD1602显示实例及精度校准
- 反垃圾邮件技术:现状与前景
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)