Java文件系统的性能和可伸缩性得到改进,以适应大规模数据处理和分析的需求。
需积分: 5 139 浏览量
更新于2023-11-24
收藏 6.41MB PDF 举报
《藏经阁-That Learns From a Neural Network Huge Graph-38.pdf》是一份由斯德哥尔摩皇家理工学院高级研究员Jim Dowling所撰写的论文,介绍了基于Kafka和YARN的Spark Streaming作为服务的实践。该论文首先介绍了瑞典的数据中心研究环境SICS ICE以及Hopsworks平台,该平台提供了Spark、Flink、Kafka、Tensorflow和Hadoop等服务,并且已有130多名活跃用户。作者指出Hadoop已经不再是炙手可热的技术,并对其在2009年至2016年间的发展进行了概述,指出其核心架构在这一时期发生了巨大的变化,从“小脑”(NameNode, ResourceMgr)发展为“巨大的身体”(DataNodes)。为了进行Hadoop的智能化升级,文章提出了利用外部弱一致性元数据服务来构建Hadoop的“大脑”,并介绍了HopsFS的相关工作,强调了它在处理Spotify工作负载时性能提升了16倍。
总的来说,这篇论文介绍了一种新的基于Kafka和YARN的Spark Streaming作为服务的实践方式,以及对Hadoop的智能化升级的探讨,为研究人员和工程师提供了有价值的参考和启发。
2019-12-24 上传
2022-09-19 上传
2018-04-04 上传
2019-09-14 上传
2017-11-13 上传
2022-09-19 上传
2021-03-06 上传
2022-01-10 上传
weixin_40191861_zj
- 粉丝: 85
- 资源: 1万+
最新资源
- Raspberry Pi OpenCL驱动程序安装与QEMU仿真指南
- Apache RocketMQ Go客户端:全面支持与消息处理功能
- WStage平台:无线传感器网络阶段数据交互技术
- 基于Java SpringBoot和微信小程序的ssm智能仓储系统开发
- CorrectMe项目:自动更正与建议API的开发与应用
- IdeaBiz请求处理程序JAVA:自动化API调用与令牌管理
- 墨西哥面包店研讨会:介绍关键业绩指标(KPI)与评估标准
- 2014年Android音乐播放器源码学习分享
- CleverRecyclerView扩展库:滑动效果与特性增强
- 利用Python和SURF特征识别斑点猫图像
- Wurpr开源PHP MySQL包装器:安全易用且高效
- Scratch少儿编程:Kanon妹系闹钟音效素材包
- 食品分享社交应用的开发教程与功能介绍
- Cookies by lfj.io: 浏览数据智能管理与同步工具
- 掌握SSH框架与SpringMVC Hibernate集成教程
- C语言实现FFT算法及互相关性能优化指南