VerizonMedia的Pulsar与BookKeeper存储:实战与优化
需积分: 10 136 浏览量
更新于2024-07-15
收藏 1.43MB PDF 举报
"Pulsar Storage on BookKeeper"讨论了Apache Pulsar在使用BookKeeper作为其存储系统的情况,这是Apache软件基金会的一个顶级项目,旨在提供下一代云原生分布式消息流平台。Pulsar的设计特点是计算与存储分离,支持多租户、持久化存储以及跨区域数据复制,并具有强一致性和高性能的特性。
Apache Pulsar在Verizon Media的应用:
- 在Verizon Media内部,Pulsar被开发为一个托管的发布-订阅服务,最初在Yahoo/VMG内部使用,并于2016年开源。
- 全球部署覆盖6个数据中心(亚洲、欧洲和美国),采用全网状复制架构,确保高可用性。
- Pulsar在Verizon Media中扮演着关键角色,服务于各种应用程序,特别是那些对低延迟有要求的服务,确保写入可用性。
基准测试与生产环境:
- 大多数基准测试并不完全模拟生产环境,这意味着在实际应用中,消息系统的表现可能会有所不同。
- 当数据可以完全存放在内存中,且磁盘I/O不在关键路径(写入路径)时,消息系统通常表现良好。
Pulsar的IO隔离:
- Pulsar通过IO隔离机制确保不同工作负载之间的性能不会互相影响,这对于处理多种类型和规模的消息流至关重要。
BookKeeper与不同存储设备:
- Pulsar利用BookKeeper作为其日志存储系统,BookKeeper是一个分布式的、高可用的、低延迟的日志服务,能够适应不同的存储设备,如SSD和HDD,以优化性能和成本效率。
案例研究:Kafka到Pulsar的转换:
- 文档可能提到将Kafka的用例迁移到Pulsar,这通常涉及到性能比较、功能匹配和迁移策略,以展示Pulsar如何解决Kafka在某些场景下的挑战。
未来展望:
- 对Pulsar的未来发展方向进行探讨,可能包括功能增强、性能优化、新的用例探索,以及更广泛的社区支持和生态系统建设。
"Pulsar Storage on BookKeeper"深入探讨了Pulsar如何利用BookKeeper实现高效、可靠的分布式存储,同时展示了它在Verizon Media的实际应用和性能测试情况,以及从其他消息系统(如Kafka)迁移的可能性。此外,文档还暗示了Pulsar的未来发展趋势,强调了其在满足复杂和苛刻的生产环境需求方面的潜力。
2022-05-30 上传
2022-05-30 上传
2023-03-26 上传
2023-07-13 上传
2023-07-15 上传
2023-10-31 上传
2023-05-26 上传
2023-05-17 上传
2023-06-06 上传
![](https://profile-avatar.csdnimg.cn/a66ec689d300432c84dada52ac759532_zhaijia03.jpg!1)
ApachePulsar
- 粉丝: 2w+
- 资源: 8
最新资源
- Lombok 快速入门与注解详解
- SpringSecurity实战:声明式安全控制框架解析
- XML基础教程:从数据传输到存储解析
- Matlab实现图像空间平移与镜像变换示例
- Python流程控制与运算符详解
- Python基础:类型转换与循环语句
- 辰科CD-6024-4控制器说明书:LED亮度调节与触发功能解析
- AE particular插件全面解析:英汉对照与关键参数
- Shell脚本实践:创建tar包、字符串累加与简易运算器
- TMS320F28335:浮点处理器与ADC详解
- 互联网基础与结构解析:从ARPANET到多层次ISP
- Redhat系统中构建与Windows共享的Samba服务器实战
- microPython编程指南:从入门到实践
- 数据结构实验:顺序构建并遍历链表
- NVIDIA TX2系统安装与恢复指南
- C语言实现贪吃蛇游戏基础代码