Metamorphosis:淘宝定制版Kafka详解
版权申诉
85 浏览量
更新于2024-06-19
收藏 218KB DOCX 举报
“Metaq详细手册.docx”介绍了Memorphosis,这是一个基于Java的、针对淘宝内部应用定制优化的消息中间件,源自LinkedIn的开源MQ——Kafka。文档详细阐述了Memorphosis的设计原则、特点、部署结构以及如何开始使用。
Memorphosis的设计原则主要包括:
1. **消息持久化**:所有消息都会被保存在磁盘上,确保数据的可靠性。
2. **高吞吐量**:系统设计优先考虑处理大量数据的能力。
3. **消费状态客户端保存**:消费者的消费进度和状态存储在客户端,允许消费者在故障后恢复。
4. **分布式架构**:支持分布式部署,生产者、服务器和消费者都可以分布在网络的不同节点上。
Memorphosis的特点:
1. **完全用Java重写**:提供高效的协议和通信框架。
2. **负载均衡**:在发送端实现,确保资源的有效利用。
3. **高可用性方案**:通过Master/Slave异步和同步复制保证服务不中断。
4. **广播消息支持**:专有的客户端实现广播消息的发送。
5. **顺序消息发送**:与Diamond结合,实现有序的消息传递。
6. **事务支持**:支持本地和分布式事务,符合JTA(Java Transaction API)标准。
开始使用:
在使用Memorphosis时,首先要创建消息会话工厂类——`MessageSessionFactory`,它负责创建消息生产者和消费者,同时进行以下操作:
- **服务发现**:通过Diamond和Zookeeper自动查找Meta服务器地址列表。
- **连接管理**:自动创建和销毁到Meta服务器的连接,实现连接复用。
- **消息存储和恢复**:在消费者端,消息的存储和在故障后的恢复。
- **资源协调**:管理创建的生产者和消费者等资源。
`MessageSessionFactory`是一个接口,其具体实现类为`MetaMessageSessionFactory`。创建该工厂实例后,就可以进一步创建消息生产者和消费者,从而进行消息的发送和接收。
Memorphosis作为一款强大的消息中间件,不仅继承了Kafka的核心功能,还在多个方面进行了扩展和优化,提供了更加完善的特性,如Java实现、负载均衡、高可用性、事务支持等,以满足大规模分布式系统中的消息传递需求。在实际应用中,用户可以通过简单的API和配置来快速接入和使用。
165 浏览量
2023-06-09 上传
2023-06-02 上传
2024-09-06 上传
2024-09-06 上传
2024-09-06 上传
![](https://profile-avatar.csdnimg.cn/7386ab88f5ce450e8817b9541ae085eb_caryxp.jpg!1)
小小哭包
- 粉丝: 1931
- 资源: 4044
最新资源
- 计算机人脸表情动画技术发展综述
- 关系数据库的关键字搜索技术综述:模型、架构与未来趋势
- 迭代自适应逆滤波在语音情感识别中的应用
- 概念知识树在旅游领域智能分析中的应用
- 构建is-a层次与OWL本体集成:理论与算法
- 基于语义元的相似度计算方法研究:改进与有效性验证
- 网格梯度多密度聚类算法:去噪与高效聚类
- 网格服务工作流动态调度算法PGSWA研究
- 突发事件连锁反应网络模型与应急预警分析
- BA网络上的病毒营销与网站推广仿真研究
- 离散HSMM故障预测模型:有效提升系统状态预测
- 煤矿安全评价:信息融合与可拓理论的应用
- 多维度Petri网工作流模型MD_WFN:统一建模与应用研究
- 面向过程追踪的知识安全描述方法
- 基于收益的软件过程资源调度优化策略
- 多核环境下基于数据流Java的Web服务器优化实现提升性能