Apache Pulsar：云原生消息平台，突破存储与计算耦合

Apache Pulsar是一款由Apache软件基金会支持的云原生消息平台，旨在解决现代企业对高性能、高可扩展性和安全性的需求。作为翟佳的专业分享，该PPT主要涵盖了以下几个关键点： 1. **背景与区别**： Pulsar的设计初衷是为了应对企业级场景中的挑战，如处理大量主题（Topics）（百万级别），实现低延迟、持久化数据以及跨地域复制。它试图打破存储与计算的耦合，避免了传统系统中因存储问题导致的运维痛点，如服务扩展、数据重平衡和文件系统的高度依赖。 2. **云原生架构**： Pulsar采用存储计算分离的架构，将消息的存储和处理逻辑分开，这有助于提高性能和一致性。它采用了分层和分片的设计，允许在不影响全局吞吐量的情况下进行扩展。这种设计确保了系统能够同时提供高性能和强一致性，支持统一的队列和流接口。 3. **特性亮点**： - **多租户支持**：Pulsar允许多个用户或租户共享同一个平台，每个租户可以有独立的安全和权限管理，保证数据隔离。 - **统一消费模型**：Pulsar提供四种消费模型（Exclusive、Failover、Shared、Key-Shared），可以根据应用场景灵活选择，确保消息的可靠传输。 - **企业级特性**：包括数据持久化、数据复制、事务支持、消息确认机制（如Nack/Ack）等，满足企业级应用的高可用性和容错性要求。 4. **技术基础**： Pulsar的可靠性建立在Apache BookKeeper之上，这是一种分布式存储系统，用于存储Pulsar的分区（Ledgers）。BookKeeper保证了数据的持久化和顺序性，而Broker负责消息的路由和处理，Ledger则存储实际的数据，Cursor用于跟踪消费进度。 5. **社区与生态**： 分享还提到了StreamNative这个组织，由翟佳这样的社区活跃成员领导，表明Pulsar拥有活跃的开发者和用户社区，持续推动技术创新和生态系统的发展。 总结来说，Apache Pulsar是一款为云时代设计的消息传递平台，其核心优势在于提供高性能、可扩展和安全的解决方案，通过云原生架构和统一的接口，有效解决了大规模数据处理中的挑战，并通过与BookKeeper的紧密集成，保证了数据的可靠性和一致性。同时，Pulsar的社区活跃度和丰富的企业级特性使其在实时流处理领域得到了广泛应用。