NMQ：统一消息队列平台，解耦与高性能的架构设计

消息中间件NMQ是百度公司推出的一个高度定制化的通用消息队列系统，其设计初衷是为了统一和简化UGC（User Generated Content）产品线中的消息提交服务。NMQ旨在解决传统提交系统中存在的问题，如重复开发、分散运维以及并发与时序控制的挑战。 NMQ的核心特点是解耦和运维平台化，它支持partition key，能提供低延迟的服务，且消息队列仅保证同一topic内的命令时序性，允许跨topic的消息类别共享名称。模型设计上，NMQ采用proxy作为消息唯一入口，实现了按topic的消息分流。每个topic对应一个topic-server（ts），负责消息的存储，支持级联和备份机制以提高容错性和可用性。 消息的推送（pusher）部分，NMQ采用了可扩展的集群架构，允许通过register模型进行协议扩展，同时配置和命令点存放在下游，增强了系统的灵活性。为了应对消费者数量增加导致的性能瓶颈，NMQ通过ts级联扩展功能，可以支持多级级联，提高pusher的处理能力。针对命令数量增长带来的性能限制，NMQ通过拆分topic来实现水平扩展，例如按partition key划分，确保相同partition内的消息仍保持时序性。 在并发和时序处理方面，NMQ充分考虑了实际业务需求，尤其是像贴吧、知道这类高并发场景，它提倡一发多答的并行更新模式，显著提升了更新性能。此外，NMQ还支持国际化数据互通，全程提供Mqp平台的支持，并通过统一的消息标识（msg=product+topic+cmd）来标识来自不同产品线的消息。 NMQ是一个集成了高性能、可扩展性、解耦和运维自动化于一体的通用消息中间件，其目标是通过标准化和集中运维，降低人力成本，提升业务系统的整体效能。随着业务发展，NMQ将继续适应需求变化，优化性能，成为支撑百度UGC产品线稳定高效运行的重要基石。