知乎Kubernetes上的Kafka平台设计与实现

"这篇文档详细介绍了知乎如何基于Kubernetes构建其Kafka平台，解决Kafka资源规划、系统稳定性以及业务耦合度等问题。知乎技术中台工程师白瑜庆分享了Kafka在知乎的应用场景，包括日志处理、数据传输和消息队列服务，并探讨了采用Kubernetes的原因和面临的挑战。文档内容涵盖了Kafka集群的多集群架构、资源管理、服务器选型以及Kafka在Kubernetes上的设计与调度策略。" 在知乎的业务场景中，Kafka平台扮演着重要角色，承载了超过40个Kafka集群，拥有1000+ Topic和2000+ broker。然而，原先的Kafka平台存在资源规划不合理、系统单点风险、业务与Kafka深度耦合等挑战。为了解决这些问题，知乎决定采用Kubernetes进行重构。 Kubernetes作为一个强大的集群管理和调度工具，能够有效地解决Kafka资源规划和管理的问题。通过多Kafka集群的方式，知乎将Topic按照类型划分到不同的集群中，同时对同类型Topic进一步细分，实现了服务等级、容量和规模的划分。然而，多集群模式也带来了新的挑战，如集群规模增长、服务器资源利用率、磁盘管理和调度等问题。 为了应对这些挑战，知乎选择了高密度存储服务器，每个服务器可能配置有多块磁盘，支持RAID或无RAID方案，以提高服务器利用率并确保数据持久化。同时，选择了黑石的高性能服务器，优化磁盘性能，提升整体系统的处理能力。在网络方面，Kafka容器采用独立的内网IP方案，通过内部DNS注册，黑石网络提供了网络支持。 在Kafka容器的设计上，需要考虑内存、CPU、网络和存储资源的分配。内存和CPU的分配基于集群类型和Topic的特点进行测试，以确保集群中的broker不超过200个Topic。网络设计中，每个容器拥有独立的内网IP，注册到内部DNS，确保通信效率。在存储方面，使用hostPath Volume实现高性能、日志持久化。 调度Kafka容器时，磁盘被视为调度的关键因素，目标是确保单个集群的Broker在节点间分散，实现物理磁盘隔离，增强系统的高可用性。通过Kubernetes的集群资源管理和调度能力，可以更灵活地应对多变的需求和资源扩展。 知乎基于Kubernetes的Kafka平台设计和实践，旨在提高系统的稳定性、资源利用率和业务解耦。通过精心设计的Kafka容器和调度策略，成功地构建了一个高效、可扩展且高可用的Kafka服务环境。