魅族云平台：K8s集群自动化运维与实践

"魅族容器云平台自动化运维实践" 魅族容器云平台是一个私有云解决方案，旨在替代传统的虚拟化技术，支撑公司的在线业务。2017年，魅族完成了全国三个数据中心的建设，并在年内迁移了90%的业务到该平台。这个平台的构建基于小团队的敏捷开发模式，紧密跟踪Kubernetes（k8s）社区的最新进展，通过快速迭代和低成本试错来不断优化。同时，团队针对遇到的问题进行创新，确保系统核心能跟随社区稳定升级，同时解决非功能性需求。 在k8s集群构建方面，魅族云平台采用了以下策略： 1. 单一镜像：k8s的安装和部署通过一个包含所有必需描述文件、脚本和二进制的单一镜像完成，结合`dockerrun`命令实现一键安装，以实现快速部署和升级。 2. Master节点： - 使用StaticPod方式来确保k8s核心组件的自动加载。Pod的健康检查由kubeletprobe负责，配置了自动重启机制，确保组件的高可用性。 - controllermanager和scheduler服务在三台物理机上运行，实现master节点的高可用。APIServer的高可用性可以通过负载均衡器或DNS来实现。 - 针对可能的Node状态不同步问题，设置了监控和告警，以便及时发现并处理异常。 3. Minion节点： - Minion节点配置灵活，可根据现有资源调整。通常配置包括24核CPU（含超线程）、128GB内存和千兆网卡。 - Minion节点主要运行业务容器和Systempods。 - 对Minion节点进行了性能优化，如中断处理、TCP backlog调整和禁用swap。 - 操作系统选用CentOS 7，Docker存储使用devicemapperdriver，日志保存在外部的EmptyDir Volume。为了避免因日志量大导致的问题，EmptyDir Volume使用单独的普通分区而非LVM。 - 使用DeviceMapper时遇到过问题，需要注意与内核兼容性，防止潜在的系统问题。 魅族容器云平台的自动化运维实践展现了如何通过Kubernetes实现高效、可靠的私有云管理，尤其是在集群搭建、自动化运维和问题解决方面，体现了创新和灵活性。