B站日志系统演进：从规范到高可用

“藏经阁-B站日志系统的演进之路.pdf”主要讲述了哔哩哔哩（B站）在构建和优化其日志系统的过程，强调了日志规范、日志系统的实现、监控功能以及多集群建设等方面的演进。 在日志系统的设计目标上，B站面临的问题包括方案不统一、可靠性差、缺乏统一的日志规范、对PAAS（Platform as a Service）支持不足以及日志使用成本高等。为了解决这些问题，设计目标集中在以下几个方面： 1. 收敛接入方式，使系统对PAAS更加友好，降低业务集成难度。 2. 规范日志格式，确保日志的一致性和可读性，便于后续处理。 3. 实现日志解析的透明性，让日志系统本身无需关注日志的具体内容。 4. 构建高可用、容量可扩展、高可运维性的系统架构。 在日志格式规范中，B站采用JSON格式，确保每个日志条目包含以下四类元信息： - time：以ISO8601格式记录日志生成的时间。 - level：定义日志级别，如FATAL、ERROR、WARN、INFO和DEBUG，便于过滤和分析。 - app_id：标识日志来源的应用ID，遵循部门.项目.应用的三级结构，确保全局唯一。 - instance_id：区分同一应用的不同实例，由业务方自定义。 日志系统1.0的实现分为四个阶段： 1. **采集**：使用logagent、logstash和filebeat三种方式采集日志。logagent适用于物理机上的自研应用，logstash适用于网络上报日志，filebeat则直接处理本地日志文件。 2. **传输**：通过公司内部的统一数据传输平台Lancer进行日志的传输。 3. **切分**：日志从Kafka消费后，根据规则（如billions-$app_id-@2006.01.02）解析并写入Elasticsearch。使用了两种不同的切分工具：性能高的自研工具billions-index处理符合日志规范的日志，而功能强大的logstash处理不符合规范的日志。 4. **存储和检索**：日志被存储在Elasticsearch中，以便快速检索和分析。 此外，系统还实现了日志监控功能，帮助团队及时发现和解决问题。在日志系统1.0的基础上，进一步进行了多集群的建设，增强了系统的稳定性和扩展性。 这个文档提供了关于大型互联网公司如何构建高效、规范的日志系统以支撑业务运行的宝贵经验，适合对日志管理和监控感兴趣的IT从业者阅读。