中国电信中的HBase实战：监控与优化

"藏经阁-HBase在中国电信的实战.pdf" 这篇文档主要介绍了HBase在中国电信的应用实践，包括中国电信的基础设施、HBase的具体使用情况、监控与优化等方面的内容。以下是详细的知识点总结： 1. **基础设施**：中国电信的IT架构包含了离线计算平台和实时计算平台。离线计算平台依托于HDFS、Hive、Impala等组件，用于大数据处理和分析；实时计算平台则由Telecom Open Platform、Storm、Spark Streaming等构成，支持实时数据处理和流式计算。此外，系统还包含了如ETL开发、MapReduce、Pig、YARN、Tachyon、Tez和Zookeeper等多种工具，构建了一个全面的数据处理生态系统。 2. **HBase在中国电信的应用**：中国电信部署了独立的HDFS集群，包含322台主机，每台主机拥有32个核心、256GB内存以及3.6TB * 12的磁盘空间。总共有6个不同应用类型的HBase集群，分别服务于流式任务持久化、在线读写和Kylins支持。目前，HBase存储的数据量达到520TB，每天新增数据1TB，使用的是HBase 1.2.0版本，集成在CDH5.12.1平台上。 3. **流式任务持久化**：HBase被用作流式计算任务的持久化存储，确保数据能够被稳定、高效地保存。这在处理大规模实时数据时非常关键，能保证数据的完整性和可用性。 4. **在线读写服务**：HBase提供了高效的在线读写能力，适用于处理高并发、低延迟的场景，满足了电信业务对于实时数据访问的需求。 5. **Kylins支持**：Kylins是基于HBase的交互式查询引擎，中国电信利用Kylins提供快速的SQL查询能力，使得数据分析人员可以对大量数据进行快速的OLAP操作。 6. **数据收集系统**：中国电信的数据收集系统能够处理多种类型的数据，通过Flume、FTP等方式进行数据采集。这确保了各种来源的数据都能被有效地整合到HBase中。 7. **监控与优化**：文档中提到了监控和优化是HBase稳定运行的关键。虽然没有具体细节，但可以推断中国电信会使用一套包括监控报警、性能调优在内的系统来确保HBase集群的高效运行。 8. **安全性**：Kerberos的提及表明中国电信关注数据安全，可能采用了Kerberos认证机制来保护其大数据平台的访问安全。 中国电信通过HBase构建了一个强大、灵活且适应实时需求的大数据平台，涵盖了数据采集、存储、处理和分析的全过程，并且注重系统的监控与性能优化，以保证服务质量和数据安全。