百度Palo开源转型：Doris成为Apache Incubator中的数据分析引擎

本文主要讲述了百度自研的Doris项目从百度Palo到成为Apache Incubator项目的开源历程。Doris是一个基于MPP架构的关系型数据仓库，特别适合大规模在线报表和分析场景，能够处理PB级别的大数据集并在秒级别内完成查询。它的核心技术特点包括： 1. **MPP架构**：Doris采用了MPP（Massively Parallel Processing）架构，能够并行处理多维度分析和报表查询，支持高并发和高吞吐量的实时分析。 2. **开源背景**：2018年7月，Doris从百度内部的Palo项目发展，正式进入Apache基金会的孵化器阶段，这标志着其技术的开放性和社区化进程的加速。 3. **用户与社区**：Doris已经吸引了众多互联网公司的使用，如小米、美团、链家等，拥有超过1000个用户，支持了500TB以上的数据规模。社区活跃，通过Github、邮件组、微信群等多种渠道促进开发者和用户的交流。 4. **定位与适用场景**：Doris定位为OLAP引擎，适用于高并发的查询场景，如BI报表分析、实时查询，同时支持复杂聚合查询和多种数据模型，如支持Rollup Index和两级分区。 5. **技术特点**：Doris借鉴了Google Mesa和Apache Impala的技术，构建了一个不依赖Hadoop的单一系统，兼容MySQL协议，提供了SQL92标准支持以及高级分析功能。它采用列式存储、高压缩比和向量化执行，提升了查询效率。 6. **数据流程**：Doris支持多种数据源，包括本地文件、实时数据和HDFS文件，数据可以通过ODBC/JDBC或HTTP流式导入，同时也支持批量导入HDFS文件。 7. **技术架构**：Doris的设计包括前端FE和后端BE两个进程，以及一个简单且兼容的架构，使得它在处理数据时既高效又灵活。 通过这篇文章，读者可以深入了解Doris作为开源数据仓库系统的优势、发展历程以及在实际应用中的角色和特性。随着Doris的开源，它不仅服务于百度内部，还逐渐成为了一个活跃的开源社区，吸引着更多的开发者和企业进行合作和贡献。