Doris和click house

时间: 2023-09-24 15:11:50 浏览: 173

Doris和ClickHouse对比简介

### Doris与ClickHouse对比分析 #### 一、概述在大数据时代，高效的数据处理能力对于各类业务场景至关重要。本文将对比分析两款流行的列式存储数据库系统——Doris（原Apache Doris）与ClickHouse，从性能、架构设计等多个维度进行深入探讨。通过对比测试，我们将了解这两款产品在不同应用场景下的表现，为用户提供选型参考。 #### 二、性能对比测试为了直观展示Doris与ClickHouse的性能差异，进行了SSB（Star Schema Benchmark）单表性能测试。测试环境为三台阿里云主机，配置为Intel(R) Xeon(R) Platinum 8269CY CPU @ 2.50GHz，内存容量为64GB，网络带宽10Gbits/s，磁盘采用ESSD高效云盘。 **表1：SSB单表测试结果** | 查询序号 | DorisDB用时（毫秒） | ClickHouse用时（毫秒） | DorisDB/ClickHouse | | -------- | ------------------- | --------------------- | ------------------ | | 1 | 56 | 11.80 | 1.87 | | 2 | 2022 | 21.10 | 95.83 | | 3 | 3715 | 50.41 | 73.69 | | 4 | 2965 | 191.75 | 15.46 | | 5 | 4684 | 290.92 | 16.10 | | 6 | 2073 | 87 | 23.83 | | 7 | 3985 | 86 | 46.34 | | 8 | 2502 | 97 | 25.80 | | 9 | 1801 | 177 | 10.17 | | 10 | 160 | 94 | 1.70 | | 11 | 4386 | 80 | 54.82 | | 12 | 1582 | 81 | 19.53 | | 13 | 1081 | 144 | 7.50 | 从测试结果来看，在单表测试的13个查询中，DorisDB在9个查询上的执行速度优于ClickHouse，平均速度快约50%。这表明在某些特定查询上，DorisDB表现出更好的性能优势。 #### 三、架构设计与实现 1. **整体架构**： - **Doris**：采用MPP（Massively Parallel Processing）架构，支持SQL查询，适用于实时分析场景。其核心组件包括FE（Frontend）、BE（Backend）和存储层。 - **ClickHouse**：采用C/S（Client/Server）架构，具备高度可扩展性，适用于大规模数据实时分析。主要由ClickHouse Server和ClickHouse Client组成。 2. **存储引擎**： - **Doris**：使用OLAP存储引擎，支持多种分区策略，如范围分区、列表分区等。 - **ClickHouse**：使用MergeTree存储引擎，针对读操作进行了优化，支持多级索引。 3. **计算引擎**： - **Doris**：采用了高效的执行计划调度算法，能够自动优化查询计划。 - **ClickHouse**：内置了高性能的查询处理机制，支持复杂查询和聚合运算。 #### 四、建表实践 **DorisDB建表语句**： ```sql CREATE TABLE ssb_100g.lineorder_flat( `lo_orderkey` UInt32, `lo_linenumber` UInt8, `lo_custkey` UInt32, `lo_partkey` UInt32, `lo_suppkey` UInt32, `lo_orderdate` Date, ... `p_color` LowCardinality(String), `p_type` LowCardinality(String), `p_size` UInt8, `p_container` LowCardinality(String)) ENGINE = Distributed('ssb_test', 'ssb_100g', 'lineorder_flat_local', lo_orderkey) ``` **ClickHouse建表语句**： ```sql CREATE TABLE ssb_100g.lineorder_flat_local( `lo_orderkey` UInt32, `lo_linenumber` UInt8, `lo_custkey` UInt32, ... ) ENGINE = MergeTree PARTITION BY toYear(lo_orderdate) ORDER BY (lo_orderdate, lo_orderkey) SETTINGS index_granularity = 8192 ``` 对比两者的建表语句可以看出： - **Doris**通过设置`DUPLICATE KEY`和`PARTITION BY`来优化查询性能； - **ClickHouse**则通过`PARTITION BY`和`ORDER BY`结合`MergeTree`存储引擎来提升数据处理效率。 #### 五、总结 Doris和ClickHouse均是针对大数据实时分析场景而设计的高效数据库系统。它们各有优势，在不同的应用场景下表现出色。Doris在某些查询上的执行速度更快，适合对查询性能要求较高的场景；而ClickHouse则以其强大的可扩展性和对大量数据的支持而著称。根据具体需求选择合适的工具，可以更好地满足业务需求并提高数据分析效率。

Doris和ClickHouse都是分布式列式存储数据库，但是它们采用了不同的架构和设计理念。Doris是由360公司开发的，它的设计目标是为了支持大规模的实时数据分析和查询。Doris采用了MPP（Massively Parallel Processing）架构，将数据分为多个分片并行处理，提高了查询和分析的性能。而ClickHouse则是由俄罗斯的Yandex公司开发的，它也是一个高性能的列式存储数据库，但是它采用了不同的设计理念，主要是为了支持实时的OLAP（Online Analytical Processing）查询。ClickHouse采用了向量化查询的方式，将多行数据同时处理，提高了查询的效率。总的来说，Doris和ClickHouse都是非常优秀的分布式列式存储数据库，它们的特点和适用场景略有不同。

阅读全文

Doris和click house

相关推荐

Doris应用指南Doris

Apache Doris

Doris和Clickhouse对比

doris和mysql对比

Doris和StarRocks性能对比

Starrocks和Doris的区别

doris和hive的区别

hbase 和doris 怎么选

greenplum和doris怎么选择

doris和starrocks的区别

hive和doris的区别

hbase和doris对比

apache doris和StarRocks的区别

doris和clickhouse哪个更快

doris 0.15版本 安装包

Apache Doris 技术调研

doris-chenjia

Doris PipeLine的设计文档.pdf

Apache Doris 1.1.2 BE 安装包

最新推荐

初学者对doris安装及使用

基于Java的家庭理财系统设计与开发-金融管理-家庭财产管理-实用性强

弹性盒子Flexbox布局.docx

网络财务系统 SSM毕业设计 附带论文.zip

联想电脑的bios设置

探索数据转换实验平台在设备装置中的应用

管理建模和仿真的文件

ggflags包的国际化问题：多语言标签处理与显示的权威指南

如何使用MATLAB实现电力系统潮流计算中的节点导纳矩阵构建和阻抗矩阵转换，并解释这两种矩阵在潮流计算中的作用和差异？

使用git-log-to-tikz.py将Git日志转换为TIKZ图形

doris 0.15版本安装包

网络财务系统 SSM毕业设计附带论文.zip