ClickHouse与Elasticsearch性能对比：压测分析与优化探索

本文档是一份关于ClickHouse与Elasticsearch性能对比的测试报告，重点关注了两者在压力测试中的表现。测试中涉及的关键概念包括数据库连接池（DBCP）、最大连接数（maxTotal）、处理SQL请求的线程数（max_thread）、协调节点（coordinating）以及数据节点的角色。测试环境包括clickhouse数据服务（32C128G，6节点，2副本）和应用服务器（4核8G）。同时，文中也提到了Elasticsearch的数据服务配置和性能调整。 在压测数据的设计中，DBCP被用来管理数据库连接，以提高效率并减少资源消耗。maxTotal参数限制了连接池中最大连接数，默认值为8。max_thread是ClickHouse用于处理SQL请求的线程数，通常等于服务器核心数。coordinating节点负责请求转发和轻量级操作。数据节点则承担存储索引数据和执行CRUD操作的任务，对硬件资源要求较高。 测试结果显示，当并发用户数增加时，如果ClickHouse的DBCP最大线程数（默认8）未调整，CPU使用率会达到一定瓶颈。通过将maxTotal调整为50，并改变max_thread的值，可以保持数据库节点CPU使用率在50%，从而优化性能。同时，应用服务器的CPU使用率和性能指标如TPS（每秒事务处理量）、TP99（99%的请求响应时间）以及并发用户数也被密切关注。 对于Elasticsearch，类似的性能调整涉及到协调节点数、数据节点数量以及连接池大小(poolSize)。例如，将coordinating设为2，数据节点设为4，poolSize设为400，以此来观察性能指标的变化，如保持数据库服务的CPU使用率在50%左右，并关注TPS和TP99等性能指标。 此文档提供了一个基础框架，用于评估和比较ClickHouse与Elasticsearch在大规模并发场景下的性能表现，通过调整系统参数来优化服务性能。这些对比和优化策略对于那些需要处理大量实时查询和分析的业务尤其有价值，能够帮助决策者选择更适合的数据库解决方案。