"Doris Pipeline 设计文档:多核并行性能优化及资源管理解决方案"

Doris Pipeline的设计文档提出了一种新的执行引擎模型，旨在解决当前Doris在单机多核场景下存在的一系列问题。当前Doris的执行引擎采用的是volcano的pull模型，但在实际应用中存在着一些问题，例如无法充分利用多核计算能力、性能调优需要手动设置并行度、线程池打满导致查询引擎出现假性死锁等。为了解决这些问题，Doris Pipeline引入了新的设计思路和机制。 首先，Doris Pipeline提出了一种新的执行模型，采用push-driven的方式进行任务调度。这种模型能够更好地利用多核计算能力，提高查询性能，并且能够更灵活地进行资源管理和调度。与之前基于线程池的pull模型相比，push-driven模型可以更好地避免线程池打满导致的假性死锁和逻辑死锁问题，同时能够有效解决阻塞算子占用线程资源的情况，提高整体资源利用率。 其次，Doris Pipeline通过引入任务队列和调度器的机制，实现了更细粒度的资源管理和调度。任务队列能够将大查询生成的海量instance进行有效管理，避免线程池被打满导致小查询得不到调度的问题，从而降低小查询的时延。同时，调度器能够根据不同查询的需求和优先级，进行合理的资源调度，保证各查询任务能够得到适当的资源分配，避免出现资源争夺的情况。 此外，Doris Pipeline还提供了一套完善的资源管理和隔离机制，能够在混合部署的Doris集群中有效管理和隔离用户间的CPU资源。通过对资源的统一管理和调度，可以保证每个用户或任务能够获得适当的资源配额，避免资源的浪费和滥用，提高系统的整体性能和稳定性。 总的来说，Doris Pipeline的设计文档提出了一种全新的执行引擎模型，通过引入push-driven的任务调度方式、任务队列、调度器等机制，实现了更高效的资源管理和调度，解决了在单机多核场景下Doris执行引擎存在的一系列问题。这一新的设计思路和机制将有望进一步提升Doris的查询性能、资源利用率和系统稳定性，为用户提供更好的查询体验和服务质量。