16核24线程cpu使用python dask时,将threads_per_worker和n_workers设置什么数值比较合适?
时间: 2023-06-07 07:11:02 浏览: 147
PCIS-DASK-Function-Reference.rar_PCI DASK_PCI-7856_PCIS-DASK_adl
根据您的硬件配置,您可以根据任务类型和任务数据的大小来调整`threads_per_worker`和`n_workers`参数。 通常情况下,如果您的任务是计算密集型的,可以选择将`threads_per_worker`设置得大一些,而如果您的任务是 I/O 密集型的,则可以选择更小的`threads_per_worker`。
一般来说,对于大型数据集或计算密集型任务,建议将`n_workers`设置为大于您的 CPU 核心数量,以便更充分地利用多线程能力。如果您的任务是 I/O 密集型的,则可以稍微减少`n_workers`的值。
最终的调整将取决于您的具体情况和应用程序需要的性能。您可能需要进行一些试验来找到最佳的`threads_per_worker`和`n_workers`值。
阅读全文