python dask使用dask.config.set设置最大进程数量不生效?
时间: 2023-06-07 16:11:04 浏览: 193
可能是因为您没有正确配置Dask的调度器。您可以通过以下方式进行配置:
1. 使用本地调度器:
```python
from dask.distributed import Client, LocalCluster
cluster = LocalCluster(n_workers=4, threads_per_worker=1)
client = Client(cluster)
```
2. 使用分布式调度器:
```python
from dask.distributed import Client
from dask_kubernetes import KubeCluster
cluster = KubeCluster(n_workers=4, threads_per_worker=1)
client = Client(cluster)
```
请注意,您需要在设置Dask的进程数量之前实例化Dask的调度器。否则,设置最大进程数的配置将会被忽略。
相关问题
python dask使用dask.config.set设置最大进程数量无效果?
您好,关于您的问题,可能是由于您的Dask程序中的其他配置所导致的。建议您先清除所有配置,然后再使用dask.config.set进行单独配置。请尝试以下代码:
```
import dask.config
dask.config.reset()
dask.config.set(scheduler='processes', num_workers=4)
```
这应该能够设置您要求的最大进程数量。如果问题仍然存在,请提供更多信息,以便我们能够更好地帮助您。谢谢!
python dask设置最大进程数量?
您可以使用以下代码设置dask最大进程数量:
```
from dask.distributed import Client
import dask.config
dask.config.set({
'distributed.worker.work-stealing': False,
'distributed.scheduler.work-stealing': False,
'worker.memory': "1GB",
'worker.processes': 4, # 设置为您需要的最大进程数
})
client = Client()
```
这将设置最大进程数为4,在执行您的dask任务时将使用这些进程。请注意,这是一个示例,您应根据您的需求自定义这些设置。
阅读全文