persistent_workers

persistent_workers 是一个训练参数，用于指定是否在多次模型调用中保持工作进程的持久性。当设置为 True 时，ChitGPT 会在初始化时创建一组工作进程，并在后续的模型调用中重复使用这些进程，以加快响应时间。这对于需要频繁进行模型调用的应用场景非常有用。但请注意，如果你的应用程序只需要偶尔进行模型调用，或者有限的系统资源，可以将 persistent_workers 设置为 False，以释放这些工作进程的资源。