Django异步任务线程池实现原理

Django异步任务线程池实现原理异步任务线程池实现原理

主要介绍了Django异步任务线程池实现原理,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一

定的参考学习价值,需要的朋友可以参考下

这篇文章主要介绍了Django异步任务线程池实现原理,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的

参考学习价值,需要的朋友可以参考下

当数据库数据量很大时（百万级），许多批量数据修改请求的响应会非常慢，一些不需要即时响应的任务可以放到后台的异步

线程中完成，发起异步任务的请求就可以立即响应

选择用线程池的原因是：线程比进程更为可控。不像子进程，子线程会在所属进程结束时立即结束。线程可共享内存。

眠线程，让它来处理这个任务，当处理完这个任务，线程又处于睡眠状态。

submit任务后会返回一个期程（future），这个对象可以查看线程池中执行此任务的线程是否仍在处理中

因此可以构建一个全局可视化线程池：

from concurrent.futures.thread import ThreadPoolExecutor

class ThreadPool(object):

def __init__(self):

# 线程池

self.executor = ThreadPoolExecutor(20)

# 用于存储每个项目批量任务的期程

self.future_dict = {}

return False

# 展示所有的异步任务

def check_future(self):

data = {}

for project_id, future in self.future_dict.items():

data[project_id] = future.running()

return data

def __del__(self):

self.executor.shutdown()

# 主线程中的全局线程池

# 提交一个异步任务

future = global_thread_pool.executor.submit(self.batch_thread, project_id)

global_thread_pool.future_dict[project_id] = future

# 查看所有异步任务

@login_required

def check_future(request):

data = global_thread_pool.check_future()

return HttpResponse(status=status.HTTP_200_OK, content=json.dumps(data))