3. CUDA编程模型是什么样的，请画图并简要说明kernel函数启动对应GPU上Grid、Block、Thread配置过程

CUDA（Compute Unified Device Architecture）是一种由NVIDIA开发的并行计算平台和编程模型，它允许开发者利用GPU的强大浮点运算能力进行高性能计算。CUDA编程模型基于数据并行处理的理念，主要包含以下几个核心组件：

1. **主机程序（Host Program）**：运行在CPU上的程序，负责管理GPU资源以及将任务分派给GPU。

2. **设备程序（Device Program, 或者Kernel）**：运行在GPU上的小段可重用代码，称为"kernel"。这些函数在GPU的核心执行单元（流多处理器Stream Multiprocessors, SMs）上并行执行。

3. **Grid**：每个GPU上执行的一组kernel实例。Grid是一个二维数组，由一系列线程块构成。

4. **Block**：一组执行相同任务的线程集合，通常由1D、2D或3D数组表示。每个block有自己的私有内存空间。

5. **Thread**：单个执行单元，它是最小的并行单位。在Block内，threads按照网格布局排列。

当编写CUDA程序时，会有一个主机程序首先分配一个或多个grid到GPU，并指定每个grid应该有多少blocks。接着，主机将kernel函数发送到GPU，并指定每个block的大小（thread count per block）。在GPU上，每个block内的threads会被自动并行化执行，它们共享一部分全局内存，而block之间的数据交换则依赖于私有内存或显存（shared memory 和 texture memory）。

下面是一个简单的流程图概述：

+---> Block A     +--------->
          |           |
+---------> Block B     +--------->
          |           |
| ...                  | ...     |
+-----------------------+
|
V
+-----------------------+
| GPU设备 (Device)      |
+-----------------------+
|   Kernel函数       |
|  - 线程启动         |
|  - 共享内存访问    |
|  - 并行计算        |
+