CUDA运行时API手册：驱动与运行时API的区别

“CUDA_Runtime_API.pdf”是一个关于CUDA原生态（Runtime）API的文档，涵盖了CUDA最新版本的编程接口。该文档适用于高性能计算（HPC）、人工智能（AI）以及深度学习（DeepLearning）等领域。 CUDA Runtime API是NVIDIA提供的一种编程接口，允许开发者利用GPU进行并行计算。与CUDA Driver API相比，Runtime API更易于使用，因为它处理了更多的底层细节，使开发过程相对简化。以下是一些关键的CUDA Runtime API知识点： 1. Driver API与Runtime API的区别： - CUDA Driver API提供了更低级别的控制，允许直接管理设备、上下文、流等，适合需要更细粒度控制的高级应用。 - CUDA Runtime API则更适合常规编程，它在后台自动管理上下文和设备，为开发者提供了更简洁的接口。 2. API同步行为： - 在CUDA编程中，同步是确保计算任务正确执行的关键。Runtime API提供了多种同步方法，如`cudaDeviceSynchronize()`用于等待设备上所有之前启动的操作完成。 3. 流的同步行为： - 流（Streams）是CUDA中并行执行任务的机制。不同流中的任务可以并发执行，而`cudaStreamWaitEvent()`和`cudaStreamSynchronize()`函数用于控制流之间的依赖关系。 4. 图对象线程安全： - 图（Graphs）是预定义的一系列操作，可以被多次执行，提高了性能。线程安全意味着多个线程可以同时使用图对象，但具体操作需要遵循一定的规则以避免数据竞争。 5. 设备管理： - `cudaChooseDevice()`选择一个设备进行计算。 - `cudaGetDevice()`和`cudaGetDeviceCount()`分别获取当前选择的设备和系统中的设备总数。 - `cudaSetDevice()`改变当前设备。 - `cudaDeviceGetAttribute()`获取设备属性，如计算能力、内存大小等。 - `cudaDeviceGetCacheConfig()`和`cudaDeviceSetCacheConfig()`设置和获取缓存配置，优化内存访问。 - `cudaDeviceGetLimit()`和`cudaDeviceSetLimit()`管理设备限制，如堆栈大小。 - `cudaDeviceGetP2PAttribute()`检查设备间的直接内存访问（P2P）能力。 - `cudaDeviceReset()`清空设备状态，准备下一轮计算。 6. 内存管理： - `cudaMalloc()`和`cudaFree()`分配和释放设备内存。 - `cudaMemcpy()`和`cudaMemcpyAsync()`用于数据在主机和设备间传输。 - `cudaIpc*`系列函数支持跨进程共享内存，如`cudaIpcGetMemHandle()`和`cudaIpcOpenMemHandle()`。 7. 线程管理（部分已省略）： - 线程块和网格的组织是CUDA并行计算的基础，Runtime API提供了创建和管理这些线程结构的方法。 8. 其他功能： - `cudaEvent*`函数用于事件管理，跟踪和测量执行时间。 - `cudaModule*`涉及动态链接库模块，加载和卸载包含CUDA函数的库。 以上只是CUDA Runtime API的部分内容，实际使用时，开发者还需要了解错误处理、内存对齐、纹理内存、常量内存、共享内存等更多概念，以便充分利用CUDA进行高性能计算。