优化GPU动态内核启动：FreeLaunch与线程重用

"Free Launch: Optimizing GPU Dynamic Kernel Launches through Thread Reuse" 是一篇由 Guoyang Chen 和 Xipeng Shen 在 2015 年发表的计算机科学论文，探讨了如何改进在图形处理器（GPU）上实现动态并行性的问题。动态并行性对于GPU支持各种应用程序至关重要，但当前的两种主要方法存在局限性。 首先，软件基于的方法依赖于软件管理的工作列表。这种方法虽然灵活，但编程复杂度较高，容易导致负载不平衡，因为工作分配的控制权在程序员手中，可能导致一些线程空闲，而其他线程过载。 其次，硬件基于的方法则是通过动态子kernel启动来实现。虽然这减少了编程的复杂性，但代价是较大的运行时开销，因为它涉及频繁的子任务调度和上下文切换。 Free Launch 出现是为了解决这两种方法的不足。它提出了一种新的软件方法，允许程序员利用子kernel启动表达动态并行性，但通过一种创新的编译器基元——子kernel启动移除（Subkernel Launch Removal）。这个技术的核心思想是将子kernel启动替换为父线程的重用，从而减少不必要的资源消耗和上下文切换。 结合自适应的任务分配机制，Free Launch 旨在动态地调整任务分配，根据每个阶段的工作量和资源利用率，决定是否以及何时启动新的子kernel。这种机制可以动态平衡工作负载，提高整体执行效率，同时保持编程的简洁性。 Free Launch 的贡献在于提供了一个兼顾灵活性和性能优化的解决方案，通过软件层面的改进，改善了GPU在处理动态并行任务时的性能瓶颈。它展示了如何在不增加过多硬件开销的前提下，提升动态并行计算在GPU上的执行效率和程序可编程性，这对于现代GPU应用的开发和优化具有重要意义。