CPU/GPU中间并发衔接：Hyper‐Q

原来的一个 困苦是，GPU始终要优化调度来自多个数据流的工作负载 。Fermi 构造 支撑从 径自数据流的16路并发内核启动，但最后数据流都复用 雷同的硬件工作队列 。这同意 虚假的数据流内依赖，要求在 径自数据流内的 其余内核 可以执行之前就 实现一个数据流内 依附的内核 。 固然在某种程度上这 可以通过 使用广度优先启动顺序缓解，然而随着程序的复杂性的添加，这 可以成为越来越难以有效地治理 。

Kepler GK110 使用新 Hyper‐Q 特色改良了这一 性能 。Hyper‐Q 同意 32 个并发，硬件治理的衔接( 对照 Fermi 的单一衔接)，添加了主机和 GPU 中 CUDA Work Distributor (CWD)逻辑中间的衔接总数(工作队列) 。Hyper‐Q 是一种灵便的解决 方案，同意来自多个 CUDA 流、多个 信息传递接口(MPI) 历程，甚至是 历程内多个线程的 径自衔接 。以往遇到跨 使命 虚假串行化 使命的 利用程序， 制约了 GPU 的利用率，而现在无需转变任何现有代码，性能就能得到 32 倍的大幅度 晋升 。

Hyper‐Q 同意CPU和GPU中间更多的并发衔接

每个 CUDA 流在其自己硬件工作队列治理，优化流间的依赖关系，一个流中的运算将不再阻挠 其余流，使得流 可以同时执行，无需特殊定制的启动顺序， 肃清了可能的 虚假依赖 。Hyper‐Q 在基于 MPI 的并行计算机系统中 使用会有显而易见的优势 。通常在多核 CPU 系统上运行时 缔造传统基于 MPI‐的算法， 调配给每个 MPI 历程的工作量会相应地调整 。这可能会招致单个MPI 历程没有足够的工作 彻底占领 GPU 。 固然向来以来多个 MPI 历程都 可以共享 GPU，然而这些 历程可能会成为 虚假依赖的瓶颈 。Hyper‐Q 幸免了这些 虚假的依赖，大大 普及了 MPI 历程间共享 GPU 的效率 。

Hyper‐Q 与 CUDA 流一同工作：左侧显示 Fermi 模式，仅 (C,P) 和 (R,X) 可以同时运行，由于单个硬件工作队列招致的流内依赖 。Kepler Hyper‐Q 模式同意所有流 使用 径自的工作队列同时运行 。