智能Grid调度和GPUDirect神经反射

Kepler GK110 中的新 性能，如 CUDA 内核 可以利用 Dynamic Parallelism 在 GPU 上直接启动工作，需要 Kepler 中 CPU‐to‐GPU 工作流提供比 Fermi 设计 加强的 性能 。Fermi中，线程块的Grid可由CPU启动，并将向来运行到 实现，通过 CUDA Work Distributor (CWD) 单元 缔造从主机到SM的 方便单向工作流 。Kepler GK110 目标是通过GPU有效治理CPU和CUDA 缔造的工作负载来改良 CPU‐到‐GPU 的工作流 。

我们 探讨了 Kepler GK110 GPU 同意内核直接在GPU上启动工作的 威力，主要的是要 了解在Kepler GK110 架构所做的 变迁，促成了这些新 性能 。Kepler 中，Grid 可从 CPU 启动，就和Fermi 的状况一样，然而新 Grid 还可通过编程由 CUDA 在 Kepler SMX 单元中 缔造 。要治理CUDA 缔造的 Grid 和主机生成的 Grid，在 Kepler GK110 中引入新 Grid Management Unit (GMU) 。该操纵单元治理并优先化 传递到 CWD 要发送到 SMX 单元执行的 Grid 。

Kepler 中的 CWD 保留 预备好调度的 Grid，并能调度 32 个 运动的 Grid，这是 Fermi CWD 容量的两倍 。Kepler CWD 通过双向链接进行通讯，同意 GMU 暂停新 Grid 的调度并保留挂起和暂停的 Grid，直到需要 。GMU 也有到 Kepler SMX 单元的直接衔接，同意 Grid 通过 Dynamic Parallelism 在 GPU 上启动 其余工作，以将新工作传回到 GMU 进行优先化和调度 。假如暂停调度的额外工作量的内核，GMU 将 维持其为不 运动，晓得以来工作 实现 。

再一次设计的 Kepler HOST 到 GPU 的工作流显示新 Grid Management Unit，同意其治理 积极调度的 Grid、暂停调度、保留挂起和暂停的 Grid 。

NVIDIA GPUDirect

当 解决大量的数据时， 普及数据吞吐量并减低延迟，关于 普及计算性能是至关主要的 。Kepler GK110 支撑NVIDIA GPUDirect 中的 RDMA， 目标是通过同意第三方 设施，如 IB 适配器、NIC 和 SSD，直接 拜访 GPU 内存‐来 普及性能 。 使用 CUDA 5.0 时，GPUDirect 提供以下主要 性能：

无需 CPU方面的数据缓冲, NIC 和 GPU 中间的直接内存存取 (DMA)

卓著改善 GPU和 其余网络节点中间的 MPISend/ MPIRecv 效率 。

肃清了 CPU 带宽和延迟的瓶颈

与各种第三方网络、 拿获和存储 设施一同工作

如逆时偏移(用于石油和天然气勘探地震成像)这样的 利用程序，将大量影像数据 分布在多个GPU 。数以百计的 GPU 必须合作，以 压缩的数据， 时常通讯中间 后果 GPUDirect 利用 P2P 和RDMA 性能为服务器内或服务器中间“ GPU‐ 到‐GPU” 的通讯的状况 调配更高的总带宽 。

Kepler GK110 还 支撑 其余 性能 GPUDirect，如 Peer‐to‐Peer 和 GPUDirect for Video 。

GPUDirect RDMA 同意网络适配器这样的第三方 设施 拜访GPU内存，转换为跨节点GPU中间直接传输 。