CUDA 知识点：GPU utilization 是如何计算的？ | CUDA

在编写 GPU 程序时，我们经常使用 nvidia-smi 命令查看某张显卡的 GPU 利用率，那么这个利用率是如何计算的呢？

通过官方的解释可以得知：GPU 利用率是指在上个采样周期（能在 1 秒到 1/6 秒之间，取决于具体的硬件产品）中，SM（流处理器）活跃的时间比例。这里的 SM 活跃是指有任意的 SM 活跃，这就意味着可以简单地在单个 SM 上运行 kernel 函数并在 host 和 device 间来回传输 1 个字节来保持接近 100% 利用率。换句话说，GPU 利用率不是“how well you’re using the resources”，而是“if you’re using the resources”。

可以使用 Nsight Compute 获得更细粒度的性能信息。

参考：How is GPU and memory utilization defined in nvidia-smi results?