GPU 内存优化

GPU 内存优化功能（默认激活，使用默认值 2GB）显著提高了 Windows Display Driver Model (WDDM) 驱动程序以及 Tesla Compute Cluster (TCC) 驱动程序的速度。但是，必须仔细选择保留内存，具体取决于应用程序。处理小图像的应用程序将获得最高的性能增益。

 

优点 缺点

在显卡上预留内存

很难估计要预留的正确内存量

内存分配不再浪费时间

 

  • 如果启用此选项，系统将为工具优化预分配 GPU 内存。建议在使用聚焦模式工具（红色分析聚焦 - 监督/无监督、蓝色定位、蓝色读取、绿色分类聚焦）时启用此选项，以加快训练和处理速度。

  • 如果关闭此选项，系统将停止预分配 GPU 内存。建议在训练高细节模式（绿色分类高细节模式或红色分析高细节模式）时关闭此选项，因为这会降低其训练速度。

注意:在一个流中训练高细节和聚焦模式的多个工具时，不建议启用优化的 GPU 内存（帮助 - 计算设备）。无论您使用多少个 GPU，启用优化的 GPU 内存后，在训练中混合使用两种模式都会在速度方面受到极大的影响。

 

您可以通过 API 或通过命令行参数停用此功能或更改分配设置。

例如，在 .NET API 中，可以设置 control.OptimizedGPUMemory(2.5*1024*1024*1024ul);；在 C API 中，可以设置 vidi_optimized_gpu_memory(2.5*1024*1024*1024)；

 

显卡内存

 

VisionPro Deep Learning 内存使用情况：

  • 显示：在计算之前存储图像的存储器
  • VisionPro Deep Learning 预留：预留用于计算的内存
  • 空闲：空闲内存，因为使用的内存量未知

训练示例：

  • 预留内存为 2.5GB（训练的最小值）
  • 可用内存大约 1GB
  • 这导致显卡至少有 3.5GB 的内存

运行时示例：

  • 预留内存为 512MB
  • 可用内存大约 256MB
  • 这导致显卡没有所需的最小内存