企业 AI 基础设施

专用与共享 GPU 基础设施对比

比较专用与共享 GPU 基础设施在训练与推理中的分配、隔离、拓扑、一致性与商务适配。

· Arvica Cloud · 分析与采购指南

“共享”可能代表什么

共享 GPU 不是一种单一架构。它可能指在资源池中错峰调度、对单张物理 GPU 进行时间切片、分配加速器的虚拟机,或在支持设备上使用 NVIDIA MIG 硬件分区。NVIDIA GPU Operator 文档指出,时间切片副本共享计算时间,且不具备 MIG 的显存或故障隔离。应要求供应商明确分配机制。

专用基础设施的含义

“专用”应明确边界:完整物理 GPU、整台主机、完整 8 卡节点,或多个节点及其集群网络。共享主机内的专用 GPU 与拥有专用本地磁盘和网络路径的单租户服务器不同。应在方案与合同中逐层记录 GPU、主机 CPU 与内存、本地及共享存储、网络与管理面。

性能一致性取决于争用与拓扑

共享服务也可以设计良好,但采购方需知道哪些资源会发生争用、运行间放置是否变化。专用基础设施更容易保持 GPU 拓扑、NUMA 放置、NVMe 布局、驱动版本与网卡连接稳定,这对长任务与验收测试重要,但不能证明特定基准结果,仍需在报价配置上做可复现测试。

租户与隔离需要明确证据

NVIDIA 文档说明,MIG 可在支持的 GPU 上划分独立实例,提供隔离的内存系统路径与故障域;时间切片则以这些特性换取更广泛共享。虚拟化、容器和调度还会增加其他边界。任何标签都不能单独证明满足客户安全要求,还应审查身份、特权访问、存储生命周期、网络分段、日志与删除流程。

长时间训练工作负载

当训练持续数天、放置与拓扑必须稳定、检查点很大,或中断恢复成本高时,专用容量更有吸引力。完整 8 卡节点还可提供相关 HGX 或 DGX 平台上的明确 NVLink/NVSwitch 域。预留前应验证工作负载能否高效使用该拓扑;具体测量请参考 Arvica 现有 8 卡扩展指南。

推理经济性取决于利用率

共享或按需容量通常适合流量波动、开发、批处理与 Pilot,因为采购方无需为闲置硬件承诺。专用容量可能适合持续高利用率、可预测延迟目标或固定生产拓扑。应在相同质量与延迟边界下比较每个完成请求或有效 token 的成本,而非只看 GPU 小时。利用率框架请参考 Arvica 现有预留与按需分析。

何时适合专用 8 卡节点

当应用需要大部分或全部 8 张 GPU、节点内互联重要、稳定使用值得期限承诺,且存储与网络能随节点明确时,专用节点是合理候选。如果首次部署预留兼容网络与运维路径,它也可成为未来集群的构建单元。可用性、具体平台、租户模式与时间仍需书面确认。

何时共享或按需已足够

当需求间歇、任务可接受放置变化、工作负载适合较小配额,或 Pilot 仍在确认模型与显存需求时,共享或按需基础设施通常已足够,也能避免过早预留。应询问资源如何标注、任务间容量是否可能消失、关机后哪些数据保留,以及存储与传输如何计费。

签署预留合同前的问题

应明确物理与逻辑租户边界、GPU 与主机规格、拓扑、地点、存储持久性、网络、软件镜像、维护流程、支持访问、开始窗口、验收测试、续约与退出流程,并区分硬性要求与偏好。方案应确认可部署内容与时间;公开产品家族名称不代表预留、服务级别或库存。

常见问题

专用 GPU 一定是单租户吗?

不一定。合同应明确 GPU、主机、存储与网络中哪些是专用的,以及谁能管理。

共享 GPU 也能提供隔离吗?

可以,但机制与属性不同。例如 NVIDIA 说明 MIG 提供简单时间切片不具备的显存与故障隔离。

相关容量与规划页面

资料来源

资料查阅日期:2026-10-04

  1. NVIDIA GPU Operator — time-slicing GPUs ↗
  2. NVIDIA Multi-Instance GPU User Guide ↗
  3. NVIDIA HGX platform ↗

把分析用于你的工作负载

客户接受报价前不收费,基础设施供应商会在开通前披露。

选型指南与 Pilot 工作表