Google Cloud Run 采用 Nvidia GPU 进行无服务器 AI 推理

Google Cloud Run 引入了 Nvidia L4 GPU，以增强其无服务器 AI 推理能力。这项服务允许用户在需要时才启动 GPU 并按使用量付费，与传统的持续运行的云实例相比，这可能带来成本效益。Cloud Run 平台因其简化容器部署和管理工作而受到开发者的青睐，而 GPU 的集成进一步扩展了其应用场景，包括实时推理、自定义 AI 模型服务和加速计算密集型任务。

性能方面，Google 表示新的 GPU 支持 Cloud Run 实例的冷启动时间在 11 到 35 秒之间，展示了平台的响应能力。每个实例可以配备一个 GPU 和高达 24GB 的 vRAM，为 AI 推理任务提供了充足的资源。Google Cloud 鼓励用户运行参数小于 13B 的模型以获得最佳性能。

尽管无服务器服务提供了硬件利用率高和潜在成本节约的优势，但是否比长期运行的服务器更经济，取决于具体的应用和流量模式。Google 计划更新其定价计算器以反映新的 GPU 价格，届时客户可以比较不同平台上的总运营成本。

来源：venturebeat