Google Cloud面向全球各地推出NVIDIA T4 GPU

近日起，Google Cloud 面向全球各地推出NVIDIA T4 GPU，为包括高性能计算（HPC）、机器学习训练及推理、数据分析和图形处理等在内的各类云工作负载提供加速。今年1月，Google Cloud宣布推出了NVIDIA T4 GPU公测版，帮助客户以更快的速度和更低的成本运行推理工作负载。今年四月早些时候，在Google Next '19上，Google Cloud宣布在八个地区率先推出NVIDIA T4，使Google Cloud成为全球第一家基于NVIDIA T4提供服务的主要供应商。

注重速度与成本效益

每个T4 GPU都拥有16 GB的GPU内存，提供多精度（或数据类型）支持（FP32，FP16，INT8和INT4），具有可为训练提供加速的NVIDIA Tensor核心，以及可用于更快速的光线追踪的RTX硬件加速平台。用户可以使用四个T4 GPU、96个vCPU、624 GB主机内存和高达3 TB的服务器本地SSD，来搭建最能满足其需求的自定义VM配置。

自发布之时，在抢占式VM实例上，T4实例的售价仅为每GPU每小时0.29美元。按需实例的售价为每GPU每小时0.95美元起，而且持续使用还可享受高达30％的折扣。

可用于训练和推理的Tensor 核心

凭借NVIDIA Turing架构，T4 GPU引入了第二代Tensor核心。Tensor 核心首次亮相于NVIDIA V100 GPU之上（Google Cloud平台（GCP）也提供基于NVIDIA V100 GPU的服务），支持混合精度，可以为在机器学习工作负载中普遍采用的矩阵乘法运算提供加速。如果您的训练工作量还未达到需要使用功能更加强大的V100的程度，那么T4将能够以更低的价格为您提供Tensor 核心的加速优势。T4非常适合应用于大规模训练工作负载中，特别是当您扩展更多资源来加快训练或训练更大的模型的时候。

Tensor核心也可以为推理提供加速，或运用机器学习模型加速生成预测，以实现低延迟或高吞吐量。当以混合精度启用Tensor核心时，与仅以FP32运行相比，借助于TensorRT， GCP上的T4 GPU可以将ResNet-50的推理速度提高10倍以上。受益于全球供货和谷歌的高速网络，GCP上的NVIDIA T4能够以高性价比，为那些需要高效运作的全球性服务供应商提供服务。例如，Snap Inc. 就在使用NVIDIA T4为其全球用户群创建更有效的算法的同时，保持了低成本。

“Snap的货币化算法对我们的广告客户和股东有着最显著的影响。借助于GCP上由NVIDIA T4赋能的GPU，我们提高了我们的广告效率，与仅使用CPU的方式相比，成本也得到了降低。”

— Nima Khajehnouri, Sr. Director, Monetization, Snap Inc.

GCP 的机器学习基础设施让Google与NVIDIA强强联手。

借助于Google Cloud上的深度学习VM镜像（Deep Learning VM images），可以在NVIDIA T4 GPU上快速启动和运行机器学习模型的训练和服务推理工作负载。这些应用包括了您需要的所有软件：驱动程序，CUDA-X AI库，以及主流AI框架，如TensorFlow和PyTorch。此外，Google Cloud会为您进行软件更新，使您不必再为了兼容性和性能优化的问题额外费心。您只需创建一个新的Compute Engine实例，选择您的镜像，单击Start，几分钟后，您就可以访问和启用您的由T4赋能的实例。您也可以在Google Cloud的AI平台上启动您的实例，这是一个端到端的开发环境，可帮助机器学习开发人员和数据科学家在任何地方构建、共享和运行机器学习应用程序。一旦准备就绪，只需几行代码，您就可以借助于Tensor核心的自动混合精度实现加速。

规模效益

NVIDIA T4 GPU还能为HPC批量计算和渲染工作负载带来卓越的性能和效率，将大规模部署的效用价值最大化。一位来自于普林斯顿大学（Princeton University）的神经科学研究人员对T4的独特价格和性能有着这样的说法：

“我们很高兴能够与Google Cloud合作，为神经科学带来了一项里程碑式的成就：重建立方毫米新皮层的连接组。能够使用数千个由Kubernetes Engine驱动的T4 GPU是件令人十分兴奋的事情。凭借这些计算资源，我们能够追踪长达5公里的神经元布线，并在微小体积范围内识别十亿个突触。”

— Sebastian Seung，普林斯顿大学

GCP上的Quadro虚拟工作站

T4 GPU也是运行虚拟工作站的绝佳选择，能够为工程师和专业创意人员提供支持。借助于GCP Marketplace中的NVIDIA Quadro虚拟工作站，用户可以运行基于NVIDIA RTX平台的应用程序，能在任何地方体验新一代计算机图形技术，包括实时光线追踪和AI增强型图形，以及视频和图像处理。

“通过Google Cloud访问NVIDIA Quadro虚拟工作站，使得我们的客户在任何地方都能快速部署并开始使用Autodesk软件。对于某些工作流程，运用NVIDIA T4和RTX技术的客户能在渲染场景、创建逼真的3D模型和仿真的时候看到很大的不同。我们很高兴继续与NVIDIA和Google合作，为艺术工作流程带来更高的效率和速度。”

—Eric Bourque, Senior Software Development Manager, Autodesk