NVIDIA加速的Apache Spark助力企业节省大量成本

随着 NVIDIA 推出 Aether 项目，通过采用 NVIDIA 加速的 Apache Spark 企业得以自动加速其数据中心规模的分析工作负载，从而节省数百万美元。

全球数万家企业依靠 Apache Spark 来处理海量数据，以支持关键业务的运营，同时预测趋势、客户行为、业务表现等。企业处理和理解数据的速度越快，盈利和节省的成本就越多。

这就是为什么拥有海量数据集的公司纷纷采用适用于 Apache Spark 的 RAPIDS 加速器，其中包括全球各地的大型零售商和银行。这个开源软件运行在 NVIDIA 加速计算平台上，它能够显著加速端到端数据科学和分析流程的处理，而无需更改任何代码。

为了让企业能更轻松地从 NVIDIA 加速的 Spark 中获取价值，NVIDIA 于近日发布了 Aether 项目。该项目包含了一系列工具和流程，可自动地评估、测试、配置和优化 Spark 工作负载，从而实现大规模的 GPU 加速。

Aether 项目可在一周内完成一年的工作量

对于在生产环境中使用 Spark 的客户来说，他们通常需要管理数以万计甚至更多的复杂作业。从纯 CPU 计算迁移到 GPU 驱动的计算具有诸多显著优势，但这一过程可能需要手动操作，耗时且费力。

此前，企业需要手动完成大量步骤，而 Aether 项目实现了这些步骤的自动化处理，包括分析所有 Spark 作业以找出最适合 GPU 加速的作业，以及每个作业的准备和试运行。它利用 AI 对每个作业的配置进行调优，以实现最优性能。

为了理解 Aether 项目的影响力，这里假设有一家企业需要完成 100 个 Spark 作业。借助 Aether 项目，每个作业最快仅需 4 天就能完成配置并针对 NVIDIA GPU 加速进行优化。而如果由一名数据工程师手动完成相同的工作量，可能需要长达一年的时间。

澳大利亚联邦银行借助 NVIDIA 加速的 Apache Spark 来推动 AI 转型

与仅使用 CPU 相比，在 NVIDIA 加速计算平台上运行 Apache Spark 能够帮助全球各地的企业更快地完成作业，且所需硬件更少，从而节省时间、空间、电力和散热成本，同时降低本地基础设施的资本成本以及使用云计算的运营成本。

作为澳大利亚最大的金融机构，澳大利亚联邦银行处理该国 60% 的金融交易。在运行 Spark 工作负载时，该银行面临着延迟和成本方面的挑战。据估算，如果仅使用 CPU计算集群，这家银行除了要处理繁重的日常数据需求外，还需要近 9 年时间才能处理完积压的训练任务。

澳大利亚联邦银行首席数据和分析官 Andrew McMullan 表示：“我们每天要处理 4000 万次推理交易，因此能够及时、可靠地处理这些交易至关重要。”

通过在 GPU 驱动的基础设施上运行适用于 Apache Spark 的 RAPIDS 加速器，澳大利亚联邦银行把系统性能提升了 640 倍，仅用 5 天时间就完成了 63 亿笔交易的训练。此外，在处理每天 4000 万笔交易时，澳大利亚联邦银行目前能在 46 分钟内完成推理，成本比基于 CPU 的解决方案降低了 80% 以上。

McMullan 表示，NVIDIA 加速的 Apache Spark 还有另外一个重大优势。它在计算时间上极为高效，使其团队能够经济地构建模型，从而帮助澳大利亚联邦银行提供更好的客户服务、预测客户可能何时需要住房贷款方面的帮助，以及更快地检测欺诈交易。

澳大利亚联邦银行还计划使用 NVIDIA 加速的 Apache Spark 更好地确定客户通常在何处结束其数字旅程，从而能够在必要时采取补救措施，以降低放弃申请的比例。

全球生态系统

适用于 Apache Spark 的 RAPIDS 加速器通过全球合作伙伴网络提供。目前已经在亚马逊云科技、Cloudera、Databricks、Dataiku、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 平台上线。

Dell Technologies 同日也宣布，将适用于 Apache Spark 的 RAPIDS 加速器集成到 Dell Data Lakehouse 中。