利用 U-FNO机器学习模型加速减缓气候变化

减缓气候变化就是减少温室气体（ GHG ）排放。全球目标是实现净零排放，这意味着平衡产生的温室气体排放量和从大气中清除的温室气体排放量。

一方面，这意味着通过使用低碳技术和能源效率来减少排放。另一方面，这意味着部署碳储存等负排放技术，这也是本文的主题。

碳捕获和储存（ CCS ）指的是一组有助于在关键电力部门（如煤炭和天然气发电厂和工业工厂）的源头直接减少排放的技术。对于无法直接减少的排放，无论是因为技术上的困难还是消除成本过高， CCS 都是从大气中去除碳的重要净负技术方法的基础。

如果未在现场使用，请与2可通过管道、船舶、铁路或卡车进行压缩和运输。它可以用于一系列应用，或注入深部地质地层（包括枯竭的油气藏或盐层），以捕获 CO2用于永久储存。 CCS 独特的双重能力使其成为缓解气候变化的能源转型技术中的一个重要解决方案。

除了 CCS 在能源转型中发挥的作用外，它还是一种解决重工业排放挑战的解决方案，并解决了钢铁、化肥和水泥生产等难以减排的行业的深度减排问题。它还可以支持低碳蓝色制氢的成本效益途径。

在数量上，目前运行的 CCS 设施可以捕获并永久储存约 40 公吨的一氧化碳2每年。据国际能源机构（ IEA ）称，为了实现符合巴黎协议的气候结果， 1150 MtCO2必须在 2030 年前储存。因此，到 2030 年，为了减少电力和工业部门的排放，需要实现 30 倍的存储容量。

全球宏观趋势，例如环境社会治理 （ESG） 标准的兴起，正在刺激最广泛的技术组合的实施，包括 CCS，以尽可能低的风险和成本实现净零排放。因此，投资激励措施在 CCS 背后建立了前所未有的势头，2021 年已经宣布了 100 多个新设施的计划。

一氧化碳2注射问题

碳必须储存在某个地方。它通常存储在地下的一个叫做 geological sequestration 的过程中。地质构造仅在特定条件下被选为储存场地，以确保不存在重大泄漏风险和重大环境或健康风险。

这涉及将二氧化碳注入地下岩层。它以 supercritical fluid 的形式存储，这意味着它的性质介于气体和液体之间。

当公司2在深度注入储层时，只要温度超过 31.1 ° C ，压力超过 73.86 bar ，它就会保持超临界状态。无论储层是盐层还是枯竭的油气田，都是如此。

一氧化碳2必须在毛细管屏障下密封，这样碳才能以安全的方式储存数百年甚至无限期。否则，如果公司2大量泄漏可能会污染附近的含水层。如果泄漏到地面，可能会对附近的人或动物造成安全隐患。

通过求解多相流问题，可以从数值上预测这种储能器的整体性能。然而，由于多尺度非均匀性和复杂的热力学，这需要求解高度非线性的偏微分方程。

实现这一点的数值模拟方法通常包括以下几个步骤：

收集有关地下地质和属性的数据和信息。

建立储层及其周围环境的地质模型。

建立了水库的动态模型，用于模拟 CO2注射和公司2水库内部的演化。这些动态模拟用于评估和优化与储层条件相关的关键性能指标。

传统的模拟器可以精确地模拟这个复杂的问题，但在足够精确的网格分辨率下成本很高。使用数值模拟数据训练的机器学习模型可以提供比传统模拟器更快的替代方案。

在这篇文章中，我们重点介绍了新开发的 U-FNO 机器学习模型的结果，并展示了它对 CO2– 理解和扩展 CCS 应用所需的水多相流问题。

模拟装置

我们认为在 30 年内，以 0.2 至 2 Mt /年的恒定速率模拟深部盐水地层中的气体饱和度和压力。 x 轴和 y 轴分别是以米为单位的储层厚度和储层半径。

该装置是一个位于地面以下至少 800 m 处的真实水库（图 2 ）。该装置可以在不同的实际深度、温度、地层厚度、注入模式、岩石性质和地层地质条件下进行储层模拟。

使用数值模拟器斯伦贝谢 ECLIPSE （ e300 ）开发了 CO 的多相流数据集2地质存储。超临界公司2可以通过垂直注入，将具有各种射孔间隔设计的油井注入径向对称系统 x （ r ， z ）。

图 2 。典型二氧化碳去除循环中的步骤，导致建模阶段

一种新的傅立叶神经算子

在最近发表在 水资源研究进展 ，研究了四种机器学习模型架构：

参数偏微分方程的 Fourier 神经算子 中提出的傅立叶神经算子（ FNO ）

新提议的 U-FNO

使用 conv3d 而不是 U-Net 的 conv FNO

U-FNO ——一种基于增强傅立叶神经算子的多相流深度学习模型 中使用的最先进的基准 CNN

神经算子的目标是从有限的输入输出观测值集合中学习无限维空间映射。与 FNO 中的原始傅立叶层不同，本文提出的 U-FNO 体系结构在每个 U-Fourier 层中附加了一个 U-Net 路径。 U-Net 处理局部卷积，以丰富 U-FNO 在高频信息中的表示能力。

新提出的 U-FNO 模型架构同时使用了傅立叶层和 U-Fourier 层（图 3 ）。

图 3 。 U-FNO 模型架构

在傅里叶层和 U-Fourier 层（ a ）中：

与最初的 FNO 结构和最先进的 CNN 基准进行比较表明，新提出的 U-FNO 结构在预测含气饱和度和压力恢复方面都具有最佳性能。

合作的结果2使用 NVIDIA GPU 进行的存储预测显示：

U-FNO 预测是准确的，气体饱和度的羽流误差只有 1.6% ，压力累积的相对误差只有 0.68% 。

与 CNN 和原始 FNO 相比， U-FNO 在训练集和测试集上都具有优异的性能。

与最先进的 CNN 相比，使用 U-FNO 预测天然气饱和度和压力恢复的准确度分别高出 46% 和 24% 。

U-FNO 只需要 33% 的训练数据就可以达到与 CNN 相同的精度。

使用 U-FNO 在 GPU 上运行 30 年的案例需要 0.01 秒，而使用传统的有限差分方法（ FDM ）需要 600 秒。

U-FNO 为 6 x 104x 比“地面真相”传统 FDM 解算器更快； FNO 是 10 岁5快一点。

培训和测试时间均在 NVIDIA A100-SXM GPU 上进行评估，并与英特尔至强处理器 E5-2670 CPU 上的斯伦贝谢 ECLIPSE 模拟进行比较。

为了公司2– 在这里描述的水多相流应用中，目标是优化气体饱和度和压力场的精度， U-FNO 提供了最高的性能。因此，在概率评估、反演和 CCS 选址方面，经过训练的 U-FNO 模型可以替代传统的数值模拟器。

Web 应用程序

经过培训的 U-FNO 模型托管在一个可公开访问的 web 应用程序 CCSNet ：二氧化碳储存的深度学习建模套件 上。该 web 应用程序提供实时预测，降低了政府、公司和研究人员获得可靠的 CO 模拟结果的技术壁垒2存储项目。

使用 NVIDIA Tensor Core GPU 将 FNO 扩展到 3D 问题大小

由于 CO 中输入数据的高维性2在存储问题上，机器学习的应用已经局限于二维或中小型的三维问题。

为了克服这一局限性，最近的一项研究提出了一种基于输入数据和网络权重的区域分解的 FNOs 模型并行版本。有关更多信息，请参阅 基于模型并行傅立叶神经算子的参数偏微分方程大规模学习求解器 。

在许多应用中，以最小通信量执行多维快速傅立叶变换（ FFT ）并行化的区域分解方法已在文献中得到广泛关注。

众所周知，可以使用低维 FFT 序列高效地计算多维 FFT 。其主要思想是使用迭代的重新划分模式。上述论文提供了分布式 FNO 所需组件的完整数学推导及其实现。

下图显示了这个概念，显示了使用铅笔分解作用于最初分布在 2 × 2 分区上的输入的分布式 FFT 。重划分运算符用于确保每个工作人员拥有计算每个维度中的顺序 FFT 所需的完整数据。

图 4 。使用铅笔分解作用于最初分布在 2 × 2 分区上的输入的分布式 FFT

作者证明，在求解三维时变两相流方程时，这种实现提供了一组不同的特性。在这种情况下，模型并行 FNO 可以在 Summit 上使用多达 768 GPU （ 128 个节点）预测超过 32 亿个变量的时变 PDE 解。

展望下一步，我们可以按照基于区域分解的 Grady 方法训练更大的 3D 模型，并大幅提高数据大小的能力。通过这种技术，我们可以放大 FNO 类型的模型，以解决三维盆地/储层模型2存储问题。

总结

需要模拟来优化 CO2确定注射位置并验证 CO2不会从存储场所泄漏。我们已经证明， U-FNO 是一种增强的深傅立叶神经算子，比最先进的 CNN 精确 2 倍，数据效率 3 倍，比数值模拟器快四个数量级。

使用 NVIDIA GPU ，经过训练的 U-FNO 模型生成 6 × 10 的天然气饱和度和压力恢复预测4比传统的数值解算器更快。分布式算子学习以及通过区域分解将 FNO 扩展到大问题规模的能力，为将我们的研究扩展到实际规模的数据提供了新的可能性。

为了避免气候变化带来最糟糕的后果，第三工作组在其对政府间气候变化专门委员会（ IPCC ）的 第六次评估报告（ AR6 ） 的贡献中公布了 2022 年缓解途径。专家们强调了碳捕获和储存（ CCS ）的必要性和潜力，以将全球变暖限制在 1.5 ° C 或 2 ° C 。

诚然，这套技术目前存在局限性，特别是与经济和社会文化障碍有关。但是，如果二氧化碳净排放量为零，那么将其用于抵消难以减少的残余排放被认为是不可避免的2或者实现温室气体排放。

我们相信，为气候行动和恢复力构建强大的人工智能工具可以大规模地遏制排放。在这项工作中，我们采用了新的人工智能技术来加速合作2多孔介质中的流动，对 CCS 应用和减缓气候变化的道路起着重要作用。

关于作者

Farah Hariri是NVIDIA 的高级物理学家和技术专家。她是 NVIDIA Earth-2 气候变化和能源转型团队的技术负责人。她的活动包括为缓解和适应气候变化构建地球的数字双胞胎， E-2 将是世界上第一台人工智能数字双胞胎超级计算机。法拉在理论和核物理、气候和能量转换技术、数值模拟和人工智能方面拥有广泛的技术背景。在加入 NVIDIA 之前，她从事气候和能源政策框架方面的工作，并曾在欧洲核子研究中心、瑞士联邦理工学院（ EPFL ）和法国替代能源和原子能委员会（ CEA ）领导各种研究项目。

Gege Wen是斯坦福大学地球、能源和环境科学学院能源工程系的博士候选人。她在斯坦福大学土木与环境工程系获得了流体力学和水文学硕士学位，自 2016 年以来一直与 Sally Benson 教授合作进行碳捕获和储存的数值模拟。她的研究专注于碳存储问题的机器学习方法。她是埃克森美孚新兴能源公司的研究员。在就读斯坦福大学之前，她获得了多伦多大学 LasunDE 矿物工程荣誉学士学位。

Zongyi Li是加州理工学院计算+数学科学（ CMS ）系阿尼玛·阿南德库马尔（ Anima Anandkumar ）推荐的博士生。他对机器学习和应用数学有广泛的兴趣。他正在开发偏微分方程的深度学习方法。 Zongyi 得到了 Kortschak 学者和 PIMCO 研究员项目的支持。

Kamyar Azizzadenesheli 自 2020 年秋季起担任普渡大学计算机科学系助理教授。在担任教员之前，他曾在加州理工学院（ Caltech ）担任计算+数学科学系的博士后学者。在博士后职位之前，他被任命为加州理工学院的特殊学生研究员，与 CMS 部门和自主系统与技术中心的 ML 和控制研究人员合作。他也是加州理工学院前访问学生研究员。 Kamyar Azizzadenesheli 曾是斯坦福大学的访问学生研究员，也是加州大学西蒙斯研究所的研究员。伯克利。此外，他曾是 INRIA France （ SequeL 团队）的客座研究员，也是微软研究实验室、新英格兰和纽约的访客。他在尔湾加利福尼亚大学获得博士学位。

Anima Anandkumar 在学术界和工业界拥有双重地位。她是加州理工学院 CMS 系的布伦教授和 NVIDIA 的机器学习研究主任。在 NVIDIA ，她领导着开发下一代人工智能算法的研究小组。

Sally M.Benson 教授于 2007 年加入斯坦福大学，是地球、能源与环境科学学院能源工程系 Precourt 家族教授；她研究减少温室气体排放的技术和途径，包括在地下深处地质封存二氧化碳，以及为低碳未来进行能源系统分析。她是斯坦福碳储存中心和斯坦福碳去除倡议的联合主任。

审核编辑：郭婷