沐曦付轩：蹄急而步稳，GPU助力ChatGPT快、准、稳全面发展

2023年6月17日，由绍兴市人民政府主办的 2023 中国（绍兴）集成电路产业峰会隆重举行，“ChatGPT风向下的集成电路新趋势”论坛及集成电路项目路演也同期举行，为百余位产业从业者提供深入了解行业发展动态和交流合作的机会。沐曦首席解决方案架构师付轩受邀参会并发表演讲。

付轩在“ChatGPT风向下的集成电路新趋势”论坛中发表主题为《蹄急而步稳：ChatGPT与高性能GPU战略概览》的主题演讲，分析了ChatGPT的应用特点及软硬件需求，指出以ChatGPT为代表的大模型发展需要大的通用算力与矩阵算力作为支撑，并且作为基于GPU生态发展起来的模型，对GPU显存、GPU间互联通信、通用GPU编程框架及软件生态等多方面均有很高的要求。因此，作为算力底座的GPU不仅需要算得快，还要算得准、算得稳，不仅要提供高效计算，还要保证结果准确，并且灵活可靠。

对此，可以采取以下策略：首先，针对ChatGPT大模型训练，大集群3D并行是一种有效方式，能够集张量并行、流水并行和数据并行为一体，与只有数据并行的小模型相比，是一种完全不同的复杂并行结构。在大模型推理方面，推理精度要求高，延迟容忍度高，带来越来越多的云端高算力推理需求，更适合在数据中心中运行，也符合“东数西算”的战略规划。同时，基于高性能GPU生态的算法创新实现算子提速并极大减少显存消耗，通用算力与矩阵算力的高效协作实现算子融合加速，稳定可靠的千卡大集群、GPU软硬件结合、“训推一体”优化保障训练和推理的精度，均是能够使大模型计算实现快、准、稳的可行性措施。

沐曦作为一家提供全栈GPU芯片及解决方案的企业，其旗舰产品曦云C500系列通用GPU采用沐曦自研IP，能够提供强大的多精度混合算力，同时配以大容量存储和新一代高速IO接口及多卡互联技术，不论在矩阵算力、通用算力还是显存规格方面均可全面支持大模型推理和训练，并广泛应用于人工智能、数据中心以及教育和科研等多种场景。同时，沐曦自主研发的MXMACA软件栈能够全面兼容主流GPU生态，为客户提供软硬件一体的应用解决方案。目前，曦云MXC500芯片已于2023年6月13日成功回片点亮，预计将于今年年底实现量产。

总的来说，ChatGPT对于硬件和软件均有需求，我们要更好地利用现有的GPU生态，发挥通用算力与矩阵算力的全面优势，做好算子的算法创新和加速。同时，在做千卡大集群时，单节点内的多GPU互联也是必须的。此外，当前各种大模型创新层出不穷，我们要把各种各样的大模型迁移到曦云C500上来，因此生态兼容也至关重要。做到以上几点，大模型就能够更好地在国内实现高效迭代与应用落地。

关于沐曦

沐曦致力于为异构计算提供安全可靠的GPU芯片及解决方案，打造全栈GPU芯片产品，推出MXN系列GPU（曦思）用于AI推理，MXC系列GPU（曦云）用于AI训练及通用计算，以及MXG系列GPU（曦彩）用于图形渲染，满足数据中心对“高能效”及“高通用性”的算力需求。沐曦产品均采用完全自主研发的GPU IP，拥有完全自主的指令集和架构，配以兼容主流GPU生态的完整软件栈（MXMACA），具备高能效和高通用性的天然优势，能够为客户构建软硬件一体的全面生态解决方案，是“双碳”背景下推动数据中心建设和产业数字化、智能化转型升级的算力基石。