“芯合”异构混合并行训练系统1.0发布

近日，中国移动研究院副院长段晓东携手天数智芯、壁仞科技、中兴、海光、瀚博等一众产业合作伙伴，共同推出了“芯合”异构混合并行训练系统1.0版本。

该系统具备两大核心能力，首先是基于非均匀计算任务切分ITD(Inhomogeneous Task Distribution)算法的3D并行策略。该策略利用通用混合训练框架，实现了异构数据并行和异构流水线并行，能够灵活应对各种复杂的计算任务。通过这一技术，系统能够根据异构算力的特点，自适应地调整数据微批次大小、数量以及流水线并行度等参数，从而充分发挥不同计算单元的性能优势。

其次，“芯合”系统还采用了基于GDR(GPU Direct RDMA)的异构芯片高速通信技术。这一技术为异构芯片之间的数据传输提供了高速通道，极大地提升了数据传输效率，从而进一步提升了系统的整体性能。

“芯合”异构混合并行训练系统1.0的发布，标志着中国移动及其合作伙伴在异构计算领域取得了重要突破，为未来的高性能计算和人工智能应用提供了更加高效和灵活的训练平台。