商汤大装置加速大模型能力下沉，构建智能计算新生态

大模型技术持续突破前沿，如何加速向产业“下沉”？

3月23~24日，2024全球开发者先锋大会（GDC）在上海成功举办。期间，商汤科技大装置执行总监成功，以及商汤科技大装置产品总监陈希受邀出席大会分论坛活动，围绕大模型前沿开发、智能计算创新等话题分享前瞻洞见，共话智能生态构建。

以体系化基础能力支撑，加速大模型向下演进

去年以来，生成式AI取得了飞跃式的发展，并不断从单一模态向多模态演进。那么，还有哪些因素是大模型发展的关键？

在GDC 2024大模型前沿论坛上，商汤科技大装置执行总监成功认为，大模型在很多场景下已经具备了强大的基础能力，但在推理和规划执行能力方面还需要继续突破。同时，效率和成本也是大模型发展的关键因素，需要以更低的成本、更快的速度触达应用并形成闭环。

其一是多模态融合的挑战，需要有效地将更多不同模态进行深度融合，提高模型对多模态数据的理解和处理能力。

其二是模型性能与成本平衡的挑战，需要在模型小型化的同时尽可能保持原有模型性能，特别是满足个人场景下端侧模型、端云协同的应用需求。

此外，随着大模型尺度的提升和训练数据的增加，行业还需要一套高效的大规模基础设施，以提供包括高质量的数据管线、全面的评价体系、完善的工具链等体系化的底层支撑。

成功表示，SenseCore 商汤大装置沉淀了整套大模型基础设施能力，不仅可服务于众多企业和科研院所的开发者，很快也会向个人开发者全面开放。

在AI基础设施之上，SenseCore 商汤大装置将推出全新升级的大模型服务平台和开发者工具，并向社区免费提供千万级算力补贴、万亿token大模型调用资源。 商汤希望通过大装置激发整个社区的力量，携手更多开发者共同探索大模型能力前沿，拓展技术边界。

高效率、低成本智算基础设施

赋能AI生产新范式

大模型时代，计算量、模型参数和数据集规模都在快速增长从而不断推升模型的“智能”水平，其背后遵循的就是尺度定律。同时，随着AI在各行各业的落地向深水区挺进，人工智能基础设施化已成为必然趋势。

在GDC 2024曙光智能计算开发者讲坛上，商汤科技大装置产品总监陈希分享了依托SenseCore商汤大装置，商汤科技在智能计算领域的探索和实践。

第一，加速国产算力布局。通过与众多国产算力厂商合作，商汤与上下游产业伙伴共同推动国产生态建设，完成多款芯片与框架适配，落地1500P国产算力集群，积极推进芯片评价标准和体系的完善，加速整个国产算力商业化进程。

第二，持续探索尺度定律边界。随着大模型的参数量朝向万亿以上级别激增，稳定、高效的超大规模算力调度和训推引擎成为核心基石。 SenseCore 商汤大装置拥有万卡规模异构算力池，可满足万亿参数大模型训推需求，实现分钟级容错以达成30天以上大规模长时间训练不间断。 另外在推理侧，自研推理引擎在大语言、多模态模型性能表现提升2倍；通过训练、微调、推理混部，资源利用率提升40%，为用户提供极致性价比服务。

第三，建设面向开发者友好的AI基础设施。面对愈发高频次、高效率的模型迭代需求，SenseCore商汤大装置拥有领先的AI 原生云算力产品体系，为客户打造0门槛，一站式的极致开发体验，缩短大模型开发周期。

根据国际知名调研机构弗若斯特沙利文（Frost & Sullivan）联合头豹研究院发布的《2023年中国AI开发平台市场报告》，商汤大装置成为AI开发平台领军者，市场综合竞争表现国内第一，全球位居第二，仅次于亚马逊云。 以人工智能大模型开发、生产、应用为核心，商汤致力于通过高效率、低成本、规模化的下一代的人工智能基础设施与服务，深化AI算力生态建设，助力发展数字经济产业全生态。

审核编辑：刘清