爆款应用背后的商汤大装置

50%成本节省、3~5倍推理时延降低、100%的QPS（每秒请求数）提升！

由想法流打造的“造梦次元”，是由多模态AI驱动的新一代内容平台，得益于商汤大装置AIGC解决方案从算力到模型的端到端支持，通过算力和模型、模型和应用之间的紧密协同，既创造了最佳的用户体验，又获得了最大化的成本效益，如今已成为一款日均活跃互动时间超过100分钟的现象级应用。

想法流合伙人、Studio负责人张鸿表示：“商汤大装置展现出三重核心优势：一是算力与模型的深度协同，实现最高效的资源利用；二是针对文本、语音、图像等不同模态的协同，构建了流畅自然的交互体验；三是支持开源模型的完善生态，提供了多样化模型选择。这种多维度协同优势助力我们完成了‘算力、模型、应用’三位一体的全链条优化，推动技术效能向商业价值的高效转化。”

日均6000万次调用、千亿token消耗，带来三大「生存挑战」

基于对用户需求的洞察，想法流通过技术创新直击AI互动应用普遍存在的“沉浸感不足”和“门槛过高”两大核心问题。

例如，通过提供文字、语音、文图结合的多模态交互，让用户与AI的互动体验趋近真实人际交流。此外，想法流还提供丰富的创作工具，用户只需套用相关模板，就可快速搭建完整互动内容，有效降低了创作门槛。

造梦次元每日平均模型调用量高达6000多万次，一天消耗的token达千亿级别。在如此庞大的规模下，任何卡顿、宕机、出错都会导致严重的用户流失；任何因模型能力不足造成的体验不佳，都会影响产品口碑；任何微小的资源闲置，都会累计成巨大的成本开销。摆在想法流面前的“生存挑战”，主要体现在三个层面：

2倍峰谷差的算力弹性战：造梦次元的平台流量有着鲜明的潮汐特征，周末和节假日高峰时段的流量可达低谷时期2倍，对基础设施算力资源有很强的弹性伸缩需求。

推理时延的2秒生死线：虚拟角色互动场景对时延极为敏感，要保证基本流畅的交互体验，模型推理时延需稳定控制在2秒以内。

模型迭代的稳定性挑战：想法流采用了很多开源模型，需要跟随社区节奏进行频繁升级甚至替换。需求多、更新频，如何保证业务稳定运行也至关重要。

高峰秒级响应不卡顿、低谷资源释放不浪费

商汤大装置作为“最懂大模型的AI基础设施”，为想法流提供了从算力到模型的全链路一体化AIGC整体解决方案，一站式支撑想法流的产品研发及运营需求，做到“高峰秒级响应不卡顿、低谷资源释放不浪费”。

秒级弹性伸缩：成本暴降50%，流量潮汐从容应对

面对流量峰谷波动挑战，商汤大装置通过实时监测、统一调度、智能扩缩容的组合策略，实现秒级弹性伸缩，为想法流的整体运营成本降低了50%。其中，智能化统一调度结合监测系统实时抓取的业务指标，根据推理业务扩缩容规则自动分配资源，实现算力与流量的精准匹配；并结合定时扩缩容与按需扩缩容的双重策略，进一步提升弹性伸缩的灵活性。

全链路优化：5倍推理时延降低、100%QPS提升

想法流将“人均互动次数”作为判断模型体验的综合指标，推理时延和QPS正是影响该指标的关键因素。商汤大装置通过硬件资源、软件框架、算法模型等多维度协同优化，使推理时延降低3~5倍。

另外，在秒级弹性伸缩的基础上，商汤大装置还通过全链路量化加速、流量分级与降级等专项优化，可在高峰期优先保障高价值业务的响应速度，最终将QPS提升100%，以更快的响应速度提升用户体验。

商汤日日新多模型组合，“人均互动次数”翻倍提升

“人均互动次数”另一个影响因素在于模型能力，商汤以商量语言大模型、商量拟人对话模型、文生图模型秒画等多模型组合，为造梦次元用户带来“更懂人心”的交互体验。

其中，商量语言大模型以精准的上下文语义分析、意图推理及对人类情感的细致感知与回应，助力造梦次元以拟人化思维打造沉浸式交流体验。同时，依托商量拟人对话模型领先的角色对话、人设、及剧情推动能力，帮助想法流用户打造IP角色，为用户提供高拟真对话体验。此外，创作者可使用秒画的普通生图、CN生图、换脸、扩图等功能，进行各类虚拟角色设计。

基于基础设施的系统优化和双方的模型共创，造梦次元的“人均互动次数”从初期20轮提升至40~50轮，用户粘性实现跨越式增长。

可靠全面稳定性保障：模型随时升，业务不断点

针对想法流高频次的模型切换，以及开源模型频繁的版本升级给业务运营带来的稳定性挑战，商汤大装置针对推理阶段构建了涵盖模型灰度发布、滚动升级与智能运维的全面稳定性保障体系，不仅为模型快速迭代提供了有效支撑，也确保了在线业务的稳定运行。

日均活跃100分钟，构建新型内容消费生态

短短两年时间，“造梦次元”已发展成为拥有数百个万粉级别IP角色，日均活跃互动时间超过100分钟的应用平台，是大量年轻用户娱乐、情感表达和学习陪练的重要伙伴。未来，双方还将聚焦多模态模型能力深化合作，给用户带来更新奇、更有趣的AI互动之旅。

商汤科技联合创始人、大装置事业群总裁杨帆认为：“商汤大装置与想法流的合作，是对商汤科技‘大装置-大模型-应用’三位一体战略价值的最佳诠释。基于应用场景特点开展模型能力共创，训练高度贴合业务需求的垂类模型，并针对模型调用需求提供最优的基础设施支持，给予灵活的弹性伸缩、极低的推理时延和稳定性保障，最终实现降本增效和用户满意度的提升。大模型算法与基础设施的联合优化，不仅是驱动生成式AI发展的核心动力，也是实现最大化商业价值的最优路径。”