商汤科技推出SenseFoundry-VL方舟多模态新智平台

日日新」进化到5.5，商汤AI产品会有哪些具体升级？

生成式AI创新应用自不必说，商汤传统视觉AI中的核心产品也正发生变化。

WAIC 2024期间，基于 “日日新5.5”大模型体系能力，商汤“方舟城市开放平台”进行全新产品架构升级，推出首个“大模型+城市服务”的解决方案及应用实践「SenseFoundry-VL 方舟多模态新智平台」，助力智慧城市服务场景进一步提智提效。

智慧城市走向多模态大模型赋能管理

「方舟多模态新智平台」着力解决传统视觉业务所面临的交互方式单一化、泛化场景看不懂、复杂场景误报高、大模型应用难上手等问题。

在传统智慧城市解决方案基础上主要进行三方面升级：

“需求即指令”。通过Agent技术，「方舟多模态新智平台」构建了可理解并处理多种业务的AI智能体，实现了需求描述向具象指令的高效转化。这种方式更接近于人类交互，用户可直接自然语言提问输入查询，大模型会理解用户意图并给出相应的答案。

例如，在交通运输场景，交通部门或物流企业可通过构建物流运力分析智能体，提取车辆位置、车流状况、天气等相应信息提取派单信息，最终制定更科学合理的物流车辆运输时空图谱。

“对话即检索”。依托大模型视图语义理解能力，可实现图文资源的智能语义化检索和对话式研判。让用户获得“所说即所得”、“所问即所应”的体验。

例如，在剧烈台风后，城市管理者可通过对话即刻检索出树木倒伏、电线杆倾倒等各类危害交通安全的场景，从而进行快速响应处理。

“提示即提优”。依托大模型良好的泛化能力，无需海量定制研发投入，只需少量正负样例数据和提示词调整，即可一键生成通用模型和特定模型，部分复杂城市事件的识别准确率高达90%以上，真正实现模型生产和调优的使用易、落地快、成本低。

作为一款“听得懂、会交流、擅优化”的多模态大模型平台，「方舟多模态新智平台」未来有望持续推动智慧城市+大模型的迭代升级，聚焦多模态、高效化、个性化、可解释性和数据驱动决策等方向，并拓展至智能交通、公共服务智能化、应急响应、城市服务与决策支持、区域协同发展等应用场景。

已落地一线，实现城市服务十倍提效

目前，「方舟多模态新智平台」已在城市服务场景中实际落地。

以城市便民服务为例，该平台可实现便民窗口服务的智能化分类分拨、智能视频设备调取、智能处置建议、智能系统信息查询等能力。

在某一线城市12345公共服务便民热线场景中，「方舟多模态新智平台」助力12345工单的分类分拨速度提升至原先的10倍以上，并统一了分类标准。在短短一个月内，完成超过30万次的分拨诉求，平均每天处理一万余次。

借助「方舟多模态新智平台」，单个分拨员原本一个月的工作量现在仅需一天即可完成，经二次复核，准确率高达90%以上。

这样的智能化分拨应用不仅切实有效，更极大减轻了政务工作压力，显著提升工作效率。

此外，「方舟多模态新智平台」支持自然语言调取10万路以上前端点位，实现分钟级精准检索；升级后的模型架构支持通过简单提示词，即刻创建全新场景分析功能，实现1天内快速部署上线，3天内手动快速调优，部分场景通过二次分析后准确率达90%以上。真正让大模型迅速落地在各类应用场景中，实现所想即所得。

差异化优势明显，智慧城市行业新标杆

与常见行业方案相比，商汤「方舟多模态新智平台」差异化优势明显，主要体现在三方面：平台技术布局、硬件选型、业务应用。

首先，是融合架构的技术布局。视觉领域深厚算法积累+「日日新」领先大模型能力，为「方舟多模态新智平台」的全面架构升级奠定扎实基础。

「方舟多模态新智平台」采用的视觉-语言多模态大模型，集图文对比、文本理解生成及交错图文理解三大能力为一体，在国际权威机构的国产化大模型评测中，位列第一梯队；同时视觉模型+大模型融合架构，AI智能体等引入，为城市AI应用创新提供全方位的技术支撑。

其二，是国产适配的硬件选型。「方舟多模态新智平台」充分研讨了国产自主可控的方针政策。目前充分适配了主流的国产芯片和硬件服务器，为大模型国产化落地提供全面的算力保障。

第三，灵活可配的业务应用。城市场景有复杂性高、碎片化强等特点，「方舟多模态新智平台」能根据智慧城市的具体需求，进行高度定制化开发。此外，其创新性配套图文可视化的提示工程设计，也很好地兼顾了方案落地的泛化性及系统应用的低门槛，有效保障AI大模型的落地效果。

伴随全球数字化转型加速，“智慧城市”与“大模型”结合被视为未来城市发展的关键。「方舟多模态新智平台」是商汤在助力城市服务智能化发展中取得的突破性进展，必将作为新质生产力，开启城市智能化发展新篇章。