商汤发布业内最快推理速度「日日新 5.0 端侧大模型」

现在，就是AI大模型在端侧应用的春天！

无论全球芯片巨头，还是“AI手机”、“AIPC”厂商们，都在发力AI大模型的端侧应用。

是什么让大家蜂拥而至？

“天下武功，唯快不破”

当数十亿个端侧设备都在不停地调用云端大模型，估计没有任何一个服务器受得了。因此，能够提供即时推理决策的端侧能力是AI大模型进一步提高应用渗透率的关键。

来看看我们的主角：商汤「日日新 5.0端侧大模型」

它有多优秀？

性能实现同等尺度性能最优，跨级尺度全面领先。

BenchMark成绩显示，「日日新5.0端侧大模型」SenseChat-Lite 1.8B全面领先所有开源2B同级别模型，甚至在大部分测试中跨级击败了Llama2-7B、13B模型。

   

同时，在实际应用中，为进一步提高各类终端任务处理灵活性，它还引入端云联动的MoE框架，可针对不同行业应用设置不同的云端联动配比，在性能、速度和成本间取得平衡，获得最佳推理效果。

▎AI大模型端侧应用，不仅拼性能，还拼“手速”

下面，我们一起看看商汤端侧大模型的实际表现。

首先，是纯端侧大模型推理速度。

目前商汤「日日新5.0端侧大模型」语言模型能力的推理速度达到了业内最快，对比人眼20字/秒的阅读速度，可在中端性能手机上达到18.3字/秒的推理速度。

在高端旗舰手机上，推理速度更是达到78.3字/秒！

例如，手机断网模式下生成一个“理由充分、安排详实”的员工休假申请，效果是这样：

现场原速

离线飞行模式下，打工人也能迅速总结工作纪要，生成速度紧跟人眼阅读节奏。

现场原速

此外，多模态图文能力也是端侧模型在行业铺开的关键。

以扩图功能为例，商汤「日日新5.0端侧大模型」扩散模型可实现当前业内最快推理速度。

在高通旗舰平台上推理速度小于1.5秒，比手机云端处理快10倍，且支持输出1200万像素以上的高清图片，支持等比扩图、自由扩图、旋转扩图多种图像编辑功能。

可以看到，在「商汤技术交流日」现场实时演示中，商汤端侧大模型完成3种不同方案的扩图速度比竞品手机自带App扩1张图的速度还快：

旋转扩图效果同样出色，端侧几乎是实时的：

现场画面2X速

活动现场直接拍照，即时自由扩图，“自信”瞬间拉满：

▎「日日新5.0端侧大模型」已开放SDK服务

可以看到，商汤端侧大模型在语言处理和多模态交互方面展现了强大的应用潜力。

它能够胜任端侧AI场景中多种任务，包括日常对话、常识问答、文案生成、相册管理和图片创作等，可满足各类用户日益普遍的AI应用需求。

目前，商汤端侧大模型已开放SDK服务，全面覆盖智能手机、平板电脑、VR眼镜、车载系统等多样化的设备场景，为开发者和制造商提供丰富的应用适配空间。

最后，让我们听听商汤的合作伙伴如何评价商汤日日新大模型：

在个人出行场景，近期火爆市场的小米汽车SU7，小米小爱同学为车主提供智能化交互体验，当中也有集合应用了商汤的大模型技术能力，有基于商汤端云大模型解决方案；小米集团小爱总经理王刚表示：“商汤的云边端全栈组合，可以很好地赋能和适配小米物联网生态。我们希望与商汤共同为我们的用户打造更具智能化的产品体验。”

▎One More Thing：端侧智能体is coming

着眼未来，端侧大模型还将走向更高阶应用——端侧智能体。

有啥效果？

通过语音直接给手机下任务，智能体就会自动调用手机中各种应用完成任务：

审核编辑：刘清