联发科年底将推出新一代旗舰SOC，加速生成式AI终端部署

电子发烧友网报道（文/李弯弯）近日，联发科宣布将运用Meta最新的大型语言模型Llama 2及自家的人工智能处理单元（APU）和完整的AI开发平台（NeuroPilot），建立完整的终端运算生态系统，赋能终端设备生成式AI应用。

将生成式AI部署在终端设备上

目前大部分生成式AI都是通过云端运算进行，而联发科的目标是将其部署在终端设备上。联发科表示，今年年底将推出新一代旗舰 SoC，将采用针对Llama 2模型而优化的软件栈（NeuroPilot），与搭配支持Transformer模型做骨干网络加速的升级版AI处理器（APU），可减少动态随机存取内存（DRAM）的读写消耗和带宽占用，进一步强化大语言模型和生成式AI应用的性能，助力开发者打造令人惊艳的AI应用，加速终端设备AI应用落地发展。

Llama 2由Meta的研究部门Meta AI开发，是建立在Meta之前的开源大型语言模型Llama之上，Llama于今年 2 月发布。Llama使用Meta的PyTorch框架在公开可用的在线数据源上进行了预训练。然而，Llama拥有非商业许可证，仅适用于具有一定资格的学者。

之后，Meta发布了带有商业许可证的Llama 2，允许任何人将其用于研究和商业目的。Llama 2参数范围从70亿到700亿，使用2万亿个token在线数据进行预训练，是Llama的两倍。Meta Llama 2具有更丰富的上下文窗口，包含4,096个标记，是Llama上下文窗口大小的两倍。

Meta Llama 2对超过100万条人工注释进行了微调，这些注释是从各种来源收集的，例如公开可用的指令数据集和Meta自己的众包平台。经过微调的模型Llama-2-chat针对对话应用程序进行了优化，可以生成流畅且更为准确的响应。

NeuroPilot是联发科为开发者提供的基于本地端侧的AI运算解决方案，它为内建CPU、GPU 和 APU（独立AI 处理器）等异构运算单元的MediaTek SoC平台提供完整且强大的软件解决方案。

NeuroPilot支持开发者在现有和未来的联发科硬件平台以及包括智能手机、汽车、智能家居、物联网等产品线实现“一次编写，全场景通用”，帮助开发者在MediaTek平台上高效开发和部署基于神经网络模型的AI应用程序。

AI开发者可以使用主流的TensorFlow、Pytorch、TF Lite、Caffe、Caffe2以及其他自定义的第三方通用AI框架来构建神经网络模型，并接入到NeuroPilot系统，充分发挥联发科AI系统的强劲算力，显著提高模型运行在设备上的效率，并降低功耗和内存消耗。

在设备端部署生成式AI有诸多好处：1、减少延迟；2、提高数据私密性，将数据保存在设备上，数据就不会通过数据中心传输；3、提高带宽效率，如今，生成式人工智能任务需要将用户对话中的所有数据来回传输到数据中心。而通过本地化处理，大量数据将在设备上完成；4、提高运行弹性，通过在设备上生成，即使网络中断，系统也能继续运行；5、提高能源效率等。

联发科积极投入到人工智能领域布局中

过去一年多时间，由于消费电子等市场需求疲软，联发科的业绩也受到较大影响，在今年4月28日，联发科执行长蔡力行在财报电话会议上表示，将会迅速将资源转移到汽车和人工智能芯片领域，预计这些领域将在未来3到5年内提供增长。

可以看到，联发科对人工智能领域的重视，尤其是当前，生成式AI正在以空前的速度发展，它已经成为新一代科技和产业变革的核心动力。Bloomberg Intelligence报告指出，未来10年内，生成式AI市场规模将从2022年的400亿美元，增长至2032年的1.3万亿美元，年复合增速有望达到42%。

这对于联发科来说是极好的机会，除了上文提到，联发科宣布运用Meta LIama 2大语言模型和联发科先进的AI处理器（APU）以及完整的AI开发平台（NeuroPilot），建立完整的终端侧AI计算生态，赋能终端设备生成式AI应用之外，前段时间，联发科还宣布联合百度发起飞桨和文心大模型硬件生态共创计划，共同推进联发科硬件平台与飞桨和文心大模型适配。

目前双方正在合作优化文心大模型在终端设备上的执行效果，将实现大模型在终端和云端的协同工作，为用户带来突破性的生成式 AI 应用体验。

作为推动AI进一步发展的先进技术，与单纯在云端部署生成式AI应用和服务相比，终端侧部署生成式AI在节约服务器成本、保护用户信息安全、提升实时性和实现个性化用户体验等方面具备明显优势。

双方的合作将支持基于联发科芯片的智能手机、汽车、智能家居、物联网等终端设备上运行文心大模型，赋能终端设备提供更安全、可靠和差异化的使用体验。

小结

当前，生成式AI正在快速发展，它已经成为新一代科技和产业变革的核心动力。目前生成式人工智能多还是通过云端运算进行，而众多手机厂商，包括三星、华为、苹果，SOC厂商高通、联发科等都在积极探索，将生成式AI部署在终端设备上。在众多厂商的努力下，更好用的生成式AI值得期待。