技术揭秘AI开发降本提效之道：云智一体AI开发全栈模式

云计算在与人工智能技术的融合发展中，也在打破企业开发的边界。3月27日，百度智能云“2021云智技术论坛”首场活动在京举办，百度智能云重磅发布“云智一体的AI开发全栈模式”，基于独有的 AI 原生云架构，通过软硬一体高性能AI开发基础设施为企业提供AI开发全栈解决方案，并与到场的各个领域企业嘉宾分享了AI中台的特性和实践等等。作为国内AI公有云服务市场第一的百度智能云正以“云智一体”独家优势持续领跑市场。

百度智能云是百度AI技术落地的承载者和输出者，已展现出“云智一体”这一独特竞争优势。“智”指百度大脑，作为智能云的核心基础，经过十余年积累，百度大脑已经发展成核心技术领先的软硬一体AI大生产平台，为各行各业赋能的AI新型基础设施。为了满足产业智能化应用的规模化生产，百度智能云在行业率先提出了AI原生的云计算架构，打造业界最适合跑AI的云，结合上层灵活易用、满足各类开发者应用需求的AI开发平台，助力企业提升AI开发效率，提速智能化进程。

软硬一体高性价比的AI开发基础设施 打造业界最适合跑AI的云

当下，智能家居、智能金融、自动驾驶、智慧医疗、智能零售、智能制造等领域的行业应用正全面进入AI原生阶段。为了更好地适应已经来到的AI原生新阶段，百度智能云构建全栈的AI原生云架构，面向AI应用场景进行深度的软硬一体协同优化，构建业界最适合跑AI的云，在AI基础设施层面能够为企业提供高性能的AI算力，更简单、易用、高效的开发过程，更流畅的端到端应用开发全流程体验。

百度智能云主要通过AI计算、AI存储、AI容器三层构建AI开发基础设施。具体来看：

AI计算层：基于百度“太行”弹性裸金属产品为客户提供高性能，多规格高性价比的算力服务。这里分为如下几个维度分别介绍：

•  芯片层面，拥有丰富的AI芯片类型，包括百度自研的昆仑芯片以及行业多规格的商业GPU和FPGA芯片，以满足不同场景的AI算力需求。
• 单机服务器层面，基于X-MAN架构的AI超级服务器，X-MAN是第一款能够搭配4路CPU的超级AI计算机，突破CPU+GPU配比限制，更好的释放GPU能力，让CPU的能力不再成为GPU算力利用的约束限制，提升AI计算场景的整体计算能力。同时在单机内部多卡之间通讯基于NVLink高速互联。
• 百度的AI超级服务器统一通过百度自主研发的硬件虚拟化技术百度太行弹性裸金属，以百度太行高性能计算实例的形态，能够和其他云服务无缝接入，包括云存储、云数据库、云网络等，同时也保持裸机层面的零损耗高性能。

AI存储层：其核心是基于百度的对象存储服务以及关联的面向AI场景的加速和处理能力，解决客户AI开发场景的数据存储和分析问题。为此，百度智能云特别提供了面向AI计算的存储服务架构，并分为如下几个层面：

• 第一层，是数据上云，帮助客户的数据怎么能快速高效的上云，百度既提供面向离线传输的磁盘传输方式，也提供面向在线的cloud flow产品，支持客户创建各种模型的在线传输任务。离线传输支持单台百TB的数据迁移能力，在线数据流转cloud flow兼容业界7种对象存储接口。
•  第二层，是数据存储，百度以对象存储为核心提供高性价比的存储服务。百度对象存储提供业界最先的4级数据存储，并提供智能的生命周期管理和业界领先的读写性能，满足客户在大数据场景下的性价比需求。
• 第三层，就是数据的处理和AI加速层，在加速层面，百度提供一层Cache服务，基于更高速的存储介质，提供元数据加速，缓存的管理等能力，以提供更高性能的存储能力，同时也在对象存储上默认集成了一些AI智能处理能力。百度的高速缓存能力，在一些场景下训练速度能提升4倍以上，同时也融合集成了几十种智能处理能力。

此外，针对视频、图像等文件类型，百度智能云在BOS测试更好的封装集成了百度相关的AI能力，包括几十项图像的审核能力，以及图像增强和特效能力，用户可以直接通过BOS的事件触发框架，在数据访问或者数据上传时，直接通过统一的接口拓展来调用这些智能处理能力，让数据分析和存储更近，降低编码复杂度，提升管理体验。

AI容器层：百度智能云的容器引擎服务CCE，提供基础的Docker容器生命周期管理、大规模容器集群运维管理、业务应用一键式发布运行等功能，还面向AI场景进行了一系列的针对优化，包括GPU异构资源的管理，AI作业的调度管理等，以更高效的使用算力资源，提升资源自用使用率。具体介绍一下AI容器服务的一些关键特性：

• 支持GPU的共享能力，支持用户进行1/2、1/4等颗粒度的GPU算力资源管理。
• 在AI作业的调度层面，支持Gang、Spread、Binpack等调度算法，以及针对NVLink等GPU网络架构的感知调度能力。
• 在加速引擎层面，提供算子和通信加速引擎，算子加速在具体场景下可以提升数倍的推理效率，通信库可以支持千卡规模的通信加速能力。

AI原生的云基础设施上层打造AI开发双平台 云智一体的AI开发成为最优解

伴随着产业智能化的大潮，AI已成为诸多行业转型升级的通用技术，企业级AI开发平台的作用日益凸显。依托AI原生的云基础设施，基于百度自研的产业级开源深度学习平台飞桨，满足企业针对场景的定制化应用需求，百度推出飞桨企业版，包括面向AI应用开发者打造的零门槛AI开发平台EasyDL和面向AI算法开发者建设的全功能AI开发平台BML。

EasyDL和BML都可以满足开发者数据获取、特征提取、参数调优、模型训练、模型评估、模型部署、推理服务等全流程需求，更具备丰富的任务场景、便捷高效的智能数据服务EasyData、内置百度超大规模预训练模型所带来的高精度效果、支持广泛适配各类硬件的模型部署四大核心优势。

零门槛AI开发平台EasyDL

EasyDL面向AI应用开发者，支持图像、文本、视频、语音、OCR、结构化数据、零售行业版7大技术方向，16种任务类型，支持公有云、本地服务部署、设备端、软硬一体四种部署方案，已服务超过80万用户。从EasyData智能数据服务、模型训练到服务部署一站式全流程服务让用户无需了解算法细节，5分钟即可上手，最快10分钟完成模型训练。

数据准备：在数据处理上，可直接使用智能数据服务平台EasyData的强大能力，实现数据采集、评估、清洗、标注的一站式服务。极大降低用户获取与处理数据的成本。

模型训练：EasyDL内置了百度自研的超大规模视觉预训练模型和自然语言处理的预训练模型文心（ERNIE）2.0，对比开源数据集训练的预训练模型可以有效全面提升模型效果。

EasyDL还全新发布了多角度模型评估能力进一步助力模型调优，包括三种可视化归因分析工具：

•  混淆矩阵：可以通过数据统计，帮助开发者精准判断模型在哪些类别上容易出错，
• 热力图：可以进一步地解释模型的决策依据，在整图范围内给出影响模型识别结果的像素重要程度
• 噪声样本挖掘：根据混淆矩阵和热力图，直接挖掘影响模型效果的噪声样本，帮助开发者有针对性的进行模型迭代。

模型部署：为了满足不同场景需求，百度提供了公有云 API、本地服务器部署、设备端 SDK、软硬一体产品四大部署方式。用户只需经过简单的设置，就可以将训练好的模型转换为满足业务场景需求的服务。在设备端 SDK上，适配了NV Jetson 系列、Intel 神经加速棒、华为 NPU、华为 Atlas、高通 DSP、RK 等超过15种主流芯片与四大操作系统，实现了业界适配最广。

另外，EasyDL最近推出了端云协同部署方案。

端云协同部署基于百度开源的智能边缘BIE框架搭建，开发者可以轻松在云端管理各类端与边缘。

在端和边缘设备上，只需一次集成边缘套件，在本地，就可以轻松获得AI模型本地推理、视频流接入等功能。而在云端，可以进行服务的下发和更新，还有报表的统计和节点的管理等功能。

端云协同部署非常适合一些具有联网（或部分联网）条件下的业务场景，开发者训练好模型，只要1分钟，就可以将新的模型下发更新到边缘端进行验证或者批量部署。可以极大提升AI模型开发的部署效率，使得开发者可以专注于业务本身。

EasyDL端云协同的部署方案可以运行在各式各样的智能终端，如盒子、一体机、服务器之中，在这些边缘设备上，可以再接入各式传感器，（如摄像机、MIC）。结合EasyDL的公有云部署和本地服务器部署，可以方便地构建出云边端融合的一整套AI解决方案，满足各种业务场景下的AI应用需求。

全功能AI开发平台BML

BML则面向AI算法开发者构建，在模型构建和模型管理上，BML提供了高性价比的算力、更加易用多样的建模方式。在模型管理上也提供了模型存储、模型转化、模型评估和模型优化的功能。可以说BML面向专业算法开发者提供了更灵活和更强大的AI开发平台。

BML具有以下四个核心优势，建模方式全面、预置高性能AI套件、交付灵活、提供多种国产化的解决方案，为企业提供自主可控广泛适配的AI开发平台。

建模方式：BML提供预置模型调参、Notebook、自定义作业、可视化建模等多种建模方式。其中，预置模型调参在实现了低代码建模的基础上，具备一定的脚本编辑灵活性，同时内置了自动超参搜索功能助力提升模型效果。BML提供的自动超参搜索功能是创新基于随机微分方程的无梯度优化的调参算法，收敛速度快，不依赖平滑性假设，并且可以支持大规模的并行搜索调参。在开启自动超参搜索之后，BML线上多场景的模型精度平均可提升10%以上。

高性能AI套件：

• 高性能的机器学习套件。用于数据分析机器学习场景下的加速，套件可以产生十倍于开源套件的效果，它的接口十分兼容，使用高性能的机器学习套件后，在几个常见的开源任务上性能都得到了大幅度提升。
• 飞桨文心ERNIE开发套件。飞桨的可持续学习语义学习模型，除此之外还提供30+算法工具，20+细化的预训练模型，20+数据处理的工具和20+基础开发的工具，使整个数据标注投入的算法、开发时长都有大幅度降低，效率大幅度提升。

交付方式：BML有四种满足不同需求的交付方式，包括公有云、私有云、混合云、一体机。其中一体机提供了通用的机架式的服务器方案和基于天蝎的整机柜方案，对于整体功耗、性能、散热等都进行了优化，并通过模型加密、代码加固、TPM可信鉴权、主机防护等方式强化了安全保障。

国产化的解决方案：BML全面支持从国产深度学习框架飞桨，到麒麟等国产操作系统，再到国产CPU和GPU以及长城、曙光、联想、浪潮推出的各类硬件形态，构成了自主可控、适配广泛的BML一体机，高性价比的算力资源满足各类算力需求。

企业在智能化升级的过程中，特别是从一个单点垂直场景的应用发展到多个业务场景的全面升级阶段时，企业还会面临来自AI能力的生产、应用和运维以及管理层面的诸多问题，这时候企业就会需要AI中台，作为企业自身的一套AI能力的生产和集中化管理的平台。

AI中台是企业的一个智能中枢，连通企业内部的数据、知识和业务，更快更高效支撑上层的智能化的业务应用和业务创新。百度智能云AI中台的核心包括AI能力引擎、AI开发平台，再结合与之配套的数据管理、服务管理、全线资源运维管理体系等，企业就能构建一套智能化升级的基础设施。在AI能力引擎方面，企业可以从百度已有的270多项成熟AI能力中直接选择应用。AI 开发平台包括EasyDL、BML和场景化定制平台UNIT等，满足企业的多层次开发需求。百度智能云结合具体行业特点，目前已经打造了能源、金融、城市、媒体等多个行业化AI中台落地解决方案，为不同行业的企业客户提供建设AI开发和应用的自主能力，集约化管理企业 AI 能力和资源，统筹规划企业智能化升级版图的有效路径。

当人工智能与传统行业加速融合，进入快速、大规模应用的阶段，百度把基于自身AI技术和生态的长期积累形成的领先势能释放出来，以真正满足智能时代场景应用需求的“云智一体”的方式赋能产业。“云智一体”成为百度智能云的核心优势，也是拥抱AI的企业和开发者的最优选择。