0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

图为科技联合百度飞桨、英伟达共同推出AI软硬一体快速部署方案

八爪鱼快跑 来源:八爪鱼快跑 作者:八爪鱼快跑 2022-12-20 11:01 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

基于图为科技边缘计算机系列产品,仅用三行代码就能搞定百度飞桨AI算法的部署;让AI算法部署变得简单便捷,帮助企业加速AI方案落地进程。

人工智能产业应用发展的越来越快,开发者需要面对的适配部署工作也越来越复杂。层出不穷的算法模型、各种架构的AI硬件、不同场景的部署需求、不同操作系统和开发语言,为AI开发者项目落地带来极大的挑战。

为了解决AI部署落地难题,图为科技受到百度飞桨和英伟达的邀请,完成FastDeploy部署工具在边缘计算机上的验证测试。FastDeploy旨在为AI开发者提供模型部署最优解,具备全场景、简单易用、极致高效三大特点。开发者可以通过FastDeploy这款产品,满足全场景的高性能部署需求,大幅提升AI产业部署的开发效率。

以下展开介绍FastDeploy的全场景、简单易用、极致性能特性和图为科技边缘计算机的能力:

简单易用

·多语言统一部署API,3行代码搞定模型部署

FastDeploy精心的完成了API设计,确保使用不同编程语言的开发者能够享受到统一的API体验。并且,无论使用哪一种编程语言,都只需要3行核心代码就可以实现预置模型的高性能推理。。

pYYBAGOhJXaANT4_AAD5GpVEDsI947.png

FastDeploy中PythonC++统一部署API

·一键体验预置150+热门模型,覆盖20多主流产业应用场景

FastDeploy覆盖20多主流场景,提供了150多个SOTA产业模型的端到端示例,模型类型覆盖CV、NLP、Speech和跨模态等领域,让开发者可以从场景入手,通过预置模型,使用FastDeploy快速部署起来。

poYBAGOhJXeAX7gTAAE178Z8w7w097.png

FastDeploy 预置150多个产业SOTA模型

全场景

·多框架支持,一行命令实现模型协议互转

接下来看看多框架支持的功能,FastDeploy中内置了X2Paddle和Paddle2ONNX模型转换工具。只需要一行命令便可完成其他深度学习框架到飞桨以及ONNX的相互转换,让其他框架的开发者也能通过FastDeploy体验到飞桨模型压缩与推理引擎的端到端优化效果。

poYBAGOhJXiAcpL4AABO7XhlpSc487.png

FastDeploy一行代码切换多端部署

极致高效

·软硬联合自动压缩优化,减少部署资源消耗

性能方面,FastDeploy集成了飞桨压缩与推理的特色,联动自动压缩与推理引擎深度优化,实现了更高效的量化推理部署。利用PaddleSlim ACT自动压缩技术带来的无损压缩体验,以PP-LCNetV2和ERNIE 3.0-Medium模型为例,通过ACT自动压缩技术,操作简易度可以比拟传统离线量化,实现近乎无损的模型压缩效果。

poYBAGOhJXiAftPFAABRmrLATfE754.png

FastDeploy一键自动压缩,减少硬件资源消耗

·端到端前后预处理优化,减少部署资源消耗

FastDeploy在各模型的部署中,重点关注端到端到的部署体验和性能。在服务端对预处理过程进行融合,降低内存创建开销和计算量。在移动端集成百度视觉技术部自研高性能图像处理库FlyCV。结合FastDeploy多后端支持的优势,相较原有部署代码,所有模型端到端性能大幅提升。

pYYBAGOhJXmAcrv-AAA7nqgME7s451.png

FastDeploy前后预处理优化,减少硬件资源消耗

图为科技边缘计算机与飞桨FastDeploy部署工具经过长时间的开发测试,现已达到完美适配轻松部署的效果。目前FastDeploy中支持的150多个AI算法全部通过了图为科技边缘计算机的验证测试,开发者拿到图为边缘计算机后可以直接进行部署应用,极大程度缩短了项目的研发周期。

图为信息科技(深圳)有限公司是一家AI边缘计算机运营服务商,专注边缘计算机的研发、生产、销售、运维等工作。目前基于NVIDIA Jetson系列核心模块所设计的AI边缘计算机,已广泛应用于机器视觉检测、人脸识别、行为识别、智能机器人、智能无人机、自动驾驶、智能安防等领域。

图为科技最新推出的T928边缘计算机,采用NVIDIA® JETSON AGX ORIN™核心板,具备200 TOPS浮点运算能力,万兆网口、IP65防护等级、极致稳定可在-40度环境低温稳定运行;支持数据加密,16路GMSL2接口,可选4G/5G通讯模块,专为自动驾驶而设计。

边缘计算,就用图为边缘计算机!小体积,大算力,更可靠!

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    91

    文章

    42239

    浏览量

    303284
  • 人工智能
    +关注

    关注

    1821

    文章

    50552

    浏览量

    268007
  • 英伟达
    +关注

    关注

    23

    文章

    4130

    浏览量

    99840
  • 边缘计算
    +关注

    关注

    22

    文章

    3586

    浏览量

    53835
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    联合百度发布瀚海U系列集中式电源

    近日,台百度正式宣布联合开发新代高密UPS集中式电源系统—— **瀚海U系列** 。该系统核心搭载台专为
    的头像 发表于 05-21 10:11 648次阅读

    百度Create 2026发布“百度胜算”

    近期,百度Create 2026开发者大会如期召开,百度创始人李彦宏抛出个足以撼动行业的新概念: **DAA(日活智能数,Daily Active Agents)** ,并宣布将以
    的头像 发表于 05-17 09:47 1633次阅读

    百度发布DAA新度量衡与四大智能产品

    近日,百度Create AI开发者大会在北京开幕。百度创始人李彦宏在开幕式上抛出个重磅概念—— **DAA(日活智能数,Daily Ac
    的头像 发表于 05-15 10:50 758次阅读

    百度智能云正式发布Hogee

    5月13日,在Create2026百度AI开发者大会上,百度智能云正式发布了款全新的企业站式AI
    的头像 发表于 05-15 09:18 880次阅读

    利尔达作为“数据通道与硬件方案”核心伙伴亮相2026百度AI开发者大会

    5月13日,以“自我进化”为主题的Create2026百度AI开发者大会在北京国家会议中心二期盛大开幕。百度创始人李彦宏在开幕式上首次提出AI时代的“度量衡”——日活智能
    的头像 发表于 05-14 17:36 332次阅读
    利尔达作为“数据通道与硬件<b class='flag-5'>方案</b>”核心伙伴亮相2026<b class='flag-5'>百度</b><b class='flag-5'>AI</b>开发者大会

    格灵深瞳与您相约Create 2026百度AI开发者大会

    5月13日-14日,Create 2026 百度 AI 开发者大会将在北京国家会议中心二期举行。大会以“万物一体”为主题,将探讨 Agent 时代下 AI 从基础设施建设到产业应用的全
    的头像 发表于 05-12 17:05 950次阅读

    百度地图与HERE Technologies签署战略合作备忘录

    百度地图与HERE达成合作,共同开发面向全球市场一体化车道级导航服务与智能驾驶地图解决方案
    的头像 发表于 04-30 17:03 3510次阅读

    瀚博半导体宣布深度参与百度黑客松生态活动

    近日,瀚博半导体正式宣布深度参与百度主办的黑客松生态活动。面向全球开发者开放旗下载天系列加速卡开发环境,支持部署百度文心ERNIE-4.
    的头像 发表于 04-11 09:41 829次阅读

    Flex推出适用于英伟Omniverse DSX Blueprint的全新参考设计

    Flex(纳斯达克股票代码:FLEX)今日宣布推出适用于英伟Omniverse DSX Blueprint的全新参考设计,以加速千兆级AI工厂的
    的头像 发表于 04-07 10:09 463次阅读

    沐曦股份与百度黑客松硬核赛题来袭

    沐曦股份作为黑客松第十期文心合作伙伴赛道核心出题方之,携专属赛题「优化 PaddleOCR-VL-1.5+MetaX GPU」重磅来袭,邀全球开发者共探深度学习框架与国产GPU的软硬
    的头像 发表于 04-02 09:20 543次阅读
    沐曦股份与<b class='flag-5'>百度</b><b class='flag-5'>飞</b><b class='flag-5'>桨</b>黑客松硬核赛题来袭

    百度世界大会亮点 五年五芯 百度宣布打造最硬AI

    年,持续为行业搭建起交流前沿技术、碰撞创新思维、洞察未来趋势的重要平台。 今日(11月13日)Baidu World 2025在北京举办。在这里,可以体验AI应用的价值涌现,见证AI能力的创新爆发。 今年的百度世界2025以“效
    的头像 发表于 11-13 15:47 2075次阅读

    南京微雀与华为打造法律AI一体联合解决方案

    打造站式“行业+AI”解决方案,让服务更精准、决策更高效、治理更智能。本期将重点呈现南京微雀与华为共同打造的法律AI
    的头像 发表于 10-24 09:23 1317次阅读
    南京微雀与华为打造法律<b class='flag-5'>AI</b><b class='flag-5'>一体</b>机<b class='flag-5'>联合</b>解决<b class='flag-5'>方案</b>

    如何在基于Arm架构的边缘AI设备上部署模型

    当 Arm 与领先的开源深度学习平台强强联合,会带来什么?那就是推动创新的“火箭燃料”。Arm 携手百度,利用双方在高能效计算平台与 AI 模型的技术积累,助力广大开发者加快边缘 AI
    的头像 发表于 09-06 14:07 1602次阅读

    宁畅与与百度文心大模型展开深度技术合作

    近日,百度正式开源文心大模型4.5系列模型。作为文心开源合作伙伴,宁畅在模型开源首日即实现即刻部署,做到“开源即接入、发布即可用”。据悉,文心4.5开源系列全部基于飞深度学习框架进行高效训练、推理
    的头像 发表于 07-07 16:26 1111次阅读

    65%央企大模型落地首选百度智能云

    今天,很荣幸地分享个好消息,百度智能云已牵手65%的央企,共同推进大模型产业落地。得益于全栈的AI能力,百度
    的头像 发表于 06-11 15:44 1120次阅读