0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

图为科技联合百度飞桨、英伟达共同推出AI软硬一体快速部署方案

八爪鱼快跑 来源:八爪鱼快跑 作者:八爪鱼快跑 2022-12-20 11:01 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

基于图为科技边缘计算机系列产品,仅用三行代码就能搞定百度飞桨AI算法的部署;让AI算法部署变得简单便捷,帮助企业加速AI方案落地进程。

人工智能产业应用发展的越来越快,开发者需要面对的适配部署工作也越来越复杂。层出不穷的算法模型、各种架构的AI硬件、不同场景的部署需求、不同操作系统和开发语言,为AI开发者项目落地带来极大的挑战。

为了解决AI部署落地难题,图为科技受到百度飞桨和英伟达的邀请,完成FastDeploy部署工具在边缘计算机上的验证测试。FastDeploy旨在为AI开发者提供模型部署最优解,具备全场景、简单易用、极致高效三大特点。开发者可以通过FastDeploy这款产品,满足全场景的高性能部署需求,大幅提升AI产业部署的开发效率。

以下展开介绍FastDeploy的全场景、简单易用、极致性能特性和图为科技边缘计算机的能力:

简单易用

·多语言统一部署API,3行代码搞定模型部署

FastDeploy精心的完成了API设计,确保使用不同编程语言的开发者能够享受到统一的API体验。并且,无论使用哪一种编程语言,都只需要3行核心代码就可以实现预置模型的高性能推理。。

pYYBAGOhJXaANT4_AAD5GpVEDsI947.png

FastDeploy中PythonC++统一部署API

·一键体验预置150+热门模型,覆盖20多主流产业应用场景

FastDeploy覆盖20多主流场景,提供了150多个SOTA产业模型的端到端示例,模型类型覆盖CV、NLP、Speech和跨模态等领域,让开发者可以从场景入手,通过预置模型,使用FastDeploy快速部署起来。

poYBAGOhJXeAX7gTAAE178Z8w7w097.png

FastDeploy 预置150多个产业SOTA模型

全场景

·多框架支持,一行命令实现模型协议互转

接下来看看多框架支持的功能,FastDeploy中内置了X2Paddle和Paddle2ONNX模型转换工具。只需要一行命令便可完成其他深度学习框架到飞桨以及ONNX的相互转换,让其他框架的开发者也能通过FastDeploy体验到飞桨模型压缩与推理引擎的端到端优化效果。

poYBAGOhJXiAcpL4AABO7XhlpSc487.png

FastDeploy一行代码切换多端部署

极致高效

·软硬联合自动压缩优化,减少部署资源消耗

性能方面,FastDeploy集成了飞桨压缩与推理的特色,联动自动压缩与推理引擎深度优化,实现了更高效的量化推理部署。利用PaddleSlim ACT自动压缩技术带来的无损压缩体验,以PP-LCNetV2和ERNIE 3.0-Medium模型为例,通过ACT自动压缩技术,操作简易度可以比拟传统离线量化,实现近乎无损的模型压缩效果。

poYBAGOhJXiAftPFAABRmrLATfE754.png

FastDeploy一键自动压缩,减少硬件资源消耗

·端到端前后预处理优化,减少部署资源消耗

FastDeploy在各模型的部署中,重点关注端到端到的部署体验和性能。在服务端对预处理过程进行融合,降低内存创建开销和计算量。在移动端集成百度视觉技术部自研高性能图像处理库FlyCV。结合FastDeploy多后端支持的优势,相较原有部署代码,所有模型端到端性能大幅提升。

pYYBAGOhJXmAcrv-AAA7nqgME7s451.png

FastDeploy前后预处理优化,减少硬件资源消耗

图为科技边缘计算机与飞桨FastDeploy部署工具经过长时间的开发测试,现已达到完美适配轻松部署的效果。目前FastDeploy中支持的150多个AI算法全部通过了图为科技边缘计算机的验证测试,开发者拿到图为边缘计算机后可以直接进行部署应用,极大程度缩短了项目的研发周期。

图为信息科技(深圳)有限公司是一家AI边缘计算机运营服务商,专注边缘计算机的研发、生产、销售、运维等工作。目前基于NVIDIA Jetson系列核心模块所设计的AI边缘计算机,已广泛应用于机器视觉检测、人脸识别、行为识别、智能机器人、智能无人机、自动驾驶、智能安防等领域。

图为科技最新推出的T928边缘计算机,采用NVIDIA® JETSON AGX ORIN™核心板,具备200 TOPS浮点运算能力,万兆网口、IP65防护等级、极致稳定可在-40度环境低温稳定运行;支持数据加密,16路GMSL2接口,可选4G/5G通讯模块,专为自动驾驶而设计。

边缘计算,就用图为边缘计算机!小体积,大算力,更可靠!

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    89

    文章

    38090

    浏览量

    296465
  • 人工智能
    +关注

    关注

    1813

    文章

    49734

    浏览量

    261459
  • 英伟达
    +关注

    关注

    23

    文章

    4039

    浏览量

    97649
  • 边缘计算
    +关注

    关注

    22

    文章

    3472

    浏览量

    52673
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    南京微雀与华为打造法律AI一体联合解决方案

    打造站式“行业+AI”解决方案,让服务更精准、决策更高效、治理更智能。本期将重点呈现南京微雀与华为共同打造的法律AI
    的头像 发表于 10-24 09:23 564次阅读
    南京微雀与华为打造法律<b class='flag-5'>AI</b><b class='flag-5'>一体</b>机<b class='flag-5'>联合</b>解决<b class='flag-5'>方案</b>

    如何在基于Arm架构的边缘AI设备上部署模型

    当 Arm 与领先的开源深度学习平台强强联合,会带来什么?那就是推动创新的“火箭燃料”。Arm 携手百度,利用双方在高能效计算平台与 AI 模型的技术积累,助力广大开发者加快边缘 AI
    的头像 发表于 09-06 14:07 826次阅读

    65%央企大模型落地首选百度智能云

    今天,很荣幸地分享个好消息,百度智能云已牵手65%的央企,共同推进大模型产业落地。得益于全栈的AI能力,百度
    的头像 发表于 06-11 15:44 738次阅读

    百度地图重磅发布地图AI开放平台

    近日,在WGDC25全球时空智能大会上,百度地图重磅发布地图AI开放平台。百度地图深耕20年的数据能力、引擎能力与AI技术全面开放,向开发者深度开放四大核心能力和五大场景解决
    的头像 发表于 05-26 11:26 1381次阅读

    百度AI领域的最新进展

    近日,我们在武汉举办了Create2025百度AI开发者大会,与全球各地的5000多名开发者,分享了百度AI领域的新进展。
    的头像 发表于 04-30 10:14 1094次阅读

    百度AI荣获2025爱迪生奖金奖和银奖

    刚刚,百度AI在「2025爱迪生奖」中获得银两项大奖。
    的头像 发表于 04-08 15:43 820次阅读

    百度地图与雅迪推出组合屏智能导航解决方案

    近日,百度地图与雅迪正式达成合作,共同推出组合屏智能导航解决方案,重新定义出行体验,实现“所见即所”。
    的头像 发表于 04-08 15:22 962次阅读

    百度框架3.0正式版发布

    大模型训练成本高?推理效率低?硬件适配难? 4月1日,百度发布 框架3.0正式版 !五大特性专为大模型设计。 作为大模型时代的Infra“基础设施”,深度学习框架的重要性愈发凸显,大模型训练
    的头像 发表于 04-02 19:03 1040次阅读
    <b class='flag-5'>百度</b><b class='flag-5'>飞</b><b class='flag-5'>桨</b>框架3.0正式版发布

    沐曦曦云C500通用计算GPU与百度完成Ⅱ级兼容性测试

    近日,沐曦曦云C500通用计算GPU与百度已完成Ⅱ级兼容性测试。测试结果显示,双方兼容性表现良好,整体运行稳定。这是沐曦加入“硬件生
    的头像 发表于 03-31 14:22 1481次阅读

    图为科技与宝德计算达成战略合作 共建AI算力新生态

    共同打造“云边端一体”的智能算力底座及行业大模型解决方案,为智能制造、智慧城市、智慧交通等领域提供高效、普惠的AI基础设施支撑。   强强联合
    的头像 发表于 03-26 09:57 1136次阅读
    <b class='flag-5'>图为</b>科技与宝德计算达成战略合作  共建<b class='flag-5'>AI</b>算力新生态

    百度加入可持续AI联盟,共筑智能未来

    举动标志着百度在推动人工智能可持续发展方面的坚定决心和积极行动。 据悉,可持续AI联盟是个由全球多家知名企业共同发起的组织,旨在通过人工智能技术促进环境保护、社会福祉和经济发展的可持
    的头像 发表于 02-12 11:19 801次阅读

    百度云与阿里云上线DeepSeek模型部署服务

    和DeepSeek-V3模型已正式入驻其千帆平台,并推出了极具吸引力的低价方案及限时两周的免费试用服务。这举措旨在让更多的用户能够体验到AI技术的魅力,同时也为
    的头像 发表于 02-05 15:40 1168次阅读

    百度文库AI功能MAU突破9000万

    百度文库AI功能MAU突破9000万,AI DAU年同比增长230%。
    的头像 发表于 01-22 10:28 1017次阅读

    凌智电子荣获“百度AI技术生态伙伴”认证

    2024年10月,百度(厦门)人工智能产业赋能中心(以下简称“百度厦门中心”)建成并试运
    的头像 发表于 01-04 14:10 944次阅读
    凌智电子荣获“<b class='flag-5'>百度</b><b class='flag-5'>AI</b>技术生态伙伴”认证

    百度科启动“繁星计划”

    近日,百度科携手中国科协、中国科学院大学共同举办了史记2024·科学科100词发布会,并在此盛会上正式启动了“繁星计划”。这计划的核心
    的头像 发表于 12-31 10:26 1149次阅读