0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

图为科技联合百度飞桨、英伟达共同推出AI软硬一体快速部署方案

八爪鱼快跑 来源:八爪鱼快跑 作者:八爪鱼快跑 2022-12-20 11:01 次阅读

基于图为科技边缘计算机系列产品,仅用三行代码就能搞定百度飞桨AI算法的部署;让AI算法部署变得简单便捷,帮助企业加速AI方案落地进程。

人工智能产业应用发展的越来越快,开发者需要面对的适配部署工作也越来越复杂。层出不穷的算法模型、各种架构的AI硬件、不同场景的部署需求、不同操作系统和开发语言,为AI开发者项目落地带来极大的挑战。

为了解决AI部署落地难题,图为科技受到百度飞桨和英伟达的邀请,完成FastDeploy部署工具在边缘计算机上的验证测试。FastDeploy旨在为AI开发者提供模型部署最优解,具备全场景、简单易用、极致高效三大特点。开发者可以通过FastDeploy这款产品,满足全场景的高性能部署需求,大幅提升AI产业部署的开发效率。

以下展开介绍FastDeploy的全场景、简单易用、极致性能特性和图为科技边缘计算机的能力:

简单易用

·多语言统一部署API,3行代码搞定模型部署

FastDeploy精心的完成了API设计,确保使用不同编程语言的开发者能够享受到统一的API体验。并且,无论使用哪一种编程语言,都只需要3行核心代码就可以实现预置模型的高性能推理。。

pYYBAGOhJXaANT4_AAD5GpVEDsI947.png

FastDeploy中PythonC++统一部署API

·一键体验预置150+热门模型,覆盖20多主流产业应用场景

FastDeploy覆盖20多主流场景,提供了150多个SOTA产业模型的端到端示例,模型类型覆盖CV、NLP、Speech和跨模态等领域,让开发者可以从场景入手,通过预置模型,使用FastDeploy快速部署起来。

poYBAGOhJXeAX7gTAAE178Z8w7w097.png

FastDeploy 预置150多个产业SOTA模型

全场景

·多框架支持,一行命令实现模型协议互转

接下来看看多框架支持的功能,FastDeploy中内置了X2Paddle和Paddle2ONNX模型转换工具。只需要一行命令便可完成其他深度学习框架到飞桨以及ONNX的相互转换,让其他框架的开发者也能通过FastDeploy体验到飞桨模型压缩与推理引擎的端到端优化效果。

poYBAGOhJXiAcpL4AABO7XhlpSc487.png

FastDeploy一行代码切换多端部署

极致高效

·软硬联合自动压缩优化,减少部署资源消耗

性能方面,FastDeploy集成了飞桨压缩与推理的特色,联动自动压缩与推理引擎深度优化,实现了更高效的量化推理部署。利用PaddleSlim ACT自动压缩技术带来的无损压缩体验,以PP-LCNetV2和ERNIE 3.0-Medium模型为例,通过ACT自动压缩技术,操作简易度可以比拟传统离线量化,实现近乎无损的模型压缩效果。

poYBAGOhJXiAftPFAABRmrLATfE754.png

FastDeploy一键自动压缩,减少硬件资源消耗

·端到端前后预处理优化,减少部署资源消耗

FastDeploy在各模型的部署中,重点关注端到端到的部署体验和性能。在服务端对预处理过程进行融合,降低内存创建开销和计算量。在移动端集成百度视觉技术部自研高性能图像处理库FlyCV。结合FastDeploy多后端支持的优势,相较原有部署代码,所有模型端到端性能大幅提升。

pYYBAGOhJXmAcrv-AAA7nqgME7s451.png

FastDeploy前后预处理优化,减少硬件资源消耗

图为科技边缘计算机与飞桨FastDeploy部署工具经过长时间的开发测试,现已达到完美适配轻松部署的效果。目前FastDeploy中支持的150多个AI算法全部通过了图为科技边缘计算机的验证测试,开发者拿到图为边缘计算机后可以直接进行部署应用,极大程度缩短了项目的研发周期。

图为信息科技(深圳)有限公司是一家AI边缘计算机运营服务商,专注边缘计算机的研发、生产、销售、运维等工作。目前基于NVIDIA Jetson系列核心模块所设计的AI边缘计算机,已广泛应用于机器视觉检测、人脸识别、行为识别、智能机器人、智能无人机、自动驾驶、智能安防等领域。

图为科技最新推出的T928边缘计算机,采用NVIDIA® JETSON AGX ORIN™核心板,具备200 TOPS浮点运算能力,万兆网口、IP65防护等级、极致稳定可在-40度环境低温稳定运行;支持数据加密,16路GMSL2接口,可选4G/5G通讯模块,专为自动驾驶而设计。

边缘计算,就用图为边缘计算机!小体积,大算力,更可靠!

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    26487

    浏览量

    264164
  • 人工智能
    +关注

    关注

    1777

    文章

    43920

    浏览量

    230859
  • 英伟达
    +关注

    关注

    22

    文章

    3334

    浏览量

    87850
  • 边缘计算
    +关注

    关注

    22

    文章

    2806

    浏览量

    46027
收藏 人收藏

    评论

    相关推荐

    【机器视觉】欢创播报 | 百度智能云发布千帆大模型一体

    1 百度智能云发布千帆大模型一体机 编辑 ​ 4月9日上午,百度智能云GENERATE全球生态大会在成都召开。会上,百度智能云发布千帆大模型一体
    的头像 发表于 04-11 10:49 209次阅读
    【机器视觉】欢创播报 | <b class='flag-5'>百度</b>智能云发布千帆大模型<b class='flag-5'>一体</b>机

    人脸考勤打卡一体

    一体
    jf_66410442
    发布于 :2024年01月09日 11:09:22

    英伟HBM4预计2026年推出

    英伟行业资讯
    深圳市浮思特科技有限公司
    发布于 :2023年11月27日 15:15:17

    百度英伟联合举办搜索创新大赛 搜索引擎变革 搜索+AI

    题、由百度搜索携手英伟联合发起的第二届百度搜索创新大赛正式启动。本次大赛,除了涉及搜索核心业务场景,如语义检索、多模态、软硬结合优化等丰富
    的头像 发表于 09-07 19:32 727次阅读

    昆仑芯与北京智源人工智能研究院共同推进AI软硬件评测体系建设

    近日,昆仑芯与北京智源人工智能研究院(以下简称“智源”)面向多种AI硬件的一体化评测引擎FlagPerf完成阶段性适配。昆仑芯是FlagPerf首批生态伙伴,双方将强强联合共同推进
    的头像 发表于 08-25 10:07 1146次阅读

    谋合作、创新境 - 百度参观图为科技生产全链路

    当代科技的发展不断催生出新的变革和机遇,百度作为全球顶尖的高科技公司,凭借其强大的创新基因,一直处于人工智能领域的最前沿。 近日,百度公司派出了一支专业团队来到了图为科技,对图为的研发
    的头像 发表于 08-23 15:18 249次阅读

    21.5寸安卓工业一体机 嵌入式工控一体机 微嵌工业平板电脑厂家

    一体
    jf_91874718
    发布于 :2023年07月05日 16:44:25

    15寸工业触摸一体机-工业平板电脑厂家-微嵌工业一体

    一体
    jf_91874718
    发布于 :2023年07月05日 16:27:09

    工业平板电脑-工业一体机-微嵌7寸无壳触摸一体

    一体
    jf_91874718
    发布于 :2023年07月05日 16:21:19

    国产化一体

    一体
    jf_22764069
    发布于 :2023年06月27日 14:38:48

    扬宇光电人脸测温一体

    一体
    jf_22764069
    发布于 :2023年06月27日 14:36:57

    石油石化室内外一体化定位解决方案

    一体
    中海达
    发布于 :2023年06月21日 11:44:11

    深圳图为信息科技与百度智能云共同探索大模型时代

    5月18日,2023百度智能云合作伙伴大会在广州盛大召开,图为信息科技(深圳)有限公司(简称:图为科技)等众多企业家一起与百度智能云探索文心大模型在场景应用、生态建设领域的最新进展,据
    的头像 发表于 05-31 15:02 426次阅读
    深圳<b class='flag-5'>图为</b>信息科技与<b class='flag-5'>百度</b>智能云<b class='flag-5'>共同</b>探索大模型时代

    联发科回应结盟英伟合攻 Arm 架构芯片传闻

    联发科计划周下午举行 2023“旗舰科技 智领未来”记者会,由联发科 CEO 蔡力行与重量级嘉宾同出席,这位嘉宾应该是近来引起全球关注、并成为 AI 创新推动者的英伟
    发表于 05-28 08:47