0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

【虹科案例】 一台智能相机无需PC通过人工智能实现自动化拾取

虹科智能感知 2022-05-24 16:25 次阅读

关于虹科智能感知

虹科智能感知事业部专注于智能感知与机器视觉领域,已经和IDS,Blickfeld和Gidel等有着重要地位的国际公司展开深度的技术合作。我们的解决方案包括3D激光雷达,工业相机,视觉处理平台,图像采集卡及视觉系统集成等。虹科的工程师积极参与国内外专业协会和联盟的活动,我们非常重视技术培训和积累,公司定期与国内外专家团队进行交流和培训。

AI速度快,耐用,错误极低,不需要停歇。由于这些优点,在必须持续高效率和高质量执行工作流程的领域,AI比人类更有优势。人们希望在机器视觉环境中使用AI与机器人技术进行交互,以提高流程效率和成本效益。“视觉引导机器人”用例展示了典型的取放任务,在不使用PC的情况下通过机器人和嵌入式AI视觉相机实现智能自动化。
对于“智能抓取”,不同学科必须以最佳方式合作。举个例子来说,要使用机器人对不同大小、形状、材料或质量的产品进行分类,那么不但要进行抓取,还必须事先进行识别、分析和定位。对于基于规则的图像处理系统,这通常不仅非常耗时(处理小批量任务时尤其严重),而且在经济效益上说几乎不可行。但是,工业机器人与基于AI的推理结合后,已经具备了熟练工人所需的技能和产品知识。事实上,不再需要为单个子任务重新设计方案。只需要让合适的产品以跨学科的方式有效协同工作,构成一个“智能机器人视觉系统”,就足够应对这类任务。


01

7aea87d6-daa5-11ec-b80f-dac502259ad0.png

智能拾取用例

7b0a6c22-daa5-11ec-b80f-dac502259ad0.png

在生产线中,物体随机散布在传送带上。必须检测、选择对象,根据需要将其放入包装中,或将其传递到正确的位置,以便进行进一步的处理或分析。虹科合作伙伴开发了一种基于PC的解决方案,用于检测物体和控制机器人。他们训练的AI模型能够识别相机图像中物体的位置和方向,从而确定机器人的抓取坐标。现在的目标是将该解决方案迁移到虹科的基于AI的嵌入式视觉系统。对于他们来说,解决方案中最重要的两大要求是:


(1)用户应该在不需要特殊AI专业知识的情况下,轻松针对不同用例调整系统。这意味着,即使生产环境发生一些变化,例如照明、对象的外观发生变化,甚至增加了其他对象类型,系统依然可以发挥作用。

(2)实现设备组件之间的直接通信,使整个系统可以彻底摆脱对PC的依赖,从而减小成本、降低重量并节省空间。

虹科推出的IDS NXT ocean推理相机系统可以满足这两项要求。


02

7aea87d6-daa5-11ec-b80f-dac502259ad0.png

位置检测和机器通信

7b0a6c22-daa5-11ec-b80f-dac502259ad0.png

经过训练的神经网络识别图像中的所有对象,并检测它们的位置和方向。AI不仅能处理外观保持不变的固定对象,也适用于存在大量自然变化的情况,例如食物、植物或其他柔性物体。这使得物体的位置和方向识别非常稳定。我们可以使用自己的软件和知识为客户训练网络,然后将其上传到虹科的智能相机。要做到这一点,必须将它转化成一种特殊的优化格式,类似于一种“链表”。借助虹科提供的Ferry工具,将训练好的神经网络移植到推理相机中就变得非常容易。在这个过程中,CNN网络的每一层都成为一个节点描述符,这种描述符可以精确描述每一层。最终的结果是以二进制表示的CNN的完整串联列表。CNN加速器是专门为该相机开发的,以FPGA为基础,非常适合执行这个通用CNN。

然后,虹科开发的视觉应用根据检测数据计算机器人的最佳抓取位置。但这还不够。除了抓取什么、在哪里以及如何抓取的结果外,智能相机和机器人之间还必须建立直接通信,不应低估这项任务的重要性。这通常是决定解决方案需要投入多少时间、金钱和人力的关键因素。我们通过虹科Vision App Creator在相机的视觉应用中实现了基于XMLRPC的网络协议,可以将具体的工作指令直接传递给机器人。最终的AI视觉应用能在大约200毫秒内检测到物体,并实现了+/-2度的定位精度。


7b6a0e34-daa5-11ec-b80f-dac502259ad0.jpg

虹科智能相机中的神经网络定位并检测物体的准确位置机器人可以根据这些图像信息,独立取放这些物体

03

7aea87d6-daa5-11ec-b80f-dac502259ad0.png

摆脱对PC机的依赖,实现人工智能

7b0a6c22-daa5-11ec-b80f-dac502259ad0.png这个用例的突出之处不仅仅是人工智能,这个解决方案完全可以在没有PC的情况下工作。这一点有两个方面的优势。首先,由于相机本身不仅仅传送图像,更可以生成图像处理结果,这样就可以省去PC硬件和所有相关基础设施。最终可以降低系统的购置和维护成本。然而,通常情况下,直接在生产现场做出流程决策也很重要,也就是要满足“及时”的要求。这样,系统就可以更快地执行后续处理,并消除延迟,这在某些情况下还能够提高时钟频率。
其次,这种方式可以降低开发成本。AI视觉或神经网络训练的工作方式与基于规则的经典图像处理完全不同,这也改变了图像处理任务的方法和处理方式。最终质量不再由图像处理专家和应用开发人员人工开发的程序代码决定。换句话说,如果可以基于AI实现一个应用,虹科智能相机方案还可以节省相应专家的成本和时间,因为有了用户友好的全面软件环境,每个用户群都可以训练一个神经网络,设计相应的视觉应用,并在相机上执行。该用例展示了计算机视觉如何成为无PC的嵌入式AI视觉应用。基于视觉应用的概念的可扩展性、针对不同目标群体的应用开发以及端到端生产商支持也是小型嵌入式系统的优势。有了智能相机,就可以在应用中清楚分配各种能力。用户的注意力可以集中在他的产品上,而我们则专注于训练和运行AI,以进行图像处理和控制机器人。另一个优势是,通过基于以太网通信和开放式平台,视觉应用还可以轻松适应其他物体、其他机器人模型,从而适应许多其他类似应用。

7be01ca0-daa5-11ec-b80f-dac502259ad0.png

一体化推理小体积智能相机——虹科NXT rio GS18031C-HQ


虹科NXT rio GS18031C-HQ工业推理相机,采用Sony IMX265LQR-C CMOS传感器,像素达300万,帧率为20fps,自带128M图像内存。我们提供的NXT工业相机平台,可以实现本地图像处理。可用于实现视觉解决方案的所有步骤,从图像采集、图像分析与处理到工业生产设备的控制。我们可以提供包括硬件、软件和基础设施在内的所有相关技术知识和支持,用户只需拥有应用场合相关的专业知识和样本图像即可搭建神经网络。借助云软件平台Lighthouse,即使是没有人工智能知识的用户,也能利用自己的图像数据来训练AI分类器或是物体检测器。Lighthouse是一款Web应用程序,用户可立刻使用它的所有功能和基础架构。即用户无需事先搭建个人开发环境,直接可以开始训练他们专属的神经网络。神经网络训练只需三步:上传样本数据,给图像贴上标签,然后按一下按钮即可创建所需网络。生成的网络可以直接在NXT相机上运行,将其变成推理相机——意味着他们能将深度学习所获得的知识,应用到新的数据中。由于NXT相机具有特殊的AI处理器,因此神经网络能由硬件加速,并直接在设备上运行。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1771

    文章

    43106

    浏览量

    229924
收藏 人收藏

    评论

    相关推荐

    嵌入式人工智能的就业方向有哪些?

    于工业、农业、医疗、城市建设、金融、航天军工等多个领域。在新时代发展背景下,嵌入式人工智能已是大势所趋,成为当前最热门的AI商业途径之
    发表于 02-26 10:17

    ai人工智能机器人

    随着时间的推移,人工智能的发展越来越成熟,智能时代也离人们越来越近,近几年人工智能越来越火爆,人工智能的应用已经开始渗透到各行各业,与生活交融,成为人们无法拒绝,无法失去的
    发表于 09-21 11:09

    AI智能呼叫中心

    随着科技的飞速发展,人工智能(AI)已经成为了各行各业的关键技术,其中,AI智能呼叫中心的出现,给传统的呼叫中心带来了巨大的改变与创新,本文将探讨AI智能呼叫中心的优势,包括自动化处理
    发表于 09-20 17:53

    《通用人工智能:初心与未来》-试读报告

    作者给出的结论。整体读下来,可以给我们关于通用人工智能全面的了解。作者也反复强调了通用人工智能与专用智能的区别。尤其是人们错误的认为堆专用智能
    发表于 09-18 10:02

    通过人工智能技术实现钢筋数量统计的整体方案

    “AI数钢筋”——通过人工智能技术实现钢筋数量统计的整体方案解读。 导读   在社会智能化的发展趋势之下,越来越多的传统行业开始向着数字化的方向转型,而建筑行业也正经历着通过人工智能
    的头像 发表于 09-05 11:48 647次阅读
    <b class='flag-5'>通过人工智能</b>技术<b class='flag-5'>实现</b>钢筋数量统计的整体方案

    如何将人工智能应用到效能评估系统软件中去解决

    ,我们可以将其应用到效能评估系统中,进步提高效能评估的准确性和实用性。   华盛恒辉可以利用人工智能技术,通过对大量数据的分析,来识别和评估各个业务环节的表现,从而对效能进行评估和监测。此外,我们还可
    发表于 08-30 12:58

    人工智能伺服自动对焦是什么意思

    相机自动对焦技术中,人工智能伺服自动对焦可以说是横空出世,成为了相机自动对焦技术的一大进步。它
    的头像 发表于 08-14 15:29 1788次阅读

    人工智能为银行业带来哪些改变

    银行业是生产效率要求比较高的行业之一。然后,人工智能技术可以实现该行业的自动化。一些繁琐、重复的任务,如检查文件、监测数据和收集客户信息等工作,可以通过人工智能技术
    的头像 发表于 08-13 16:54 1818次阅读

    人工智能自动化的区别

    人工智能自动化的区别 人工智能(AI)和自动化(Automation)是两个很常见的词汇,但是很多人却误认为这两个概念是一样的或者仅仅是小小的差别,实际上,AI和
    的头像 发表于 08-09 18:03 2905次阅读

    AI 人工智能的未来在哪?

    人工智能、AI智能大模型已经孵化;繁衍过程将突飞猛进,ChatGPT已经上线。 世界首富马斯克认为AI对人类是种威胁;谷歌前CEO施密特认为AI和机器学习对人类有很大益处。 每个国家对核武器的运用有两面性,可造可控;但AI
    发表于 06-27 10:48

    【书籍评测活动NO.16】 通用人工智能:初心与未来

    的新人工智能正在兴起。自然语言处理、人脸识别、自动驾驶、无人系统等复杂人工智能任务相继取得大的突破,人工智能在很多特定问题(如围棋、《星
    发表于 06-21 14:41

    人工智能

    这句话里边有几个参数? 如果x=1则执行a 如果是单计算的话只有1这个参数。 但如果是人工智能的话有如下几个参数, 逻辑门,如果则 未知数,符号x 常量,1 函数,a 很多复杂的智能都可以如此拆分
    发表于 06-10 01:05

    【EASY EAI Nano人工智能开发套件试用体验】EASY EAI Nano人工智能开发套件开箱及硬件初体验

    今天收到了EASY EAI Nano人工智能开发套件,为大家做个开箱及硬件评测。 打开快递包装,引入眼帘的是个设计精美蓝色的大盒子,在盒子里有EASY EAI Nano人工智能开发板、天线、喇叭
    发表于 05-31 19:18

    机器学习和人工智能有什么区别?

    机器学习和人工智能有什么区别?当今唯可用的软件选项是 ML 系统。在十年左右的时间里,当计算能力和算法开发达到可以显着影响结果的地步时,我们将见证第个真正的人工智能。是
    发表于 04-12 08:21

    配电自动化系统主要由什么组成?有哪些特点?

      配电自动化系统是指通过现代自动化技术,使供配电系统实现自动化、高效
    发表于 04-10 17:04