电子发烧友网>人工智能> > 正文

瑞萨电子与Syntiant共同开发结合先进视觉与语音技术的语音控制多模态AI解决方案

2021年07月28日 15:11 次阅读

全新方案在物联网和边缘应用中实现对嵌入式视觉AI系统的低功耗语音控制操作。

2021 年 7 月 28 日,日本东京和美国加州尔湾讯 - 全球半导体解决方案供应商瑞萨电子集团(TSE:6723),和致力在边缘设备领域推动低功耗智能语音及传感器处理技术的深度学习芯片技术供应商SynTIant今日宣布,共同开发出一款语音控制的多模态AI解决方案,在基于视觉AI的物联网和边缘系统(如自助收银机、安全摄像头和视频会议系统)以及智能家电(如扫地机器人等)中实现低功耗、非接触式的图像处理。

全新解决方案结合了瑞萨RZ/V系列视觉AI微处理器(MPU)和低功耗多模态、多功能SynTIant NDP120 Neural Decision Processor™,以提供先进的语音和图像处理功能。该解决方案具备常开功能,可从待机模式快速通过语音激活,以执行物体识别、面部识别等视觉任务,以及其它安防摄像机等系统的关键功能。如当用户定义的语音提示激活并运行系统时,视觉AI将识别跟踪操作员的行为,并控制操作或在检测到可疑行为时发出警告。

多模态架构使得为基于视觉AI的系统创建非接触式用户体验变得更加容易。由于可以独立于视觉AI功能进行软件开发,因此利用专用的高能效芯片进行语音识别可降低待机功耗,并加速系统开发。

瑞萨电子高级副总裁、物联网及基础设施事业本部SoC事业部部长新田启人表示:“我们预计,作为提高易用性和安全性的一种有效途径,对采用多输入信息流(包括图像和语音)的多模态系统需求将会增加。拥有先进低功耗图像AI技术的瑞萨与语音AI技术优秀供应商SynTIant紧密合作,将加速低功耗、超小型智能语音AI技术在嵌入式系统中的应用,并为全球客户带来新的综合解决方案。”

SynTIant CEO Kurt Busch表示:“基于语音的用户界面让客户获得全新用户体验,将下一代创新理念从概念变为现实。我们的深度学习NDP全球出货量已超过1500万片,为各类消费和工业物联网应用实现了常开语音功能。我们同瑞萨的合作打造了强大、低功耗的语音及图像解决方案,相信它将会加速推动全球客户在丰富设备和案例中的应用。”

用于视觉AI的瑞萨RZ/V系列MPU集成了瑞萨独有的DRP-AI(动态可配置处理器-AI)加速器,并将高精度AI推理与业界领先能效充分结合。卓越能效可消除对散热片或冷却风扇等散热措施的需求,从而降低材料清单(BOM)成本,使视觉AI集成至广泛的嵌入式应用成为可能。

Syntiant NDP120芯片集成了复杂的AI功能,可用于众多高精度免提语音应用,包括演讲人识别、关键词检测、多唤醒词和本地命令识别等。NDP120与Syntiant Core 2™神经网络推理引擎封装,还可同时运行多个应用程序,并将功耗降至1mW电池功率。

全新语音控制多模态AI解决方案作为瑞萨电子“成功产品组合”的一部分,从瑞萨更广泛的产品组合中选取多个相互兼容的器件,为客户构建更高阶的原型设计平台,以加速上市并降低风险。瑞萨“成功产品组合”包含卓越的模拟、电源和嵌入式处理产品组合,可帮助客户加速设计并缩短上市时间。

供货信息

全新多模态AI解决方案的参考设计现已推出,其中包括电路图和BOM清单。

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

为什么需要物联网智能踏板车,它有什么特点

为什么需要物联网智能踏板车? 传统踏板车和代步车无法及时的解决遇到的风险,在车遇到故障时也无法排除问....
发表于 2021-07-28 14:37 15次阅读
为什么需要物联网智能踏板车,它有什么特点

【教程视频资料】67个Wifi-ESP8266物联网视频资料~赶紧收藏保存

非常推荐的wifi模块ESP8266开发视频教程 目前最好的wifi物联网项目实战开发视频教程资料,基于esp8266,含mqtt协议...
发表于 2021-07-28 09:32 0次阅读
【教程视频资料】67个Wifi-ESP8266物联网视频资料~赶紧收藏保存

镜子+AI,一块就上千,新一代的韭菜收割器?

近几年来,人工智能大数据在蓬勃的发展,不仅是产业急速扩张,企业疯狂涌入,同时人才待遇也在水涨船高。但....
发表于 2021-07-28 08:52 637次阅读
镜子+AI,一块就上千,新一代的韭菜收割器?

解读全球十大公司物联网战略,一个万物智能的世界即将到来 精选资料分享

解读全球十大公司物联网战略,一个万物智能的世界即将到来 互联网时代已经过去,移动互联网红利已褪去,信息科技开始向...
发表于 2021-07-28 06:07 0次阅读
解读全球十大公司物联网战略,一个万物智能的世界即将到来  精选资料分享

医疗物联网解决方案的介绍,它有哪些亮点

为什么需要医疗物联网? 随着物联网的不断发展,医疗物联网也随之逐渐推广,相比于传统医疗技术,医疗物联....
发表于 2021-07-27 15:51 22次阅读
医疗物联网解决方案的介绍,它有哪些亮点

物联网模块选择注意事项

物联网的火热,想必就不用我来介绍了,它在逐渐改变着我们周遭的一切互动方式,也在不断颠覆着传统的交互方....
发表于 2021-07-27 14:32 96次阅读
物联网模块选择注意事项

什么是物联网?常见IoT 物联网协议最全讲解 精选资料分享

推荐语:这是一本从技术原理、工程实践、设计模式和最佳实践4个维度讲解物联网系统开发的著作,是作者10余年实践经验的...
发表于 2021-07-27 08:11 0次阅读
什么是物联网?常见IoT 物联网协议最全讲解  精选资料分享

高通9205芯片:我为物联网而生 精选资料分享

高通近期推出下一代物联网(IoT)专用调制解调器9205,此单芯片集成了一些低功耗广域网标准,包括全球多模LTE ca...
发表于 2021-07-27 07:06 0次阅读
高通9205芯片:我为物联网而生  精选资料分享

什么是物联网?常见 IoT 物联网协议最全讲解 精选资料分享

什么是物联网?常见IoT 物联网协议最全讲解一、什么是物联网?物联网(Internet of Things)这个概念读者应该不会陌...
发表于 2021-07-27 06:49 0次阅读
什么是物联网?常见 IoT 物联网协议最全讲解  精选资料分享

物联网工程知识点 精选资料推荐

物联网是指将各种实时信息获取设备或设备集合体,如传感网、射频标签阅读装置、条码与二维码设备、仪表、全球定位系统...
发表于 2021-07-27 06:44 0次阅读
物联网工程知识点 精选资料推荐

物联网温湿度显示控制项目(网页、Android双端显示&搭载linux平台网关&MQTT通信)精选资料分享

一个小型物联网项目网页端使用django,手机端Android开发,云服务器搭载数据库+mqtt服务器,底层esp32使用microPyth...
发表于 2021-07-27 06:29 0次阅读
物联网温湿度显示控制项目(网页、Android双端显示&搭载linux平台网关&MQTT通信)精选资料分享

国民技术:MCU供应紧张仍会持续,细分市场兼顾行...

日前,国民技术在调研活动中分享了当前公司在MCU等市场的情况。国民技术集成电路业务目前主要聚焦“通用....
发表于 2021-07-26 21:24 2272次阅读
国民技术:MCU供应紧张仍会持续,细分市场兼顾行...

RT-AK及Art-Pi简介

Github:https://github.com/EdgeAIWithRTT/Project7-C....
发表于 2021-07-26 18:16 382次阅读
RT-AK及Art-Pi简介

【原创】ESP8266物联网开发板设计1

作者:张角老师(张飞实战电子高级工程师) 我们今天使用ESP8266这款芯片设计一块物联网开发板,使用的模组是E...
发表于 2021-07-26 16:31 173次阅读
【原创】ESP8266物联网开发板设计1

重新思考Wi-Fi:Wi-Fi HaLow将推动...

由于Wi-Fi HaLow不依赖移动服务提供商,所以不需要服务提供商合同。与传统的Wi-Fi一样,客....
发表于 2021-07-26 14:18 764次阅读
重新思考Wi-Fi:Wi-Fi HaLow将推动...

物联网概述

本文首发微信公众号:码上观世界Part 1 物联网概述1. 物联网概念物联网是指通过各种信息传感器、射频识别技术、全球定...
发表于 2021-07-26 07:48 0次阅读
物联网概述

一文了解物联网主控芯片架构之争 精选资料推荐

文/Boone来源:中关村在线,智慧产品圈等中兴事件引起了全球的轰动,大家的目光聚集在服务器、计算机、存储底层芯片技...
发表于 2021-07-26 06:41 0次阅读
一文了解物联网主控芯片架构之争 精选资料推荐

ElectroKnox 借助赛灵思 Zynq® ...

ElectroKnox 公司为现代互联汽车提供了桥接各种通信协议的域控制器和智能中央网关解决方案。其....
发表于 2021-07-23 17:36 1023次阅读
ElectroKnox 借助赛灵思 Zynq® ...

借助自适应模块化系统 (SOM)加速边缘创新

自适应计算包含能够针对具体应用进行优化的硬件,例如现场可编程门阵列 (FPGA),它是一个功能强大的....
发表于 2021-07-23 17:27 1538次阅读
借助自适应模块化系统 (SOM)加速边缘创新

商汤科技成立新加坡国际AI创新中心,“原创AI”...

在人工智能时代,以商汤科技为代表的中国AI企业已经开始在世界的舞台上崭露头角。
发表于 2021-07-23 17:17 713次阅读
商汤科技成立新加坡国际AI创新中心,“原创AI”...

重磅新品!研华EI-52边缘智能系统搭载Inte...

研华 EI-52 搭载第 11 代 Intel Core i5/i3/Celeron 处理器,支持 ....
发表于 2021-07-23 17:12 1290次阅读
重磅新品!研华EI-52边缘智能系统搭载Inte...

基于WiFi模块的物联网智能家居解决方案

物联网的基础是物体之间的互联,简单、稳定、可靠的联网能力是物联网发展中最重要的因素之一。在有线和无线....
发表于 2021-07-23 15:29 457次阅读
基于WiFi模块的物联网智能家居解决方案

直线电机加持的AI抽油烟机

作为现代职业女性,不仅是职场能手,更是厨房高手,食物背后是满满的情感。但做菜时的油烟却始终困扰着我们....
发表于 2021-07-23 13:53 130次阅读
直线电机加持的AI抽油烟机

英特尔Q2财报出炉!营收增长2% 自动驾驶和物联...

英特尔在官方网站公布了2021年第二季度财报数据。截至6月26日的2021财年第二季度财报。财报显示....
发表于 2021-07-23 10:21 2173次阅读
英特尔Q2财报出炉!营收增长2% 自动驾驶和物联...

2021第四届人工智能大会成功举办,揭秘AI最新...

2021年7月22日,由全球知名电子科技媒体电子发烧友主办的2021第四届人工智能大会在深圳成功举办....
发表于 2021-07-23 09:43 4296次阅读
2021第四届人工智能大会成功举办,揭秘AI最新...

飞腾业绩2020年猛增6.8倍 !CPU发力高性...

朱大勇分析说,数字化转型对于芯片支撑能力提出了更高要求,包括多样化算力、高性能、低功耗和高安全性。仅....
发表于 2021-07-23 09:34 3163次阅读
飞腾业绩2020年猛增6.8倍 !CPU发力高性...

物联网技术有多重要,它的应用有哪些

运输过程中的库存追踪 从运输中的卡车上盗取货物然后拿到黑市上出售,这种情况普遍存在,运输公司将物联网....
发表于 2021-07-22 17:43 198次阅读
物联网技术有多重要,它的应用有哪些

物联网技术对我们的生活有哪些影响

设备诊断和工厂内的预防性维护 随着制造商采用21世纪的做法,工厂内的设备配备了各种传感器,可以在检测....
发表于 2021-07-22 17:41 106次阅读
物联网技术对我们的生活有哪些影响

物联网技术在我们的生活中都有哪些应用

1、交通基础设施 在公路和铁路的关键点设置传感器,这能城市可以监控交通基础设施的健康运作状况,以及监....
发表于 2021-07-22 17:39 66次阅读
物联网技术在我们的生活中都有哪些应用

物联网技术对我们的生活都有哪些帮助

1、交通基础设施 在公路和铁路的关键点设置传感器,这能城市可以监控交通基础设施的健康运作状况,以及监....
发表于 2021-07-22 17:38 81次阅读
物联网技术对我们的生活都有哪些帮助

医疗 × AI|设计、仿真和构建下一代医疗设备与...

借助 MATLAB® 和 Simulink® ,工程师能够高效地集成和自动化设计、实现和验证的各个阶....
发表于 2021-07-22 17:06 1374次阅读
医疗 × AI|设计、仿真和构建下一代医疗设备与...

NVIDIA在推理方面取得突破,从云端到边缘实现...

NVIDIA于今日发布公司第八代AI软件TensorRT™ 8。该软件将语言查询推理时间缩短了一半,....
发表于 2021-07-21 15:07 2778次阅读
NVIDIA在推理方面取得突破,从云端到边缘实现...

无线WiFi模块在物联网中的应用

在物联网的时代,当机器需要交流的时候,按照相互之间可以听懂的语言进行,这就是无线通信技术。
发表于 2021-07-21 14:31 35次阅读
无线WiFi模块在物联网中的应用

物联网智能踏板车的方案亮点是什么

为什么需要物联网智能踏板车? 传统踏板车和代步车无法及时的解决遇到的风险,在车遇到故障时也无法排除问....
发表于 2021-07-21 09:38 36次阅读
物联网智能踏板车的方案亮点是什么

三年半亏损23亿元,云从科技成功IPO!AI“四...

电子发烧友网报道(文/黄晶晶)7月20日,科创板传来好消息,云从科技顺利过会。云从科技将是AI四小龙....
发表于 2021-07-21 08:00 3461次阅读
三年半亏损23亿元,云从科技成功IPO!AI“四...

瑞萨电子面向车载信息娱乐、智能驾驶舱和数字仪表盘...

新产品扩展了广受好评的R-Car Gen3系列SoC产品线,CPU性能提升至50k DMIPS和2G....
发表于 2021-07-20 14:53 1051次阅读
瑞萨电子面向车载信息娱乐、智能驾驶舱和数字仪表盘...

千核RISC-V处理器,通往AI之路的完全体

谈到如何设计AI加速器,许多工程师都会给出不同的答案,但归根结底仍是在一颗先进制程的芯片上排列组合数....
发表于 2021-07-20 09:53 3049次阅读
千核RISC-V处理器,通往AI之路的完全体

发力端侧、边缘侧AI能力,爱芯科技AX630A赋...

人工智能视觉芯片初创公司爱芯科技亮相“2021中国集成电路设计创新大会暨IC应用博览会”(简称ICD....
发表于 2021-07-19 15:07 1546次阅读
发力端侧、边缘侧AI能力,爱芯科技AX630A赋...

e络盟携手英飞凌发起低功耗物联网设计挑战赛

安富利旗下全球电子元器件产品与解决方案分销商e络盟通过其在线互动社区与英飞凌联合发起低功耗物联网设计....
发表于 2021-07-19 14:54 885次阅读
e络盟携手英飞凌发起低功耗物联网设计挑战赛

物联网网关概述、选型及应用

XL9X物联网关是XIoT网络核心,启动、管理、协调网络通信。网络、协议转换;数据获取、处理、储贮、....
发表于 2021-07-19 11:56 126次阅读
物联网网关概述、选型及应用

腾讯造芯!自研AI芯片;小米手机超越苹果,出货量...

两大重点高校相继成立集成电路学院   7月14日,华中科技大学未来技术学院和集成电路学院也正式揭牌成....
发表于 2021-07-18 11:07 3368次阅读
腾讯造芯!自研AI芯片;小米手机超越苹果,出货量...

昇腾AI的三级跳

我们的读者,应该都已经关注昇腾AI很长时间了。 如果回溯整个昇腾AI计算产业的发展历程,会发现两个节....
发表于 2021-07-16 19:42 156次阅读
昇腾AI的三级跳

硬杠TensorFlow/PyTorch,这家中...

目前比较主流的AI深度学习框架主要由国际巨头领衔,比如谷歌的TensorFlow和Facebook的....
发表于 2021-07-16 18:18 3290次阅读
硬杠TensorFlow/PyTorch,这家中...

超异构驱动数据,数据释放AI价值

AlphaGo的出现,掀开了人工智能发展的新一轮高潮。在这六年当中,以数据为主要驱动力的AI技术,已....
发表于 2021-07-15 15:48 190次阅读
超异构驱动数据,数据释放AI价值

AI时代,智能硬件如何照亮求学之路

普罗米修斯盗天火,西汉匡衡凿壁偷光夜读书,爱迪生发明电灯泡……从古至今,光都代表着人类对知识和真理的....
发表于 2021-07-15 10:07 1088次阅读
AI时代,智能硬件如何照亮求学之路

高空测报灯充分发挥了物联网智慧农业的优势

大美古城,苹果之乡。旬邑县,位于咸阳市北部。近日,陕西省咸阳市旬邑县引进多台欧柯奇草地贪夜蛾高空测报....
发表于 2021-07-14 17:53 140次阅读
高空测报灯充分发挥了物联网智慧农业的优势

瑞萨电子推出全新汽车摄像头解决方案 用传统低成本...

 汽车高清链路(AHL)包含对摄像头功能进行初始化、编程和监控的专用控制通道;进一步完善瑞萨针对汽车....
发表于 2021-07-13 17:25 1928次阅读
瑞萨电子推出全新汽车摄像头解决方案 用传统低成本...

传感器在物联网中的应用领域

物联网是当下热门的话题,传感器在现代智能产品方面也起着非常大的作用,尤其在压力、温度、液位等方面成就....
发表于 2021-07-13 16:19 173次阅读
传感器在物联网中的应用领域

科创AI第一股汽车业务提速在即 解读虹软VisD...

刚刚落幕的世界人工智能大会上,澎湃而来的数字化转型浪潮再一次席卷了各大行业。尤其是在汽车领域,随着A....
发表于 2021-07-13 12:14 186次阅读
科创AI第一股汽车业务提速在即 解读虹软VisD...

研华:以定制化服务模式协同构建AIoT产业生态圈...

研华深知任何一家公司想要获得长足发展并非靠“单打独斗”,而是群策群力的协同合作。“单人行可以走的很快....
发表于 2021-07-13 10:41 1584次阅读
研华:以定制化服务模式协同构建AIoT产业生态圈...

给AI时代装配“新大脑”:数据密集型超算带来了哪...

这几天,世界人工智能大会成为了行业中当之无愧的流量焦点,而媒体与分析师对这届大会的关注点也各有不同。....
发表于 2021-07-12 21:58 151次阅读
给AI时代装配“新大脑”:数据密集型超算带来了哪...

让AI抛弃“小作坊”,拥抱“工业化”:盘古大模型...

如果你想要一台冰箱,结果只能买到压缩机,金属面板、塑料储物盒,需要自己进行组装;如果你想要一台汽车,....
发表于 2021-07-12 21:48 114次阅读
让AI抛弃“小作坊”,拥抱“工业化”:盘古大模型...

AI食品加工机器人方案的说明

为什么要使用机器人对食品进行加工 食品加工和包装机械制造业是为食品工业提供技术装备的重要产业。近年来....
发表于 2021-07-12 17:24 128次阅读
AI食品加工机器人方案的说明

AI食品加工机器人方案的简介

为什么要使用机器人对食品进行加工 食品加工和包装机械制造业是为食品工业提供技术装备的重要产业。近年来....
发表于 2021-07-12 17:14 101次阅读
AI食品加工机器人方案的简介

Orange联合Sierra Wireless、...

IoT Continuum旨在促进蜂窝物联网在欧洲及其他地区的广泛应用和部署,从而为智慧建筑、汽车出....
发表于 2021-07-12 15:31 2538次阅读
Orange联合Sierra Wireless、...

英特尔中国研究院宋继强:AI技术已成为推动数字化...

2021年7月9日,2021世界人工智能大会(WAIC 2021)日前在上海开幕。首日举办的“智能芯....
发表于 2021-07-12 14:11 325次阅读
英特尔中国研究院宋继强:AI技术已成为推动数字化...

小冰发布超级自然语音技术 并披露A轮融资完成

7月12日,小冰公司发布全新的超级自然语音技术。该技术首次将人工智能语音自然度提升到与真实人类声音几....
发表于 2021-07-12 12:04 53次阅读
小冰发布超级自然语音技术 并披露A轮融资完成

极视角在WAIC带来什么新玩意?

2021年7月7日,2021世界人工智能大会(简称WAIC)在上海开幕。本届大会的主题是“智联世界 ....
发表于 2021-07-10 21:03 1325次阅读
极视角在WAIC带来什么新玩意?

酷培AI+教育,新教育方式将走向何方?

人工智能发展如火如荼,给各行各业都带来了新的发展方向。尤其是教育行业,AI技术的赋能改变了传统的学习....
发表于 2021-07-09 14:41 107次阅读
酷培AI+教育,新教育方式将走向何方?

以Chiplet技术推动AI产业加速发展-蓝洋智...

南京蓝洋智能科技有限公司创立于2019年,公司在GPU、NPU、多媒体及高效计算等多个领域具有深厚的....
发表于 2021-07-09 14:25 1304次阅读
以Chiplet技术推动AI产业加速发展-蓝洋智...

大算力,小应用!红杉资本沈南鹏看好AI+智能生活...

7月8日,在上海举办的世界人工智能大会上,红杉资本全球执行合伙人、红杉资本中国基金创始及执行合伙人沈....
发表于 2021-07-09 09:17 3747次阅读
大算力,小应用!红杉资本沈南鹏看好AI+智能生活...

中国最大的计算芯片诞生!燧原科技发布邃思2.0 ...

燧原科技于7月7日在上海发布第二代人工智能训练产品——“邃思2.0”芯片、基于邃思2.0的“云燧T2....
发表于 2021-07-08 21:34 4392次阅读
中国最大的计算芯片诞生!燧原科技发布邃思2.0 ...

高通CEO安蒙展望5G+AI智能云连接广阔机遇及...

高通公司是赋能终端侧智能的领军企业,这不仅源于超过10年的AI技术研究和产品开发投入,更得益于我们为....
发表于 2021-07-08 17:40 712次阅读
高通CEO安蒙展望5G+AI智能云连接广阔机遇及...

格力董事长董明珠:零碳源技术可让全球温度降低0....

7月7日,在上海举办的世界人工智能大会上,格力董事长董明珠带来了最新智能化技术给制造业的三点启示的演....
发表于 2021-07-08 10:40 3544次阅读
格力董事长董明珠:零碳源技术可让全球温度降低0....