0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

加速边缘设备中计算机视觉和语音的AI推理模型

星星科技指导员 来源:嵌入式计算设计 作者:Saumitra Jagdale 2022-10-19 09:08 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

加速AI推理模型已成为一项基本任务,因为我们正朝着创建更复杂,更高效的AI应用程序迈进。灵活和完整的AI辅助是在快速增长的AI领域取得成功的关键组成部分。

RISC-V被设计为模块化的,有几个基本部分和可能的附加部分。ISA的基础和扩展是工业界,学术界和研究界之间合作努力的结果。指令及其编码、控制流、寄存器、内存和寻址逻辑操作和辅助功能都在库中指定。通过完整的软件支持,包括通用编译器,仅基础就可以创建简化的通用计算机。标准扩展旨在与所有标准基础一起工作,并相互兼容,而不会引起任何冲突。

Deep Vision ARA-1 处理器围绕完整的软件工具套件构建,是需要高计算、模型灵活性和能源经济性的边缘应用的明确选择。该解决方案还旨在支持当今最复杂、最具成本效益的边缘 AI 应用,同时消耗最少的功率。

RISC-V计算的创始人和领导者SiFive最近宣布,边缘AI处理器公司Deep Vision将把SiFive RISC-V处理器IP整合到其下一代推理加速器中,以便在边缘设备中实现更完整的计算机视觉和语音。结合这两项超高效服务,深度视觉将授权SiFive智能X280和SiFive Essentia S7处理器IP,以提高其解决方案的灵活性和功能,使客户能够为智能城市,智能零售,汽车和其他行业创建应用程序。

得益于SiFive智能X280处理器,深度视觉加速器现在能够支持更广泛的神经网络模型,并包括浮点优化。张量流精简版和各种 AI/ML 数据格式(包括 BFLOAT16)由 SiFive 智能处理器上的 SiFive 智能扩展提供支持。

SiFive Intelligence X280 处理器作为应用类 AI 处理器的灵活性和可编程性扩展了 Deep Vision 加速器久经考验的功能和性能,可快速支持硬件中新的和不断发展的 AI 推理模型,以及图像缩放、颜色转换和白噪声减除等 AI 预处理任务。

SiFive 基本型 S7 处理器与其他 SiFive RISC-V 处理器一起,提供实时、确定性的处理功能,允许异构计算集群中的命令和控制应用。SiFive Essential S7 处理器架构具有更好的安全性和实时确定性,同时提供面积高效的每瓦性能,使其成为延迟敏感型边缘计算应用的理想选择。

将SiFive智能RISC-V处理器的特性与深度视觉推理加速器相结合,是为快速增长的AI处理器行业快速高效地制造新硬件的自然方式。SiFive 智能扩展和 RISC-V 矢量(如 SiFive 智能 X280 中实现的那样)非常适合当前 AI 应用的需求。得益于SiFive业界领先的RISC-V处理器IP产品组合,SiFive在有效帮助人工智能公司构建以市场为中心的系统方面具有独特的优势。

此外,凭借同类最佳的 11+ SPECint2k6/GHz 基准测试结果,SiFive 性能 P650 将其业务范围扩展到极高端领域,使其成为性能最高的可授权 RISC-V 处理器。凭借多达 16 个内核的多核、多集群 CPU 配置和最近批准的虚拟机管理程序扩展,SiFive Performance P650 可提供可扩展的性能。随着时间的推移,SiFive计划扩展其路线图,以包括多集群功能,在单个SoC中支持128个或更多内核。

RISC-V 加速了当前的 AI 推理模型

SiFive将RISC-V处理器IP引入其下一代AI推理加速器,为边缘设备中的计算机视觉和语音提供更快,更高效的计算能力。RISC-V处理器的高灵活性和强大功能使客户能够以比传统技术更简单,更快的速度创建复杂的AI应用程序,如智能城市,智能零售和汽车。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机
    +关注

    关注

    19

    文章

    7764

    浏览量

    92674
  • 编译器
    +关注

    关注

    1

    文章

    1669

    浏览量

    51076
  • RISC-V
    +关注

    关注

    48

    文章

    2792

    浏览量

    51878
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    什么是AI模型推理能力

    NVIDIA 的数据工厂团队为 NVIDIA Cosmos Reason 等 AI 模型奠定了基础,该模型近日在 Hugging Face 的物理推理模型排行榜中位列榜首。
    的头像 发表于 09-23 15:19 823次阅读

    NVIDIA Nemotron Nano 2推理模型发布

    NVIDIA 正式推出准确、高效的混合 Mamba-Transformer 推理模型系列 NVIDIA Nemotron Nano 2。
    的头像 发表于 08-27 12:45 1384次阅读
    NVIDIA Nemotron Nano 2<b class='flag-5'>推理模型</b>发布

    澎峰科技完成OpenAI最新开源推理模型适配

    澎峰科技现已完成 OpenAI 最新开源推理模型 gpt-oss-20b 在 DeepFusion 大模型一体机上的原生适配与优化,用户可一键启用这颗“小而强悍”的新引擎,在本地享受企业级 AI 生产力!
    的头像 发表于 08-14 11:34 1146次阅读

    利用NVIDIA推理模型构建AI智能体

    开放式推理模型能够更快、更广泛地进行思考,为客户服务、网络安全、制造、物流和机器人等领域的 AI 智能体生成更明智的结果。
    的头像 发表于 08-13 14:32 1284次阅读
    利用NVIDIA<b class='flag-5'>推理模型</b>构建<b class='flag-5'>AI</b>智能体

    模型推理显存和计算量估计方法研究

    上进行了实验。实验结果表明,所提出的估计方法具有较高的准确性和实用性。 五、结论 本文针对大模型推理的显存和计算量估计问题,提出了基于模型结构和硬件
    发表于 07-03 19:43

    详解 LLM 推理模型的现状

    领域的最新研究进展,特别是自DeepSeekR1发布后兴起的推理时间计算扩展相关内容。在LLM中实施和改进推理简单来说,基于LLM的推理模型是一种旨在通过生成中间
    的头像 发表于 04-03 12:09 1238次阅读
    详解 LLM <b class='flag-5'>推理模型</b>的现状

    英伟达GTC25亮点:NVIDIA Dynamo开源库加速并扩展AI推理模型

    DeepSeek-R1 上的吞吐量提高了 30 倍 NVIDIA 发布了开源推理软件 NVIDIA Dynamo,旨在以高效率、低成本加速并扩展 AI 工厂中的 AI
    的头像 发表于 03-20 15:03 1075次阅读

    NVIDIA 宣布推出 DGX Spark 个人 AI 计算机

    的 DGX™ 个人 AI 超级计算机。   DGX Spark(前身为 Project DIGITS)支持 AI 开发者、研究人员、数据科学家和学生,在台式电脑上对大模型进行原型设计、
    发表于 03-19 09:59 504次阅读
       NVIDIA 宣布推出 DGX Spark 个人 <b class='flag-5'>AI</b> <b class='flag-5'>计算机</b>

    英飞凌边缘AI平台通过Ultralytics YOLO模型增加对计算机视觉的支持

    计算机视觉的支持,扩大了当前对音频、雷达和其他时间序列信号数据的支持范围。在增加这项支持后,该平台将能够用于开发低功耗、低内存的边缘AI视觉
    的头像 发表于 03-11 15:11 655次阅读
    英飞凌<b class='flag-5'>边缘</b><b class='flag-5'>AI</b>平台通过Ultralytics YOLO<b class='flag-5'>模型</b>增加对<b class='flag-5'>计算机</b><b class='flag-5'>视觉</b>的支持

    科大讯飞发布星火深度推理模型X1

    今天,科大讯飞正式发布星火深度推理模型X1,星火4.0 Turbo底座全面升级,首发星火语音同传大模型
    的头像 发表于 01-15 15:54 1032次阅读

    智谱推出深度推理模型GLM-Zero预览版

    近日,智谱公司正式发布了其深度推理模型GLM-Zero的预览版——GLM-Zero-Preview。这款模型标志着智谱在扩展强化学习技术训练推理模型方面的重大突破,成为其首个专注于增强AI
    的头像 发表于 01-03 10:42 763次阅读

    智谱GLM-Zero深度推理模型预览版正式上线

    近日,智谱公司宣布其深度推理模型GLM-Zero的初代版本——GLM-Zero-Preview已正式上线。这款模型是智谱首个基于扩展强化学习技术训练的推理模型,标志着智谱在AI
    的头像 发表于 01-02 10:55 797次阅读

    阿里云发布开源多模态推理模型QVQ-72B-Preview

    近日,阿里云宣布了一项重大技术突破,正式发布了业界首个开源多模态推理模型——QVQ-72B-Preview。这一模型的问世,标志着阿里云在AI技术领域的又一次重要飞跃
    的头像 发表于 12-27 10:28 852次阅读

    AI模型部署边缘设备的奇妙之旅:目标检测模型

    1、简介 人工智能图像识别是人工智能领域的一个重要分支,它涉及计算机视觉、深度学习、机器学习等多个领域的知识和技术。图像识别主要是处理具有一定复杂性的信息。计算机采用与人类类似的图像识别原理,即对
    发表于 12-19 14:33

    AI模型部署边缘设备的奇妙之旅:如何在边缘端部署OpenCV

    图像的质量,使得图像更适合人类观察或者为后续的分析做准备。 方法:通常涉及像素级别的操作,比如调整亮度、对比度、颜色校正、滤波(如高斯模糊、中值滤波去噪)、边缘检测、形态学变换(膨胀、腐蚀)等。 计算机视觉
    发表于 12-14 09:31