电子发烧友App

硬声App

0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

电子发烧友网>处理器/DSP>边缘AI实现的核心环节:硬件选择和模型部署

边缘AI实现的核心环节:硬件选择和模型部署

收藏

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论

查看更多

相关推荐

利用恩智浦云实验室部署AI模型

如今,人工智能(AI)非常火爆,这个风口该如何把握?作为一个电子工程师,和AI最主要的交集应该就是边缘计算了,具体来讲,就是在一些性能、功耗以及价格相对较低的嵌入式平台上部署和运行AI模型
2024-08-02 11:46:353264

C#集成OpenVINO™:简化AI模型部署

在开源测控、机器视觉、数采与分析三大领域中,如何快速将AI模型集成到应用程序中, 实现AI赋能和应用增值? 最容易的方式是:在C#中,使用 OpenVINO工具套件 集成AI模型。 1
2025-02-17 10:03:381634

嵌入式边缘AI应用开发简化指南

面临的一系列挑战包括选择恰当的深度学习模型、针对性能和精度目标对模型进行训练和优化,以及学习使用在嵌入式边缘处理器上部署模型的专用工具。
2022-03-16 11:36:072032

边缘AI应用越来越普遍,AI模型边缘端如何部署

模型在端侧的部署也成了业界关注的焦点。   如何把AI 模型边缘部署   首先得软硬件适配,硬件方面,适配的AI芯片越多越好,这样对于工程师来说,就降低了端侧模型适配迁移的难度,即使换一个设备也可以轻松部署上去;软件方面,主要
2023-07-04 00:11:003144

边缘部署模型优势多!模型量化解决边缘设备资源限制问题

电子发烧友网报道(文/李弯弯)大模型边缘部署是将大模型部署边缘设备上,以实现更快速、更低延迟的计算和推理。边缘设备可以是各种终端设备,如智能手机、平板电脑、智能家居设备等。通过将大模型部署边缘
2024-01-05 00:06:004649

AI边缘计算机应用场景广泛!大语言模型与数字人结合方案在边缘侧落地

电子发烧友网报道(文/李弯弯)AI边缘计算机是一种人工智能和边缘计算技术相结合的计算机设备。它可以在本地设备上运行AI模型实现对设备数据的实时分析和响应,从而减少数据传输到云端的延迟和成本
2024-01-16 01:11:004847

部署边缘设备上的轻量级模型

电子发烧友网报道(文/李弯弯)边缘AI算法是一种将人工智能(AI)算法和计算能力放置在接近数据源的终端设备中的策略。这种算法通常被部署边缘设备上,如传感器、智能手机、摄像头等,以便在靠近数据源
2024-05-11 00:17:003038

支持大模型部署和运行的边缘计算SoC芯片

的处理器核心AI加速器、内存控制器、外设接口以及通信接口等关键组件,旨在在数据产生的源头附近(即边缘实现实时的数据处理、分析和决策。
2024-05-27 08:00:004208

边缘AI硬件技术、算法、平台正在不断创新/升级优化

电子发烧友网报道(文/李弯弯) 边缘AI是智能化发展的趋势,是边缘计算和人工智能的结合。边缘AI,是指在物理世界的设备中直接部署AI应用的一种技术。它允许在实际创建数据的位置附近进行计算,而不是
2024-06-05 00:09:003038

AI模型部署边缘设备的奇妙之旅:如何实现手写数字识别

和计算成本。 对于某些应用,可以通过剪枝实现更高的效率,尤其是在硬件加速器上。 挑战: 剪枝可能会导致模型性能下降,因此需要仔细选择剪枝策略并进行适当的再训练。 高度非线性的问题中,简单地剪枝可能会造成
2024-12-06 17:20:41

AI模型部署边缘设备的奇妙之旅:如何在边缘部署OpenCV

地结合起来,以实现更复杂的功能。 参数调优:每个算子通常都带有一系列可调节的参数,这些参数的选择直接影响到最终的结果。找到一组最优化的参数值往往需要通过不断的实验和尝试,这既考验耐心也考验经验
2024-12-14 09:31:19

AI模型部署边缘设备的奇妙之旅:目标检测模型

并非易事,它涉及到从选择合适的算法架构到针对特定硬件平台进行优化等一系列复杂的工作。 接下来,我们将详细介绍如何在资源受限的边缘设备上成功部署目标检测模型,探索其背后的原理和技术,并讨论解决该领域内常见
2024-12-19 14:33:06

AI边缘计算网关介绍

AI边缘计算网关介绍:智能网关支持物联网硬件多协议接入,适应各种无线通信协议场景。只需通过硬件板卡的快速装卸,就可以实现功能的自由增删。同时智能网关运行Mosquitto等服务实现了MQTT
2021-07-26 06:41:37

AI核心是什么?

AI概念笼统,范围广大,到底什么才是AI核心?手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现+开发板)详情链接:http://url.elecfans.com/u/c422a4bd15
2019-10-18 06:39:12

AI端侧部署开发(SC171开发套件V3)

AI端侧部署开发(SC171开发套件V3) 序列 课程名称 视频课程时长 视频课程链接 课件链接 工程源码 1 Fibo AI Stack模型转化指南------Docker Desktop环境操作
2025-04-16 18:30:21

AI赋能边缘网关:开启智能时代的新蓝海

的引入彻底改变了这一局面。通过在边缘网关集成AI芯片和算法模型,使其具备了实时数据分析、智能决策和自主控制能力。在工业质检场景中,搭载AI算法的边缘网关能够实时识别产品缺陷,将检测效率提升300%以上
2025-02-15 11:41:42

硬件帮助将AI移动到边缘

统。有关AI超出语音和愿景的硬件,实施和影响的进一步见解,请查看特殊项目中的其他文章。将 AI推向边缘的创新 AI将允许开发人员实现更复杂的嵌入式系统行为,新工具允许更多开发人员实现AIAI会来测试
2019-05-29 10:38:09

边缘智能市场要素:海量需求,物联网切分

上,机器学习常常需要强大的计算能力的支持。在Edge AI基础设施中,计算性能仅限于边缘或物联网设备的性能。在大多数情况下,大型复杂的边缘人工智能模型必须在部署边缘人工智能硬件之前进行简化,这样才能提高
2022-08-23 15:42:10

边缘计算主板选型要素,附研发样品

应用引发数据爆发式增长,传统云端处理、边端执行的模式已经出现明显的瓶颈,终端硬件搭配边缘计算网关和边缘计算机和AI模型与软件算法已经是大势所趋。 边缘计算主板选型的四大要素随着人工智能落地到越来越多的细分
2022-12-12 11:46:20

部署基于嵌入的机器学习模型

1、如何在生产中部署基于嵌入的机器学习模型  由于最近大量的研究,机器学习模型的性能在过去几年里有了显著的提高。虽然这些改进的模型开辟了新的可能性,但是它们只有在可以部署到生产应用中时才开始提供真正
2022-11-02 15:09:52

Deepseek海思SD3403边缘计算AI产品系统

海思SD3403边缘计算AI框架,提供了一套开放式AI训练产品工具包,解决客户低成本AI系统,针对差异化AI 应用场景,自己采集样本数据,进行AI特征标定,AI模型训练,AI应用部署的系统,用户
2025-04-28 11:05:43

EdgeBoard FZ5 边缘AI计算盒及计算卡

智能分析。为批量化AI项目落地提供卓越选择!2 根植百度大脑强大生态体系,拥有丰富AI能力搭载百度PaddlePaddle框架,衔接百度大脑开放能力,可提供海量且不断迭代的模型库轻松实现人脸&
2020-08-31 14:12:48

K230D部署模型失败的原因?

MicroPython部署的无法正常运行,采用C++版本的无法实现部署 尝试解决过程 1.考虑到可能是固件不匹配的问题,重新烧录了流程(生成模型后给的readme)中要求的固件,依旧无法成功部署 2.
2025-03-11 06:19:58

MLU220-M.2边缘端智能加速卡支持相关资料介绍

。可以轻松实现终端设备和边缘段设备的AI赋能方案。MLU220-M.2加速卡用于离线模型部署,离线模型在MLU220上运行, 不依赖AI框架,只需要利用CNRT库,即可实现高效的AI推理运算。如果需要
2022-08-08 17:37:55

NanoEdge AI的技术原理、应用场景及优势

能耗并提高数据安全性。本文将对 NanoEdge AI 的技术原理、应用场景以及优势进行综述。 1、技术原理 NanoEdge AI核心技术包括边缘计算、神经网络压缩和低功耗硬件设计。边缘计算
2024-03-12 08:09:00

RK3588核心板在边缘AI计算中的颠覆性优势与场景落地

推理任务,需额外部署GPU加速卡,导致成本与功耗飙升。 扩展性受限:老旧接口(如USB 2.0、百兆网口)无法支持5G模组、高速存储等现代外设,升级困难。 开发周期长:BSP适配不完善,跨平台AI
2025-04-15 10:48:35

RK3588开发板上部署DeepSeek-R1大模型的完整指南

DeepSeek作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本,实现了长文本处理效能跃迁、多模态
2025-02-27 16:45:58

ST MCU边缘AI开发者云 - STM32Cube.AI

使用 STM32Cube.AI 取得了巨大的成功。它使我们能够实现在低成本MCU上运行的高性能AI应用程序。今天,我们很高兴看到该产品通过提供在线界面进一步发展。这将使我们能够评估AI模型的性能,并在流程的早期选择合适的硬件
2023-02-02 09:52:43

TB-96AI是什么?TB-96AI核心板有哪些核心功能

的RK3399Pro开发套件,也可作为RK3399Pro核心板(TB-96AI)的评估板;搭配客户根据实际需求定制开发的底板即可直接组成行业应用主板,广泛适用于工业自动化、无人机、图像检测、人脸识别、边缘计算网关
2022-06-20 16:28:28

AI Agent 应用与项目实战》阅读心得3——RAG架构与部署本地知识库

实际开发中,开发者需要注意文档预处理的质量、向量化模型选择、检索策略的优化等技术细节,同时要考虑系统的可维护性和扩展性。本地部署和云端部署各有优势,选择合适的部署方案需要综合考虑数据安全、硬件资源
2025-03-07 19:49:30

《RK3588核心板:AIoT边缘计算的革命性引擎,能否解锁智能物联新范式?》

学习模型实现毫秒级响应。 功能亮点与场景示例: 多模态AI融合:支持TensorFlow、PyTorch等主流框架模型部署,可应用于智能零售中的行为识别系统,通过摄像头+红外传感器数据融合,精准分析
2025-04-02 10:26:16

【HarmonyOS HiSpark AI Camera】边缘计算安全监控系统

打火机)就报警的模型实现边缘测的相关检测和报警的业务逻辑。中期,完成传感器数据和视频推流到云端,实现远程监控。后期,各个环节的丰富和优化,比如多传感器、设备接入等,组成一套较完善系统。
2020-09-25 10:11:50

【KV260视觉入门套件试用体验】Vitis AI 构建开发环境,并使用inspector检查模型

推断开发平台,它可以帮助开发者在赛灵思的 FPGA 和自适应 SoC 上实现高效的 AI 应用部署。它是一个强大而灵活的 AI 开发平台,它可以让您充分利用赛灵思硬件平台的优势,实现高性能、低功耗
2023-10-14 15:34:26

【幸狐Omni3576边缘计算套件试用体验】DeepSeek 部署及测试

【幸狐 Omni3576 边缘计算套件测评】DeepSeek 部署及测试 本文介绍了幸狐 Omni3576 边缘计算套件实现 DeepSeek 部署及测试的相关流程,包括模型介绍、部署方案
2025-03-21 19:31:43

【米尔FZ3深度学习计算卡试用体验】搭建Vitis Ai系统平台并测试

1 Vitis AiVitis™ AI 开发环境是 Xilinx 的开发平台,适用于在 Xilinx 硬件平台(包括边缘器件和 Alveo 卡)上进行人工智能推断。它由优化的 IP、工具、库、模型
2020-12-03 19:22:13

【米尔百度大脑EdgeBoard边缘AI计算盒试用连载】I. 开箱报告(ZMJ)

AI计算盒更倾向于简化嵌入式或者算法人员的开发流程,开发人员对于FPGA即便是零基础也能轻松驾驭它。它可以提供丰富的软硬件选型,可适应多变的场景与边缘部署环境。无缝兼容百度大脑工具平台与算法模型,开发者
2021-03-14 20:37:28

一文了解边缘计算和边缘AI 精选资料分享

这个9月,AI芯片独角兽地平线发布了自诩最强边缘 AI 芯片地平线「旭日3」,一时间引起轰动。相比第二代芯片,「旭日3」的AI性能上得到很大提升,只需在 2.5W 的功耗下,能够达到等效...
2021-07-23 06:10:21

介绍在STM32cubeIDE上部署AI模型的系列教程

介绍在STM32cubeIDE上部署AI模型的系列教程,开发板型号STM32H747I-disco,值得一看。MCUAI原文链接:【嵌入式AI开发】篇四|部署篇:STM32cubeIDE上部署神经网络之模型部署
2021-12-14 09:05:03

使用CUBEAI部署tflite模型到STM32F0中,模型创建失败怎么解决?

看到CUBE_AI已经支持到STM32F0系列芯片,就想拿来入门嵌入式AI。 生成的模型很小,是可以部署到F0上的,但是一直无法创建成功。 查阅CUBE AI文档说在调用create函数前,要启用
2024-03-15 08:10:25

千芯科技推出了针对芯来RISC-V平台的AI部署工具包(tinyAI SDK)

千芯科技推出了针对芯来RISC-V平台的AI部署工具包(tinyAI SDK),使用户可以基于该先进技术快速部署基于芯来RISC-V内核的AIoT应用。在芯来UX600上,实测的AI应用实现
2020-11-21 10:08:17

在Arm虚拟硬件部署PP-PicoDet模型

1、在Arm虚拟硬件部署PP-PicoDet模型  经典的深度学习工程是从确认任务目标开始的,我们首先来简单地介绍一下目标检测任务以及本期部署实战课程中我们所使用的工具和平台。  目标检测任务
2022-09-16 14:42:09

在Arm虚拟硬件部署PP-PicoDet模型的设计方案

1、在Arm虚拟硬件部署PP-PicoDet模型  经典的深度学习工程是从确认任务目标开始的,我们首先来简单地介绍一下目标检测任务以及本期部署实战课程中我们所使用的工具和平台。  目标检测任务
2022-09-23 15:02:59

基于NVIDIA Jetson Xavier NX设计,飞凌 AI边缘计算终端FCU3001来了

。此时,一款成熟稳定的硬件设备,无疑为专注算法和应用程序开发的用户带来了巨大帮助。飞凌嵌入式AI边缘计算终端FCU3001应运而生。人工智能和边缘计算的理想硬件飞凌嵌入式推出的AI边缘计算终端
2021-11-30 10:52:31

如何使用stm32cube.ai部署神经网络?

如何用stm32cube.ai简化人工神经网络映射?如何使用stm32cube.ai部署神经网络?
2021-10-11 08:05:42

如何利用周易AIPU来进行AI应用的部署开发?

如何利用周易AIPU来进行AI应用的部署开发?
2021-12-29 07:43:54

如何在STM32f4系列开发板上部署STM32Cube.AI

已下载STM32Cube.AI扩展包,但是无法使用,感觉像是没有部署AI模型,我是想要通过摄像头拍照,上传图像后,经过开发板处理器进行AI模型处理识别过后,告诉我识别结果,显示在TFLCD屏幕上
2024-11-18 09:39:26

如何将AI模型部署到嵌入式系统中

本期我们分享主题是如何将 AI 模型部署到嵌入式系统中,下一期将介绍如何在 RT-Thread 操作系统上运行 Mnist Demo(手写数字识别)。 嵌入式关联 AIAI落地一直是一...
2021-12-14 07:55:43

如何通过cube-ai扩展将机器学习模型部署到STM32H743ZIT6?

我正在尝试通过 cube-ai 扩展将机器学习模型部署到 STM32H743ZIT6。该模型采用 .tflite 格式。当我尝试分析模型时,结果如下:该工具指出 MCU 总共有 512KB 可用,模型超过了它,但在数据表上我发现有 1024KB。什么原因?
2022-12-30 08:57:53

嵌入式边缘AI应用开发指南

保驾护航。下面让我们来了解如何不借助手动工具或手动编程来选择模型、随时随地训练模型并将其无缝部署到TI处理器上,从而实现硬件加速推理。图1: 边缘AI应用的开发流程第1步:选择模型边缘AI系统开发
2022-11-03 06:53:28

当我问DeepSeek AI爆发时代的FPGA是否重要?答案是......

技术(如后量子加密),为数据安全提供保障。 5.推动AI创新与发展 • 快速部署与优化:FPGA能够实现AI模型的快速部署和优化,是连接软件算法与硬件性能的桥梁。它不仅加快了数据处理速度,还为AI模型
2025-02-19 13:55:47

怎么去解决cube ai部署后报错的问题呢

还只是编译阶段,选择的是ART-PI,还没有烧录,只是编译阶段就报错在部署完成过后,在工程里面打开发现如下报错,之前部署完官方的minist的时候也会在X-CUBE-AI这个包报错,已经尝试重新安装,望得解
2022-11-01 11:14:15

怎样去验证可部署目标硬件与软件算法模型之间的算法性能一致性?

如何去设计一款合理的电子硬件解决方案,从而实现经济有效的大规模生产与部署?怎样去验证可部署目标硬件与软件算法模型之间的算法性能一致性?System Generator是什么?有什么功能?
2021-04-08 06:25:48

添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略

DeepSeek 模型部署与测试,开启这场充满挑战与惊喜的技术探索之旅。 RK3588 开发板:AI 性能担当 RK3588 开发板基于先进的 8nm LP 制程工艺精心打造,其硬件配置堪称豪华,在 AI
2025-02-14 17:42:04

网络边缘实施AI的原因

AI推向边缘的影响通过在边缘运行ML模型可以使哪些具体的AI项目更容易运行?
2021-02-23 06:21:10

聆思CSK6视觉语音大模型AI开发板入门资源合集(硬件资料、大模型语音/多模态交互/英语评测SDK合集)

技还提供了模型训练推理工具将自己的算法模型部署至芯片上,也可以配合这个工具构建自己的 AI 应用。 使用聆思 CSK6011A 芯片作为主控,板载 16MB Flash 集成摄像头、麦克风、扬声器、屏幕等
2024-06-18 17:33:19

轻松实现一键部署AI模型至RT-Thread系统

AI 模型部署到 RT-Thread 系统中:示例DEMO本教程 RT-AK 适配目标平台:STM32以下项目为 RT-AK 的示例 Demo,基于 ART-PI 硬件平台和 Mnist 数据集
2022-09-02 15:06:14

重新定义智能安防边界——SSD2351如何让边缘计算更高效

AI安防领域,实时性与准确性是核心痛点。明远智睿基于Sigmastar SSD2351芯片的MY-S2351-CB112核心板,搭载ARM Cortex-A35四核处理器与纯硬件加速的智能视频引擎
2025-02-27 16:14:35

音视频边缘计算

今天读到一篇关于音视频边缘计算的帖子音视频合成的云边缘计算实现文章里有两个要点1)边缘计算 具体功能有:流合成 录像 水印 送审等功能 这些多数设计到需要对媒体数据做处理2)作者再部署部署方案
2021-10-29 08:34:10

首创开源架构,天玑AI开发套件让端侧AI模型接入得心应手

模型、通义千问、混元等多种先进端侧大模型,还包含视觉、语言、多模态等多种多样的大模型,开发者可以通过Gen-AI Model Hub一键调用模型能力,让AI应用开发选择更丰富。 为了让开发者免受即有
2025-04-13 19:52:44

AI边缘计算盒子

AI 边缘计算盒子(MF-AI-020)        1、产品简介 MF-AI
2023-07-31 13:02:16

如何通过Astraea一键化部署边缘AI服务?

前言 为什么说边缘计算带来了数据、计算的根本变化? 边缘AI边缘计算最重要的应用之一,它的挑战是什么? 一个用于边缘计算场景的新型AI服务部署平台Astraea是如何诞生的? 如何通过
2020-11-03 11:26:492500

边缘AI应用的开发流程

如果在没有嵌入式处理器供应商提供的合适工具和软件的支持下,既想设计高能效的边缘人工智能 (AI) 系统,同时又要加快产品上市时间,这项工作难免会冗长乏味。面临的一系列挑战包括选择恰当的深度学习模型、针对性能和精度目标对模型进行训练和优化,以及学习使用在嵌入式边缘处理器上部署模型的专用工具。
2022-04-09 13:31:482498

基于NVIDIA Triton的AI模型高效部署实践

NVIDIA Triton 推理服务器(以前称为 TensorRT 推理服务器)是一款开源软件,可简化深度学习模型在生产环境中的部署。借助 Triton 推理服务器,Devops 和 MLops
2022-06-28 15:49:471887

嵌入式边缘AI应用开发简化指南

硬件加速推理。 图1: 边缘AI应用的开发流程 第1步:选择模型 边缘AI系统开发的首要任务是选择合适的DNN模型,同时要兼顾系统的性能、精度和功耗目标。GitH
2022-06-30 17:01:351177

边缘AI模型压缩技术

在某个时间点,人们认为大型和复杂的模型表现更好,但现在它几乎是一个神话。随着边缘AI的发展,越来越多的技术将大型复杂模型转换为可以在边缘上运行的简单模型,所有这些技术结合在一起执行模型压缩。
2022-10-19 14:22:081312

三行代码完成AI模型部署

为了解决AI部署落地难题,我们发起了FastDeploy项目。FastDeploy针对产业落地场景中的重要AI模型,将模型API标准化,提供下载即可运行的Demo示例。相比传统推理引擎,做到端到端的推理性能优化。FastDeploy还支持在线(服务化部署)和离线部署形态,满足不同开发者的部署需求。
2022-11-10 10:18:321566

百度飞桨AI部署月,看NVIDIA Jetson平台如何快速部署

AI 应用的部署正逐渐从服务器端走向移动终端和边缘端,覆盖了包括交通、医疗、巡检等等多个行业。从自动化业务流程和通过数据分析获得洞察力,AI 正在通过各种方式实现竞争优势。 如何让模型落地复杂
2022-12-20 19:30:151390

TI Edge AI Academy简化嵌入式边缘AI应用开发

如果在没有嵌入式处理器供应商提供的合适工具和软件的支持下,既想设计高能效的边缘人工智能(AI)系统,同时又要加快产品上市时间,这项工作难免会冗长乏味。面临的一系列挑战包括选择恰当的深度学习模型、针对性能和精度目标对模型进行训练和优化,以及学习使用在嵌入式边缘处理器上部署模型的专用工具。
2022-12-22 15:11:241104

昆仑芯科技产业级AI模型部署全攻略

  12月28日,昆仑芯科技将联合百度飞桨FastDeploy团队带来“产业级AI模型部署全攻略 -昆仑芯科技专场”直播课程,就产业AI硬件部署解决方案进行交流,届时会详细讲解昆仑芯AI加速卡
2022-12-28 10:27:171975

嵌入式边缘AI应用开发简化指南

如果在没有嵌入式处理器供应商提供的合适工具和软件的支持下,既想设计高能效的边缘人工智能(AI)系统,同时又要加快产品上市时间,这项工作难免会冗长乏味。面临的一系列挑战包括选择恰当的深度学习模型、针对性能和精度目标对模型进行训练和优化,以及学习使用在嵌入式边缘处理器上部署模型的专用工具。
2023-03-16 09:33:191674

边缘AI模型压缩技术

模型压缩是在计算能力和内存较低的边缘设备上部署SOTA(最先进的)深度学习模型的过程,而不会影响模型在准确性、精度、召回率等方面的性能。模型压缩大致减少了模型中的两件事,即大小和延迟。减小大小
2023-05-05 09:54:561124

Renesas选择边缘AI

HVAC提供的边缘AI解决方案的范围从“硬件、固件参考设计和传感器仪表到生产级数据集”。Renesas在OEM的HVAC系统中安装了专业级实验室,并“为他们收集高质量的数据”。
2023-06-28 14:53:29882

MediaTek 联合百度发起飞桨和文心大模型硬件生态共创计划,以 AI模型赋能终端设备

实现模型在终端和云端的协同工作,为用户带来突破性的生成式 AI 应用体验。 作为推动 AI 进一步发展的先进技术,与单纯在云端部署生成式 AI 应用和服务相比,终端侧部署生成式 AI 在节约服务器成本、保护用户信息安全、提升实时性和实现个性化用户体验
2023-08-16 17:40:02807

AI边缘计算是什么意思?边缘ai是什么?AI边缘计算应用

算法部署边缘设备上实现智能化的计算方式。 什么是边缘计算? 边缘计算是一种通过把计算能力尽可能靠近数据来源或消费者的计算模式,提高应用程序的响应速度和传输效率的方式。边缘计算的核心是将计算任务下发到离数据源最近的边缘设备
2023-08-24 15:18:132457

走向边缘智能,美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型

近日,美格智能发挥软硬件一体协同开发能力,融合阿加犀卓越的AI优化部署技术,在搭载高通QCS8550平台的高算力AI模组上,成功运行了一系列大语言模型,包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展现出卓越的边缘端大模型部署能力。
2023-11-14 14:39:251092

走向边缘智能,美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型

近日,美格智能发挥软硬件一体协同开发能力,融合阿加犀卓越的AI优化部署技术,在搭载高通QCS8550平台的高算力AI模组上,成功运行了一系列大语言模型,包括LLaMA-2、通义千问Qwen、百川
2023-11-14 14:34:05582

AI模型接入手机,行业迎来新一轮竞赛

选择端侧部署,看上去最划算 当前,AI模型接入手机存在两种选择:云端部署和端侧部署。 目前,大多数厂商选择在端侧部署轻量级大模型,而在云端部署的则是千亿级AI模型。 为了平衡
2023-12-05 10:11:321029

NVIDIA与恩智浦联手,在边缘设备上部署AI模型

恩智浦工业及IoT边缘高级副总裁Charles Dachs表示,人工智能的创新将塑造智能互联世界的未来,融入Nvidia先进的AI培训技术以及恩智浦在工业及物联网边缘科研实力,将产生协同效益,让用户能更迅速地将自家AI模型推向市场。
2024-03-25 16:05:551110

企业AI模型部署怎么做

AI模型部署作为这一转型过程中的关键环节,其成功实施对于企业的长远发展至关重要。在此,AI部落小编为您介绍企业AI模型部署的步骤以及注意事项。
2024-11-04 10:15:49511

AI模型托管原理分析

AI模型托管是指将训练好的AI模型部署在云端或边缘服务器上,由第三方平台提供模型运行、管理和优化等服务。以下,AI部落小编将对AI模型托管的原理进行详细分析。
2024-11-07 09:33:50524

AI模型部署和管理的关系

AI模型部署与管理是AI项目成功的两大支柱,它们之间既相互独立又紧密相连,共同推动着AI技术从实验室走向实际应用。
2024-11-21 10:02:17410

云端语言模型开发方法

云端语言模型的开发是一个复杂而系统的过程,涉及数据准备、模型选择、训练优化、部署应用等多个环节。下面,AI部落小编为您分享云端语言模型的开发方法。
2024-12-02 10:48:50409

企业AI模型部署攻略

当下,越来越多的企业开始探索和实施AI模型,以提升业务效率和竞争力。然而,AI模型部署并非易事,需要企业在多个层面进行细致的规划和准备。下面,AI部落小编为企业提供一份AI模型部署攻略。
2024-12-23 10:31:11523

DeepSeek模型成功部署,物通博联在 AI 赋能工业上持续探索、不断前行

近期,DeepSeek(深度求索)AI模型在全球引发广泛关注,其强大的自然语言处理和多模态分析能力,为各行各业带来了全新的智能化想象空间。 DeepSeek选择开源模型,允许开发者自由部署
2025-02-12 11:15:55446

研华边缘AI Box MIC-ATL3S部署Deepseek R1模型

随着深度求索(DeepSeek)大模型的发布引发行业热议,研华科技基于昇腾Atlas平台边缘AI Box MIC-ATL3S正式发布与Deepseek R1模型部署流程。该平台依托昇腾芯片的强大异构计算能力,结合研华边缘AI Box高可靠特点,通过模型轻量化、算子适配等技术实现模型边缘部署
2025-02-14 16:08:25969

云轴科技ZStack智塔携手昇腾AI实现DeepSeek模型部署

DeepSeek为人工智能AI产业带来一场革命,为企业级AI应用私有化部署场景(Private AI)注入强劲动力。作为企业级私有化AI Infra平台,云轴科技ZStack智塔携手昇腾AI实现
2025-02-18 09:59:31444

研华发布昇腾AI Box及Deepseek R1模型部署流程

近日,随着深度求索(DeepSeek)大模型的发布在行业内掀起热议,研华科技正式推出了基于昇腾Atlas平台的边缘AI Box MIC-ATL3S,并同步发布了与Deepseek R1模型部署流程
2025-02-19 10:41:40449

研华边缘AI平台测试DeepSeek蒸馏版模型的最新数据

随着Deepseek大模型的横空出世,预计对整个工业领域会产生颠覆性的影响力,尤其针对边缘部署部分独创动态剪枝与量化技术,DeepSeek大模型支持在边缘设备低功耗运行(最低适配5 TOPS算力硬件),推理速度能够提升3倍。
2025-02-24 10:40:08533

AI模型托管原理

AI模型托管的核心在于将训练好的AI模型部署在云端或边缘服务器上,由第三方平台提供模型运行、管理和优化等服务。下面,AI部落小编带您了解AI模型托管的原理。
2025-02-26 10:31:41330

Firefly 推出 NVIDIA Jetson 系列产品,赋能边缘计算行业

产品,以卓越的边缘计算能力和能效比,为AI模型边缘端的部署提供可靠的硬件支持。JetsonOrin系列NVIDIAJetson作为这些产品所搭载的核心模组,可
2025-03-12 16:32:39476

如何在RAKsmart服务器上实现企业AI模型部署

AI模型的训练与部署需要强大的算力支持、稳定的网络环境和专业的技术管理。RAKsmart作为全球领先的服务器托管与云计算服务提供商,已成为企业部署AI模型的理想选择。那么,如何在RAKsmart服务器上实现企业AI模型部署呢?
2025-03-27 09:46:28237

AI模型端侧部署正当时:移远端侧AI模型解决方案,激活场景智能新范式

AI技术飞速发展的当下,AI模型的应用正从云端向端侧加速渗透。 作为全球领先的物联网整体解决方案供应商,移远通信凭借深厚的技术积累与前瞻性的战略布局,在AI模型端侧部署的赛道上率先发力,其端侧
2025-03-27 11:26:29176

157 TOPS 算力!AIO-OrinNX 主板助力边缘 AI 应用

Firefly最新推出NVIDlAJetsonOrin主板,搭载JetsonOrin系列核心模组,算力最高可达157TOPS,支持大模型私有化部署,为边缘AI应用的开发与部署提供强劲的算力支持
2025-04-02 16:33:43683

意法半导体边缘AI套件中提供的全部工具

意法半导体边缘AI套件(ST Edge AI Suite)是一套专为边缘AI开发设计的集成化工具集合,覆盖从数据采集、模型优化到硬件部署的全流程。以下是该套件提供的核心工具及其功能解析: 一、核心
2025-04-21 17:46:48362

已全部加载完成