深蕾半导体ASTRA AI详细介绍

一、ASTRA AI是什么

ASTRA AI芯片是一种集成了多种计算单元（包括NPU/uNPU、GPU、CPU、DSP等）的异构计算系统级芯片（SOC），专为处理复杂的人工智能（AI）任务而设计。这种设计使得ASTRA AI芯片能够在单个芯片上高效地执行多种不同类型的计算任务，从而满足各种AI应用场景的需求。

二、主要组成部分解析

1.NPU/uNPU（Neural Processing Unit/micro Neural Processing Unit）

NPU是专门用于神经网络加速的处理器，能够高效执行深度学习算法中的矩阵运算和卷积操作。

uNPU指的是微型的NPU，设计用于处理较小规模的神经网络或嵌入式系统中的AI任务，以节省功耗和成本。

2.GPU（Graphics Processing Unit）：

GPU原本用于图形渲染，但因其强大的并行处理能力，现在也被广泛用于AI计算，特别是加速大规模矩阵运算和图像处理。

3.CPU（Central Processing Unit）：

CPU是系统的主控中心，负责执行各种指令，包括操作系统、应用程序以及AI任务的调度和管理。

4.DSP（Digital Signal Processor）：

DSP专门设计用于处理数字信号，如音频和视频数据。在AI应用中，DSP可以加速信号处理和特征提取等任务。

三、多模态AI算法支持

ASTRA AI芯片支持多模态AI算法，意味着它能够同时处理来自不同来源和类型的数据，如图像、语音、文本等。这种多模态处理能力对于构建复杂、全面的AI系统至关重要，因为它可以整合来自多个传感器的信息，从而做出更准确的决策。

1.视觉算法：用于图像识别、物体检测、场景理解等任务。

2.语音算法：支持语音识别、语音合成、情感分析等语音处理任务。

3.大模型支持：能够接入并高效运行各种大型AI模型，如深度学习模型、自然语言处理模型等，从而满足复杂应用场景的需求。

四、本地AI算力平台五大特点

为了满足构建新一代智能物联网设备的客户需求，深蕾半导体推出了可扩展的智能边缘处理器产品组合Astra系列。全新的Astra本地AI算力平台产品具备五大特点助力客户构建新一代智能物联网产品：

差异化计算解决方案

提供一系列节能多模的AI MPU芯片，以及高性能AI及MCU，为家庭自动化、智能家电、过程控制、可穿戴设备、安全、数字标牌、流媒体和企业会议等市场应用提供可扩展的、差异化的计算解决方案。

自适应AI框架

通过开放、跨平台、工具化、建模和优化的自适应AI框架，从 “让人工智能发挥作用” 变为 “与人工智能合作”。

统一的软件体验

全面的板级支持包（支持Linux，Android和领先的RTOS）提供开放、一致的跨平台体验。它基于标准的操作系统接口、安全架构和加速方法构建。用户可以基于熟悉的开发环境缩短评估和决策周期

广泛的合作伙伴解决方案生态系统

客户可以与行业领先的合作伙伴公司（从ODM和ISV到服务提供商和系统集成商）一起构建市场就绪的系统和解决方案堆栈。从用于企业和消费市场的单板计算机、流媒体、平板电脑、显示器和用于教育和商业的交互式 A/V 会议系统，到支持计算的连接模块，ASTRA产品系列使各种物联网平台成为可能。

优秀的无线连接性能

业界一流、行业认可的无线连接性能，支持Wi-Fi、蓝牙、BLE、802.15.4和GPS/GNSS等，并通过标准的 Linux 和 RTOS 软件框架和协议（如 Matter）实现。

五、支持多种方式接入AI推理

1.HDMI RX：通过HDMI接收接口，ASTRA可以接入高清视频信号，进行视频内容的实时分析和处理。这种方式适用于需要处理高清视频输入的场景，如安防监控、视频会议等。

2.MIPI/USB摄像头：MIPI和USB是两种常见的摄像头接口标准。ASTRA支持通过这两种接口接入摄像头，获取实时视频流，并应用AI算法进行图像识别、目标跟踪等任务。这种方式在自动售卖机、智慧零售等领域有广泛应用。

3.RTSP/RTMP流：RTSP（Real Time Streaming Protocol）和RTMP（Real Time Messaging Protocol）是两种常用的流媒体传输协议。ASTRA支持通过这两种协议接入网络视频流，进行远程视频内容的分析和处理。这种方式适用于需要处理网络视频内容的场景，如远程监控、在线教育等。

4.本地视频播放：ASTRA支持对存储在本地设备上的视频文件进行播放和分析。这种方式适用于需要处理本地视频文件的场景，如视频编辑、视频内容审核等。

5.静态图像：ASTRA还支持对静态图像进行分析和处理。这可以用于图像识别、图像分类、图像增强等多种应用场景。

6.麦克风：通过麦克风接入，ASTRA可以接收音频信号，进行语音识别、语音合成等任务。这在智慧客服、智能家居等领域有重要应用。

六、芯片系列以及典型应用场景

ASTRA AI芯片系列中，包含了SL1680型号、SL1640型号、SL1620型号、SR110型号。应用场景有：

1.自动售卖：通过接入摄像头和麦克风，ASTRA可以实时分析顾客的行为和需求，优化商品陈列和售卖策略。

2.智慧显示牌：结合视频流和静态图像的处理能力，ASTRA可以根据环境变化和观众需求动态调整显示内容，提升用户体验。

3.安检设备：通过对行李、人员等物品进行图像识别和分析，ASTRA可以帮助安检人员快速发现潜在威胁，提高安检效率。

4.缺陷检测：在工业生产线上，ASTRA可以对产品进行实时图像检测，发现缺陷并及时报警，确保产品质量。

5.事件预警：结合视频流和音频信号的分析能力，ASTRA可以实时监测环境中的异常情况，并及时发出预警信号。

6.自动化运维：ASTRA可以通过对系统日志、监控视频等数据的分析，帮助运维人员快速定位和解决问题，提高运维效率。

7.多媒体交互：通过语音识别和合成技术，ASTRA可以实现与用户的自然语言交互，提供更加便捷和智能的服务体验。

8.视频内容分析：ASTRA可以对视频内容进行深度分析，提取关键信息并生成分析报告，为决策提供有力支持。

综上所述，

ASTRA凭借其强大的AI推理能力和多样化的接入方式，

在多个领域都有着广泛的应用前景。

审核编辑 黄宇