北京革新创展科技有限公司-边缘智能应用竞赛平台方案

一、总体描述：
边缘智能应用竞赛平台是面向人工智能等相关专业的学科基础知识和专业技术教学平台产品。实验平台通过人工智能技术教学分解与典型行业案例实战，掌握人工智能计算机视觉、边缘计算、终端感知控制等相关人工智能知识。
边缘智能应用竞赛平台围绕人工智能实际教学场景进行一体化设计，减少教师、学生课前实验准备时间，降低课后收纳规整管理难度。平台由NLE-AI800嵌入式人工智能核心开发板、图像采集模块、语音采集模块、指纹采集模块、执行器等硬件模块组成。开发板基于边缘计算芯片，具有高可扩展性和强大的AI计算能力，支持多sensor输入，集成丰富的硬件接口，内置各类深度学习算法，支持模型重训、模型评估，支持构建算法应用，NLE-AI800开发板的功能强劲表现为算法识别延迟低、可满足端末同时处理多个算法需求、实现人体骨骼检测与可视化显示的性能要求，支撑从教学、应用到科研技术方案支撑。
边缘智能应用竞赛平台提供物品分类识别、物品目标检测、人脸识别、人脸多属性分析、车牌识别、车位检测、人体骨骼点检测七个典型计算机视觉算法的技术认知和教学分解，同时基于七个典型计算机视觉算法结合智能语音、采集控制设备，提供了疫情防控、智能停车场、智能垃圾分类、趣味明星脸、智能家居五个典型人工智能实战案例。
平台以终端互动体验、关键技术分解和实战案例为导向，进行人工智能能力递进教学，支持JupyterNotebook方式进行分段式代码片段教学，支持联动控制实验设备远程运行，内容便捷分享，通过教学实训系统代码编程学习进行基本编程技能教学，通过丰富的应用项目实践学习进行综合编程技能教学，由浅入深对学生能力结构进行培养。

二、系统组成：
边缘智能应用竞赛平台由硬件、软件、教学资源3大部分组成。
（1）硬件部分为一体式实验平台设计，使用防撞箱进行收纳，形态小巧、摆放收纳灵活，便于与PC机搭配在学校实训室进行实验教学。主要部分由NLE-AI800开发板与图像采集模块、语音采集模块、指纹采集模块、执行器模块组成。
（2）软件部分包含有平台配套的实训系统、数据标注工具、Jupyter开发与深度学习训练环境等。实训系统对实验平台的核心功能进行可视化呈现和实战案例展示，主体分为AI算法模块基础能力和AI应用案例展示。AI算法模块基础能力对多个算法进行技术关键步骤分解教学，包含物品分类识别、物体目标检测、人脸识别、车牌识别和人脸属性识别。AI应用案例展示使用多算法技术与环境感知采集技术、执行器控制技术进行集成应用到典型行业场景中，通过项目案例将AI基础技术与应用进行融合赋能行业，掌握行业应用开发相关技能。
数据标注工具软件支持图像标注、语音标注、文本标注、视频标注等，标记的基本形式有标注画框、3D画框、文本转录、图像打点、目标物体轮廓线等。数据标注是数据标注人员借助标注工具，对人工智能学习数据进行加工处理，转换为机器可识别信息的过程。
Jupyter开发与深度学习训练环境是通过工具化的方式简化学生在数据处理、模型训练、模型预测与部署过程中对复杂环境与参数设置的要求。
（3）教学资源包含项目化实验指导书，指导书包含5个项目化章节，以“使用OpenCV人脸检测、计算机视觉算法实现图像识别、边缘硬件控制、基于人脸检测算法实现家用设备控制、基于计算机视觉技术实现稻麦监测系统”，对应讲述“OpenCV图像处理、图像识别算法应用、边缘硬件控制、计算机视觉模型应用、TensorFlow深度学习实践技术”等人工智能嵌入式技术应用关键任务。

2.1 硬件组成
AI核心开发板
（1）CPU：多核ARM64位处理器；
（2）GPU：双核ARM Mali处理器，支持OpenCL 1.1/1.2/2.0，支持OpenGL ES 3.0/3.1/3.2；
（3）AI加速单元：支持8bit/16bit运算，支持TensorFlow、Caffe模型，运算性能可达3.0TOPs；
（4）内存：LPDDR4 4G；
（5）存储器：Emmc5.1,32GB；
（6）编码能力：最高支持到H264/H.265 7680x4320@30fps,最高支持到7680x4320@15fpsJPEG解码；
（7）输出能力：支持HDMI2.0、最大4K@60fps输出，支持MIPI CSI，DSI输出，支持6/8/16/24bitRGB数字LCD输出，最高分辨率支持1920x1080@60fps输出；
（8）有线通讯：1路千兆以太网口，支持POE受电;
（9）无线通讯：WiFi、蓝牙4.0、4G，支持5G扩展；
（10）串行接口：RS232、RS485，支持Micro USB的U转调试串口；
板载接口/GPIO：带PCIE,可接1*I2S、2*I2C、ADC1_CHO、ADC1_C H1、1*PWM、2*SPI，支持中断编程，3路电源（12V\5V\3.3V）。

高清摄像头
（1）800万像素;
（2）对接方式：USB2.0免驱动;
（3）模块支持自动曝光控制AEC;
（4）支持自动增益控制AGC;
（6）支持自动白平衡。
（7）支持自动对焦功能。
（8）功耗5V供电，低于2.5W
（9）图像色彩：彩色

触摸屏
（1）搭载10寸1920*1080 IPS屏10点触控电容屏；
（2）提供178°水平可视角度；
（3）提供350cd/㎡显示亮度；
（4）提供800：1（动态）的对比度；
（5）内置音箱HDR；
（6）工业级铝合金屏外壳。

麦克风阵列
（1）直径85mm；
（2）输入电压：DC 5V
（3）支持360度拾音
（4）音频输出：1*USB，兼容烧写和通信口
（5）工作电压：3.3V
（6）工作电流：20-50mA
（7）支持串口通信

指纹采集模块
（1）指纹存容量 300枚
（2）工作电压 3.0-3.6V
（3）工作电流 3.-60mA
（4）USB通讯 2.0FS
（5）传感器图像大小 256*288pixel

人体测温模块
（1）通讯方式：Uart
（2）波特率：9600
（3）半径：13mm

执行器模块
（1）24V继电器组（4路）*2；
（2）三色灯：红、蓝、绿各1个
（3）迷你小风扇；

视觉实验模块
包含人偶模型、动物模型、水果模型、交通工具模型。

2.2 软件组成
实训系统基础能力教学系统
提供物品分类、物品目标检测、人脸识别、人脸多属性分析、车牌识别等端上模型推理应用，以知识拆解的方式进行展开；提供项目教学案例，包含智能家居、疫情防控站等多算法复合应用。

疫情防控案例
案例基于疫情环境下，对进入小区人员进行体温与是否戴口罩检测，同时将检测数据上报到云平台，云平台提供数据接口，可供类似疾控中心或疫情防控中心进行接入获取数据与数据分析。项目使用人工智能开发板、摄像头、红外热像仪等，项目以人脸口罩识别、体温检测为主，主要采用计算机视觉、深度学习算法、物联网等技术。

智能停车场案例
智能停车场案例基于停车场应用场景，基于人工智能计算机视觉技术，通过对车辆进行车牌识别，构建的智能停车场管理系统，主要功能包含车辆注册、车牌识别、车辆权限控制、门锁控制、LED灯控制、语音播放，并实现了对车库出入记录管理。

智能垃圾分类案例
智能垃圾分类案例基于人工智能物体分类检测技术，通过对可回收垃圾（如矿泉水瓶）、厨余垃圾（如菜叶、鸡蛋壳）、干垃圾（如卫生纸巾、烟盒）、有害垃圾（如：电池、灯泡），主要功能包含了通过摄像头识别检测物体，显示垃圾对应的名称，截取出对应的垃圾物体图片，通过动画形式分别放置到对应的垃圾桶。

趣味明星脸案例
趣味明星脸案例基于人工智能人脸识别技术，案例通过人脸识别，与明星人脸特征库进行匹配，得到相似度最高的明星人物，达到娱乐趣味性。

智能家居案例
智能家居案例基于人工智能计算机视觉、深度学习算法，开发的一款具备智能开锁、远程开关门、远程开关灯、安防警报等功能。案例使用人工智能开发板、摄像头、人体红外传感器、风扇、报警灯等设备；项目以智能家居安防为主，同时提供浴室魔镜趣味功能。

Jupyter教学实验平台
Web应用程序的交互式笔记本，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和markdown。

数据标注工具
支持图像、文本和视频等多种标注形式，包含图像分类，矩形
框，多边形，曲线定位，3D定位文本分类，文本实体标注，视频跟踪等；支持导出支持主流数据集格式，支持PascalVoc（与ImageNet采用的格式相同）和CoreNLP等标准。

深度学习训练环境与AI应用开发环境
提供TensorFlow深度学习训练环境、集成开发环境Pycharm系统安装镜像。深度学习训练环境用于模型训练、模型编译、模型转换、模型部署。集成开发环境Pycharm用于使用已完成训练的模型进行应用开发。

2.3 教学资源
产品配套项目化实验指导书，教材以行业应用知识需求为导向，强化培养学生硬件编程与计算机视觉等人工智能技术相结合的实践技能，将理论教学与实践教学进行结合，以嵌入式技术平台为核心，展开丰富的实验教学。
嵌入式人工智能技术应用课程提供丰富的算法案例，包括分类识别、目标检测、车牌识别、人脸识别、人脸多属性分析等算法应用。基于嵌入式技术平台的高性能配置，可以展开多算法同时处理的深度应用，也可展开较为复杂的算法模型应用，如趣味明星脸、疫情防疫站等。同时配套开发环境和深度学习环境镜像，以及数据标注工具和模型训练工具，灵活选择PC端学习或者平台端学习路径。配套了《嵌入式人工智能技术应用》、《边缘智能计算应用》两套教学资源
1、《嵌入式人工智能技术应用》大纲：
1）课程提供图像处理相关开发教学资源，包括图像读取与保存，使用OpenCV调用视频流，视频录制与读取，使用OpenCV人脸识别算法检测等。
2）课程提供人工智能计算机视觉相关算法应用开发教学资源，包括人脸检测实验、图像识别、AI边缘硬件控制、计算机视觉技术实现稻麦监测系统等。
2、《边缘智能计算应用》大纲：
1）课程提供主流深度学习框架Tensorflow、Pytorch进行模型搭建、模型训练、模型转换、模型部署、模型推理等。
2）课程提供边缘计算开发板基础应用、边缘计算算法SDK应用、基于TensorFlow的图像上色模型部署、基于Pytorch目标检测模型部署、基于TFLite的手掌检测模型部署等课程内容。