ZNSR-X02型人工智能综合实验箱（昇腾版）

一、产品概述

实验箱面向人工智能相关专业，集成了计算机视觉系统、语音处理系统、机械手臂、以及手势传感器、温湿度传感器、大气压传感器等多种嵌入式应用模块，通过搭建边缘计算终端，为人工智能专业相关的应用开发提供统一的通讯协议和接口。实验箱基于Linux操作系统，采用Python语言进行课程资源的开发，适用于人工智能方向多门课程的教学和实践。

二、产品功能和特点

1.开放性实验环境

实验代码可在Jupyter Notebook环境下进行。

2.开放全部源代码

开放全部软件框架和算法级源代码，支持二次开发，提供完善的实验指导书和技术文档，并提供产品相关软硬件的架构与设计方法文档。

3.AI+视觉分拣

机械臂与视觉系统结合，可以对不同尺寸、外观的目标进行识别，实现目标分拣、智能码垛等人工智能基础实训项目，还可以基于深度学习模型，完成多种复杂物体的识别，开展企业级项目的实战训练。

4.AI+深度视觉

深度视觉与传统的2D视觉相比，可以实现物体的高度测量、距离测量、轮廓检测等，因此，可以完成障碍物距离检测、活体识别、目标跟踪等综合实验实训。

5.AI+语音处理

声源定位麦克风支持声音检测、智能语音识别、声源定位、波束成形等功能，在与AI处理器的交互下，可实现声场的空间特性采样，从而引导机械臂根据声音的指令执行指定动作。

6.AI+嵌入式传感器

提供温湿度传感器、运动传感器、气压传感器、光线传感器等12种嵌入式传感器，可以开展人脸监测与动态跟踪系统、人脸识别门禁系统、智能声控系统、智能温控系统等嵌入式方向的综合实验实训。

三、主要硬件参数

1.边缘计算终端

边缘计算终端采用华为公司的昇腾Atlas 200I DK A2开发者套件，套件基于华为昇腾310系列AI处理器，针对AI场景进行开发，以此作为实验箱的核心模块。其预装Linux操作系统，部署所有智能产品模块所需的全部软件框架和SDK，并提供通用的通讯接口。

2.2D视觉系统

2D视觉系统采用一颗30万像素摄像头，可兼容ubuntu，linux和树莓派等操作系统。单独使用时，可对视野中的静态目标进行图像采集，进行基础的图像处理工作；与机器人协同使用时，通过视觉标定，可对机器人的动作进行引导，搭建机器人+视觉的执行系统，完成多种丰富的功能。

3.深度视觉系统

深度视觉采用一颗100万像素深度体感摄像头，可兼容ubuntu，linux和树莓派等操作系统，兼容USB3.0接口协议，可进行深度信息感知、人脸识别与测距等。

4.语音识别单元

采用可编程式麦克风阵列模块，支持声音识别、交互智能语音识别、声源定位、波束成形等功能。麦克风阵列是由一定数目的声学传感器（麦克风）组成，可用来对声场的空间特性进行采样并处理的系统。由于在复杂的声学环境下，噪声与语音信号在时间和频谱上常常是相互交叠的，再加上回波和混响的影响，利用单麦克风捕捉相对纯净的语音非常困难，而麦克风阵列融合了语音信号的空时信息，可以同时提取声源并抑制噪声。

5.机械手臂

机械手臂采用STM32单片机进行运动控制，Open Source CV为图像处理库，主流的Jupyter Lab为开发工具，使用Python3为主要编程语言。计算机视觉系统可与机械手臂搭建“手眼合一”的机器人视觉系统，从而使得机器人更具灵活性。机器人不仅可以实现颜色识别跟踪与抓取，还能与人体特征识别互动，非常适合用于基础教学相关的应用实践。

6.嵌入式传感器

嵌入式传感器主要由超声波传感器、人体检测传感器、温湿度传感器、心率传感器、气压传感器、数码管、蓝牙模块、陀螺仪、声音检测传感器、光线检测传感器等组成。每一个传感器均可与边缘计算终端连接，根据用户编辑的功能执行相应的动作。

7.高清显示屏

实验箱采用17英寸高清屏。

四、实验项目

1 Python程序设计

（1）数字类型、转换、运算

（2）Python运算符、内置函数、序列基本用法

（3）程序选择结构实验

（4）程序循环结构实验

（5）列表实验

（6）集合实验

（7）函数实验

（8）字符串实验

（9）正则表达式实验

（10）数据可视化

（11）Python的数据处理

（12）Python文件操作

（13）Python多进程

（14）Python多线程

（15）Python进程与线程的区别

（16）Python面向对象的理解

（17）Python类的使用与类的实例化

（18）Python实例化对象的使用

（19）Python类的继承使用

（20）基于Python的串口通讯

（21）基于Python的SocketTcp通讯

（22）基于Python的SocketUdp通讯

（23）基于Python的Modbus通讯

（24）PyQt5的环境搭建

（25）PyQt5的使用

（26）Qt Designer与PyUIC的使用

2 机器学习

（1）基于线性回归的波士顿房价预测

（2）基于K近邻算法的电影类型识别

（3）基于K均值算法的未知数据分类

（4）基于决策树的乳腺癌诊断

（5）AdaBoost电影数据集数据分类

（6）基于EM推理的双硬币抛掷模型验证

（7）基于朴素贝叶斯的垃圾邮件过滤

（8）基于随机森林的人脸识别系统设计

（9）基于支持向量机的动态行人检测

3 深度学习

（1）线性回归建模与应用——房价预测实验

（2）神经网络的模型构建与应用——服装分类实验

（3）神经网络正则化——服装分类优化实验

（4）神经网络参数优化——非线性函数极小值寻找实验

（5）基于神经网络的模型构建与测试实验

（6）基于残差网络的优化模型设计

（7）神经网络优化器——手写数字识别

（8）文本分类——京东购物分类

（9）基于LeNet手写数字体识别系统设计

（10）基于RNN歌曲自动编曲设计

（11）基于YOLOV5的目标检测模型训练

（12）基于Tensorrt加速的Yolov5模型部署（英伟达）

（13）基于ais_bench加速的om模型推理（昇腾）

4 数字图像处理

（1）图像之间代数运算

（2）图像操作之打码与解码

（3）图像的几何仿射变换

（4）图像空域滤波

（5）图像的频域滤波

（6）基于形态学的米粒检测

（7）基于Canny算法的图像抠图

（8）基于分水岭的图像轮廓分割

（9）基于Hu矩形状匹配

5 机器视觉

（1）视觉系统认知

（2）像素尺寸测量

（3）物体定位和角度测量

（4）边缘长度测量与面积检测

（5）物体颜色和形状识别

（6）条码和二维码识别

（7）OCR字符分割、训练

（8）OCR字符识别

（9）基于形态学处理的产品表面缺陷检测

（10）相机棋盘格标定

（11）基于opencv的车牌识别

（12）基于模板匹配的电子产品识别

（13）基于视觉的车牌识别

（14）基于视觉的条形码识别

（15）基于视觉的二维码识别

（16）基于视觉的物体形状颜色识别

（17）基于视觉的水果识别

（18）基于图像的NanoDet目标检测模型实践（英伟达）

（19）基于视觉的工件缺陷检测

6 深度视觉

（1）人脸检测与测距

（2）人脸检测与云台跟随

（3）人脸检测和识别

（4）口罩检测

（5）动态行人检测

7 嵌入式系统及应用

（1）智能传感系统认知

（2）Aduino编程环境的搭建

（3）oled显示实验

（4）人体雷达检测实验

（5）光照度检测实验

（6）心率检测仪实验

（7）超声波测距仪实验

（8）智能交通灯控制实验

（9）风扇调速控制实验

（10）基于陀螺仪的姿态体感云台控制

（11）基于蓝牙的智能安防系统设计

8 语音处理与传感器控制

（1）音频录制

（2）音频识别

（3）实时语音识别

（4）基于语音的智能传感器控制

（5）基于语音的机械臂控制

（6）基于视觉与语音的机械臂物体分类

9 基于视觉的机器人应用

（1）机械臂认知和基础操作

（2）机械臂示教和运动控制

（3）机械臂与视觉系统标定

（4）基于视觉的机械臂目标分类

（5）基于视觉的机械臂物体码垛

（6）基于视觉的机械臂数字排序

（7）基于视觉的机械臂水果分类