ZNSR-X04型机器视觉应用实验箱

一、产品方案设计

实验箱主要面向以数字图像处理和机器视觉为核心的课程实践，同时配置了2D视觉系统和深度视觉系统，采用Python语言进行图像和视觉应用的开发。其中，2D视觉系统可满足工程应用中常见的检测、识别、定位、测量等功能的开发，深度视觉系统可开展人脸识别、口罩识别、目标跟踪、距离测量等实践。学生可以自主设计视觉方案，对实际项目进行测试和研究。

二、软件平台和特点

1.开放性实验环境

实验代码可在Jupyter Notebook环境下进行，功能如下：

（1）教师与学生可以在浏览器上直接进行交互式编程实验；

（2）支持Markdown编辑，cell用于编码、书写文本，完成标题、数学公式等格式编辑，便于解释代码，适用于教学等场景；代码分隔到不同的cell里逐个调试，交互式监控测试变量值和类型；

（3）所提供的实验环境可通过在终端执行命令进行实验验证；

（4）所提供的实验环境支持多个学生调用不同模型进行样本的识别，满足不同实验项目的要求；

（5）所提供的实验环境可对多种深度学习框架进行支持，包括但不限于：TensorFlow、PyTorch等；

（6）教师可通过自由设置，将代码模块留空，交予学生进行编程训练。

2.开放全部源代码

开放全部软件框架和算法级源代码，支持二次开发，提供完善的实验指导书和技术文档，并提供产品相关软硬件的架构与设计方法文档。

3.图形化交互软件（仅Windows版）

2D机器视觉软件采用海康威视Vision Master视觉软件，图形化交互界面，功能图标直观易懂，采用拖拽式操作，可快速搭建视觉方案，模块运行状态独立标识，实时显示。

4.机器视觉和目标识别算法

采用开源OpenCV视觉库进行算法开发，可应用于物体识别、缺陷检测、证件识别、车牌识别、字符识别等多种场景，满足学生在深化视觉技术学习的过程中，对真实应用的开发需求。

5.深度视觉及应用

深度相机可实现物体的距离测量、轮廓检测等功能，与二自由度云台结合，可进行人脸识别、距离检测、目标跟踪等综合实验。

三、主要硬件参数

1.边缘计算终端

边缘计算终端采用英特尔系列处理器，该处理器作为实验箱的核心模块，预装Linux或Windows操作系统，部署所有智能产品模块所需的全部软件框架和SDK，并提供通用的通讯接口。

2.2D视觉系统

2D视觉系统采用一颗500万像素摄像头，可对视野中的静态目标进行图像采集，进行相关的图像处理工作，完成多种丰富的视觉检测和识别功能。

3.深度视觉系统

深度视觉采用一颗100万像素深度体感摄像头，兼容USB3.0接口协议，可进行深度信息感知、人脸识别与测距等。

4.视觉应用开发套件

实验箱配套提供视觉应用开发套件及相应的实验教具，主要包括形状颜色识别套件、尺寸测量套件、缺陷检测套件、运动目标识别套件、条码和二维码识别套件、证件字符识别套件，满足各类视觉课程的教学要求。

5.高清显示屏

实验箱采用17英寸高清屏。

四、实验项目

1 Python程序设计

（1）数字类型、转换、运算

（2）Python运算符、内置函数、序列基本用法

（3）程序选择结构实验

（4）程序循环结构实验

（5）列表实验

（6）集合实验

（7）函数实验

（8）字符串实验

（9）正则表达式实验

（10）数据可视化

（11）Python的数据处理

（12）Python文件操作

（13）Python多进程

（14）Python多线程

（15）Python进程与线程的区别

（16）Python面向对象的理解

（17）Python类的使用与类的实例化

（18）Python实例化对象的使用

（19）Python类的继承使用

（20）基于Python的串口通讯

（21）基于Python的SocketTcp通讯

（22）基于Python的SocketUdp通讯

（23）基于Python的Modbus通讯

（24）PyQt5的环境搭建

（25）PyQt5的使用

（26）Qt Designer与PyUIC的使用

2 深度学习

（1）线性回归建模与应用——房价预测实验

（2）神经网络的模型构建与应用——服装分类实验

（3）神经网络正则化——服装分类优化实验

（4）神经网络参数优化——非线性函数极小值寻找实验

（5）基于神经网络的模型构建与测试实验

（6）基于残差网络的优化模型设计

（7）神经网络优化器——手写数字识别

（8）文本分类——京东购物分类

（9）基于LeNet手写数字体识别系统设计

（10）基于RNN歌曲自动编曲设计

（11）基于深度学习的图像数据标注

（12）基于YOLOV5的目标检测模型训练

（13）基于YOLOV5的缺陷检测案例

3 数字图像处理

（1）图像之间代数运算

（2）图像操作之打码与解码

（3）图像的几何仿射变换

（4）图像空域滤波

（5）图像的频域滤波

（6）基于形态学的米粒检测

（7）基于Canny算法的图像抠图

（8）基于分水岭的图像轮廓分割

（9）基于Hu矩形状匹配

4 机器视觉

（1）视觉系统认知

（2）像素尺寸测量

（3）物体定位和角度测量

（4）边缘长度测量与面积检测

（5）物体颜色和形状识别

（6）条码和二维码识别

（7）OCR字符分割、训练

（8）OCR字符识别

（9）基于形态学处理的产品表面缺陷检测

（10）相机棋盘格标定

（11）基于opencv的车牌识别

（12）基于模板匹配的电子产品识别

（13）基于视觉的车牌识别

（14）基于视觉的条形码识别

（15）基于视觉的二维码识别

（16）基于视觉的物体形状颜色识别

（17）基于视觉的水果识别

（18）基于图像的NanoDet目标检测模型实践

（19）基于视觉的工件缺陷检测

（20）基于视觉的证件识别

5 深度视觉

（1）人脸检测与测距

（2）人脸检测与云台跟随

（3）人脸检测和识别

（4）口罩检测

（5）动态行人检测