ZNJ-QL08型机器人大模型与视觉协同控制平台

一、产品概述

该平台以视觉系统和协作机器人为核心，通过在运算单元中部署人工智能软件环境，赋予机器人对环境的感知能力和协同工作能力，进而实现基于人工智能技术的视觉+机器人教学应用场景。平台集成了图像处理技术、机器视觉技术、机器人运动控制技术，可为人工智能、机器人工程、自动化等专业提供一体化软硬件系统和教学解决方案。另外，运算单元中实现了DeepSeek、Qwen等开源大模型的本地化部署，支持大模型技术开发、大模型+视觉、大模型+语音、大模型+机器人等多个行业场景的应用实践。

二、功能与应用场景

1.开放性实验环境

实验代码在Jupyter Notebook环境中编写。

2.开放全部源代码

开放全部软件框架和算法级源代码，支持二次开发，提供完善的实验指导书和技术文档，并提供产品相关软硬件的架构与设计方法文档。

3.部署本地大模型

完成了DeepSeek、Qwen等开源大模型的本地化部署，即部署于本机的运算单元中，除了可以开展大模型基础应用的学习外，还可以利用大模型和配置的视觉、语音、机器人、传感器等设备进行交互，面向如智能制造、智能家居、智慧农业等典型场景，开展应用实践。

4.视觉定位、检测与识别

视觉技术在实际应用中，通常有三个方向：定位（即计算目标位置，为机器人抓取提供引导）、检测（即检测目标的缺陷，如零部件划痕、缺角等，用于进行良次品分类）、识别（即识别目标的名称，如识别不同长度的螺杆，用于进行产品种类的分拣）。

本产品在不同的实训项目中，综合运用到了上述三类技术：可以通过视觉系统定位目标的位置，机器人准确抓取；也可以进行目标的缺陷检测，由机器人进行次品剔除；还可以进行目标的尺寸测量或型态识别，由机器人完成目标的分类。用户可以在开源环境下进行自主开发，面向智能制造、智慧物流等多个场景，开展行业应用。

5.机器人手眼标定

为机器人引入视觉系统，使得机器人可进行自主的、智能化的运动，完成如零部件分类、物流搬运、码垛、物体分拣等功能。

手眼标定有两种方式：眼在手上、眼在手外。通常来说，对大目标或大范围多个目标的抓取，需要更大的视野，可以采取眼在手外的方式；对小目标的抓取，则可以采用眼在手上的方式。当然，还需要考虑到机器人的负载和安装空间，是否在末端安装了视觉系统后，仍能实现对目标的抓取。本产品采用了眼在手外的方式。

6.基于视觉的机器人应用

机器人与视觉系统结合，可以对不同尺寸、外观的目标进行识别，开展目标分拣、智能码垛、物体识别、字符识别等多种人工智能基础实训项目。

三、主要硬件参数

1.运算单元

采用一台高性能计算机，预装Linux或Windows操作系统，部署DeepSeek、Qwen等开源大模型，并集成Python、OpenCV等运行环境，以及产品运行所需的全部软件框架和SDK，支持数字图像处理、机器视觉、机器人、大模型等硬件或应用的开发和学习。

2.机器视觉系统

机器视觉系统即一套标准工业级视觉系统，包括工业相机、镜头、LED光源、光源控制器等，通过视觉支架进行集成，安装于平台上方，为所有的静态目标检测、分析和处理提供实验的硬件环境。

3.协作机器人（完全开源）

该机器人是专为教育科研开发的一款产品，融合AI大模型技术，且完全开源，在电机控制上，开放电机、控制器与机器人关节之间的控制源码；在运动学算法上，开放底层运动学正逆解模型的源码。通过全方位的开源，用户可以从事机器人软硬件层面的各类科研、开发工作。

同时，机器人具有工业机器人的性能，提供多个拓展接口，支持视觉、语音、传感器等外设模块的接入，可应用于教学、科研、生产线集成、装配等领域。

4.实训与功能模块

该平台在功能设计上，既满足基础的机器人控制教学的需要，同时也满足视觉识别、手眼协同，以及更高层次的大模型+机器人应用的需求。

四、实验项目

1 Python程序设计

（1）数字类型、转换、运算

（2）Python运算符、内置函数、序列基本用法

（3）程序选择结构实验

（4）程序循环结构实验

（5）列表实验

（6）集合实验

（7）函数实验

（8）字符串实验

（9）正则表达式实验

（10）数据可视化

（11）Python的数据处理

（12）Python文件操作

（13）Python多进程

（14）Python多线程

（15）Python进程与线程的区别

（16）Python面向对象的理解

（17）Python类的使用与类的实例化

（18）Python实例化对象的使用

（19）Python类的继承使用

（20）基于Python的串口通讯

（21）基于Python的SocketTcp通讯

（22）基于Python的SocketUdp通讯

（23）基于Python的Modbus通讯

（24）PyQt5的环境搭建

（25）PyQt5的使用

（26）Qt Designer与PyUIC的使用

2 机器学习

（1）基于线性回归的波士顿房价预测

（2）基于K近邻算法的电影类型识别

（3）基于K均值算法的未知数据分类

（4）基于决策树的乳腺癌诊断

（5）AdaBoost电影数据集数据分类

（6）基于EM推理的双硬币抛掷模型验证

（7）基于朴素贝叶斯的垃圾邮件过滤

（8）基于随机森林的人脸识别系统设计

（9）基于支持向量机的动态行人检测

（10）基于深度学习的车道线检测系统设计

（11）基于CNN与SVM的交通标志的识别系统设计

（12）基于HOG与SVM的交通标志识别系统设计

3 深度学习

（1）线性回归建模与应用——房价预测实验

（2）神经网络的模型构建与应用——服装分类实验

（3）神经网络正则化——服装分类优化实验

（4）神经网络参数优化——非线性函数极小值寻找实验

（5）基于神经网络的模型构建与测试实验

（6）基于残差网络的优化模型设计

（7）神经网络优化器——手写数字识别

（8）文本分类——京东购物分类

（9）基于LeNet手写数字体识别系统设计

（10）基于RNN歌曲自动编曲设计

（11）基于深度学习的图像数据标注

（12）基于YOLOV5的目标检测模型训练

（13）基于YOLOV5的缺陷检测案例

4、数字图像处理

5、机器视觉

6、基于视觉的机器人应用

7、大模型技术基础

8、大模型+视觉应用案例

9、大模型+语音应用案例

五、综合实训

1.机器人的控制

2.AI+视觉自动仓储

3.基于AI的图象识别和抓取

4.机器人大模型调试与部署

5.具身智能技术开发与应用