一、平台核心理念

1. 面向综合实训和课程设计与毕业设计。

2. OpenCV、HalCon、VisionPro三种算法库的应用。

3. 结合python、C++平台，便于系统集成。

4. 平台借助于小型产线，模拟真实的工业场景。

二、核心架构与功能

1. 机器视觉核心模块

(1) 目标：实现工业级高精度感知与实时控制

(2) 多模态视觉感知系统

① 硬件架构：可控光源、面阵/线扫相机、背景、转盘+视觉机械臂 + AGV车载相机，支持2D、3D图像采集。

② 动态场景适配：相机升降单元 + 自适应推料机构，兼容传送带与静态检测场景。

(3) 全流程视觉检测

① 精密测量：电路板过孔尺寸、机械零件倾斜角（Halcon亚像素算法）

② 缺陷识别：划痕、油污检测（OpenCV+ResNet融合模型）

③ 实时定位：AGV动态导航二维码识别（康耐视Vision Pro技术）

2. 数据模型核心模块

(1) 目标：构建可解释、可部署的工业AI模型

(2) 数据智能中枢

① 特征工程：图像直方图统计、傅里叶频域分析、形态学特征提取

② 模型训练：支持TensorFlow、PyTorch框架，提供预置模型库（YOLOv8缺陷检测、LSTM时序预测）

③ 优化部署：模型剪枝量化（C++加速）、ONNX跨平台迁移

(3) 决策控制闭环

① 视觉-控制联动：机械臂逆运动学规划（MoveIt!）+视觉伺服纠偏

② 动态分拣策略：基于Q-learning的码垛路径优化模型

③ 异常预警：统计过程控制（SPC）模型实时监控产线良率

三、算法支持

1. 基础图像处理实验

(1) 目标：掌握图像处理核心算法原理与代码实现

(2) 图像增强与变换

① 基础操作：二值化（全局/自适应）、灰度化、直方图均衡化

② 空间变换：图像旋转（任意角度插值）、透视变换（仿射/投影校正）、镜像翻转

③ 滤波降噪：均值滤波、高斯滤波、中值滤波、双边滤波（支持OpenCV/Halcon）

(3) 特征提取与分割

① 边缘检测：Canny、Sobel、Laplacian算子（Python+OpenCV快速实现）

② 阈值分割：Otsu算法、自适应阈值分割（Halcon高精度版本）

③ 形态学处理：腐蚀/膨胀、开运算/闭运算、顶帽/底帽变换

2. 算法库专项实验

(1) 目标：深度掌握三大算法库在工业场景中的差异化应用

(2) OpenCV专项实验

① 模板匹配：多尺度金字塔匹配、旋转不变性优化（支持C++性能加速）

② 轮廓分析：计算重心/周长/面积、凸包检测、缺陷分析（凹/凸缺陷）

③ 高级算法：分水岭分割、种子生长算法、图像融合与拼接（无人机航拍案例）

(3) Halcon专项实验

① 亚像素精度：边缘亚像素提取、圆/直线拟合（精度达0.01像素）

② 3D视觉：基于立体视觉的深度图生成、点云数据处理（兼容工业相机）

③ Blob分析：连通域标记、形状筛选（支持复杂工件分类）

(4) 康耐视VisionPro专项实验

① 快速标定：九点标定法、手眼标定（机械臂视觉引导）

② 工具链应用：PatMax模板匹配、Cognex康耐视高鲁棒性检测

③ 实时性优化：多线程图像采集与处理（C++硬实时控制）

3. 工业场景综合实验

(1) 目标：模拟真实产线需求，解决复杂工程问题

(2) 精密测量类

① 尺寸测量：电路板过孔直径、排线间距测量（Halcon亚像素级精度）

② 角度检测：机械零件倾斜角度计算（最小误差±0.1°）

③ 形位公差：平面度、圆度、平行度分析（VisionPro几何工具库）

(3) 缺陷检测类

① 表面缺陷：划痕、斑点、油污检测（OpenCV+深度学习融合方案）

② 结构缺陷：标签缺失、引脚断裂、装配错位（Halcon形态学+差分检测）

③ 动态检测：传送带运动工件实时缺陷捕捉（C++多帧缓存优化）

(4) 智能识别类

① OCR应用：工业标签字符识别（支持模糊、倾斜文本校正）

② 目标分类：安全帽/口罩穿戴检测（TensorFlow模型嵌入式部署）

③ 多目标跟踪：AGV动态场景下的零件定位与追踪（OpenCV+KCF算法）

4. 教学与科研特色

(1) 分层实验体系：从基础函数调用（Python）到算法底层重构（C++）

(2) 虚实结合设计：支持模拟图像数据集训练+真实硬件验证（如缺陷检测模型迁移）

(3) 多算法库对比：OpenCV（开源灵活）vs Halcon（工业高效）vs VisionPro（商业闭环）

(4) 典型行业案例库：提供50+工业项目源码（如锂电池外观检测、汽车零件分拣）

四、实验内容

1. OpenCV算法相关

(1) opencv算法库基础实验

① 二值化

② 自适应二值化

③ 模板匹配

④ 图片模糊

⑤ 图像直方图

⑥ 透视变换

⑦ 傅里叶变化

⑧ 反傅里叶变化

⑨ 亚像素级的交点检测

⑩ 滤波

⑪ 图像旋转

⑫ 优化

⑬ 种子生长算法

⑭ 凹/凸缺陷

⑮ 物件轮廓边缘检测

⑯ 蛮力匹配

⑰ 分水岭算法

⑱ 金字塔算法

⑲ 炬算法（计算重心，周长，面积）

⑳ 图像融合实验

(2) Opencv算法库综合实验

① 电路板激光微孔深度及位置度检测

② FPC排线间距合规性检测

③ 微型封装电阻引脚共面性检测

④ 线束彩色编码顺序验证

⑤ 锂电池钢壳激光刻印字符实时读取

⑥ 手表玻璃表镜微划痕检测

⑦ 医械试剂瓶电子监管码标签气泡检测

⑧ 注射器针头斜面角度自动化测量

⑨ 汽车喷油嘴微孔毛刺堵塞检测

2. HALCON相关内容

(1) 基础算法实验

① 二值化

② 自适应二值化

③ 模板匹配

④ 图像模糊

⑤ 图像直方图

⑥ 透视变换

⑦ 傅里叶变换

⑧ 亚像素级检测

⑨ 滤波

⑩ 图像旋转

⑪ 优化算法

⑫ 种子生长算法

⑬ 凹/凸缺陷检测

⑭ 轮廓检测

⑮ 分水岭算法

⑯ 金字塔算法

⑰ 几何测量（重心/周长/面积）

(2) 综合工业检测实验

① 电路板激光微孔检测

② FPC排线间距检测

③ 微型电阻引脚共面性

④ 线束颜色编码验证

⑤ 锂电池字符读取

⑥ 手表玻璃划痕检测

⑦ 试剂瓶标签气泡检测

⑧ 针头斜面角度测量

⑨ 喷油嘴微孔检测

3. VisionPro相关内容

(1) 基础工具实验

① 二值化

② 自适应二值化

③ 模板匹配

④ 图像模糊

⑤ 直方图分析

⑥ 透视变换

⑦ 亚像素检测

⑧ 滤波

⑨ 几何测量

(2) 综合工业检测实验

① 电路板微孔检测

② FPC排线间距

③ 电阻引脚共面性

④ 线束颜色编码

⑤ 锂电池字符读取

⑥ 手表玻璃划痕检测

⑦ 试剂瓶标签检测

⑧ 针头角度测量

⑨ 喷油嘴