外观
3D视觉引导方案介绍
1. 方案介绍
3D视觉引导方案通过3D相机捕捉和理解实际环境中目标物体和场景物体的三维信息，通过手眼标定确定3D相机与机器人之间的相对位姿关系，依靠 Pickwiz 视觉系统建立与3D相机和机器人之间实时可靠的数据传输，实现机器人的精准抓取，满足麻袋纸箱拆垛、无序抓取、有序上下料、定位装配等多种工业场景需求。
跨维采取2D识别和检测方法从场景中提取实例，运用3D定位从实例中提取特征信息并精准匹配，根据实际需求对识别和抓取相关函数进行配置，为不同作业场景定制了合适的视觉引导方案。
目前支持的2D识别方案和3D匹配方案如下表：
| 方案 | 模型 | 特点 | 缺陷 | 示例 |
|---|---|---|---|---|
| 2D识别方案： 从场景中分割出实例 | 通用模型 |
| 通用模型会检测出不需要的工件，为了仅保留想要识别的工件，需要进行实例过滤。 |    |
| 基于CAD的合成数据训练（一键联通） |
|
| 数据渲染：    真实推理：   | |
| 点云分割 |
|
|   | |
| 【研发中】基于CAD的实例检测 |
| 非标准产品能力，未开放 |   | |
| 3D匹配方案： 计算实例在相机坐标系下的姿态 | 基于掩膜的抓取点生成 |
| / |  |
| 基础几何形状拟合 |
| / |       | |
| 刚体变换 |
|
|        不适合场景：正反同形   | |
| 3D配准 | 适用于不同类型、形状或尺寸的工件，适用几乎所有场景 |
|   | |
| 【研发中】关键点生成&刚体变换 | 适用于深度图边缘清晰或2D图像具有彩色纹理特征的工件 |
|   |
除此以外，跨维充分考虑到不同工业场景的特殊需求，为3D视觉引导方案提供了一些可选功能：
视觉分类：利用2D深度特征，对实例进行分类。使用请参考 视觉分类使用指南
原理：调用PickWiz 识别时，人工选取和分类图片，提取图片的深度特征信息，建立类别数据库。调用 PickWiz 识别时，提取输入图片的特征，和数据库的特征进行比对，找到最符合实例图片的类别。
应用场景 ：麻袋/纸箱分类，工件朝向分类，工件正反分类等
识别类型：使用一键联通，训练能够识别多种物料的深度学习模型，适用于工件种类较多且形状相似的场景。使用请参考 识别类型使用指南
碰撞检测：检测末端工具与料框的碰撞，避免机器人抓取过程中与料框发生碰撞。使用请参考 碰撞检测使用指南
原理：提取实际场景的料框点云，根据场景物体中输入的料框尺寸、利用四边形拟合的方式计算得到料框的模板点云，然后将拟合得到的模板点云与实际场景的料框点云进行精匹配得到最终的料框姿态。
可以允许料框有较大范围移动。
不支持形变料框（内凹或者外凸）。
识别正反（通过点云模板）：设置两个工件模板点云，估计两个模板的姿态，最后输出分数最高的姿态。常用于来料时工件朝向不一致，可能是正面朝上，也可能是反面朝上的场景。使用请参考 识别正反（通过点云模板）使用指南。
识别局部特征：在不同工件之间以及同一工件在不同形变下，工件上的某个局部特征基本不变，那么可以通过这个局部特征来定位工件。使用请参考 识别局部特征使用指南
实例优化：使用大模型优化模型识别后的掩膜，常用于通用模型/一键联通视觉模型 识别后，实例掩膜不全/过多的场景。使用请参考 实例优化使用指南
隔板和底托检测：在工件抓取结束后进行隔板和底托的抓取。使用请参考 隔板和底托检测使用指南
2. 方案选型
请根据生产场景和工件类型，在 PickWiz 中选择合适的作业类型：
每个作业类型应用的2D识别方案和3D匹配方案如下表：
| 场景 | 作业类型 | 现场要求 | 2D识别方案 | 3D匹配方案 | |
|---|---|---|---|---|---|
| 拆垛 | 麻袋单拆 | 单一类型的麻袋，内部填充，避免空袋 | 通用麻袋模型 | 基于掩膜的抓取点生成 | |
| 纸箱单拆 | 单一类型的纸箱，避免紧密贴合、高反光胶带 | 通用纸箱单拆模型 | 基于掩膜的抓取点生成 | ||
| 有序上下料 | 通用工件有序上下料 | 工件正反面区别较大、有序摆放，来料单一，工件一致性高，能获取工件 CAD | 基于CAD的合成数据训练（一键联通） | 刚体变换 | |
| 基于圆面的有序上下料 | 圆面工件、有序摆放，点云质量较高、边缘清晰工件 | 通用圆模型 | 圆形状拟合 | ||
| 面型工件有序上下料 | 面型工件、有序摆放，工件一致性高，能获取工件 CAD | 基于CAD的合成数据训练（一键联通） | 3D 配准 | ||
| 面型工件有序上下料（并行化） | 面型工件、有序摆放、工件一致性高，能获取工件 CAD | 基于CAD的合成数据训练（一键联通） | 3D 配准 | ||
| 面型工件有序上下料（图像匹配） | 面型工件、有序摆放、工件一致性高，能获取工件 CAD | 基于示例的实例分割 | 特征匹配 | ||
| 基于圆柱的有序上下料 | 圆柱工件、有序摆放，点云质量较高、边缘清晰工件 | 圆柱的高和半径之比不超过4：1 | 通用短圆柱模型 | 圆柱形状拟合 | |
| 圆柱的高和半径之比超过4：1 | 通用长圆柱模型 | 圆柱形状拟合 | |||
| 基于四边形的有序上下料 | 平面四边形工件，有序摆放，来料单一，平面平整，边缘清晰工件 | 通用四边形模型 | 四边形拟合 | ||
| 无序抓取 | 通用工件无序抓取 | 工件正反面区别较大、无序摆放，工件一致性高，能获取工件 CAD | 基于CAD的合成数据训练（一键联通） | 刚体变换 | |
| 面型工件无序抓取 | 面型工件、无序摆放，工件一致性高，能获取工件 CAD | 基于CAD的合成数据训练（一键联通） | 3D 配准 | ||
| 面型工件上下料（物料相互孤立） | 工件之间相互分离、工件点云无任何粘连 | 点云分割 | 3D 配准/ 基于掩膜的抓取点生成 | ||
| 基于圆面的无序抓取 | 圆面工件、无序摆放，点云质量较高、边缘清晰工件 | 通用圆模型 | 圆形状拟合 | ||
| 基于圆柱的无序抓取 | 圆柱工件、无序摆放，点云质量较高、边缘清晰工件 | 圆柱的高和半径之比不超过4：1 | 通用短圆柱模型 | 圆柱形状拟合 | |
| 圆柱的高和半径之比超过4：1 | 通用长圆柱模型 | 圆柱形状拟合 | |||
| 定位装配 | 通用工件定位装配 | 相机视野内仅有单个工件，工件正反面区别较大，能获取工件 CAD | 基于CAD的合成数据训练（一键联通） | 刚体变换 | |
| 面型工件定位装配 | 相机视野内仅有单个面型工件，位置变动较大，能获取工件 CAD | 基于CAD的合成数据训练（一键联通） | 3D 配准 | ||
| 面型工件定位装配（仅点云匹配） | 相机视野内仅有单个面型工件，位置变动较小 | / | 3D 配准 | ||
| 面型工件定位装配（仅图像匹配） | 相机视野内仅有单个面型工件，位置变动较小 | / | 特征匹配 | ||
*备注：
顶角抓取方案：
- 模型识别纸箱得到纸箱的掩膜
- 图像/点云 预处理调整掩膜，剔除噪点部分
- 对掩膜进行四边形拟合，得到拟合后的四边形信息（顶点、长宽信息）
- 提取四边形的四个顶点，按照图像的xy进行排序，区分左上、右上、左下、右下
- 若勾选 纸箱本体顶点， 则将设纸箱长边所在的左上顶点为本体左上顶点，根据长宽信息重新对顶点排序
- 对掩膜进行平面拟合得到平面方程
- 图像坐标基于内参投影到拟合平面上，得到最终的待抓顶点的3D坐标