外观
面型工件上下料（物料相互孤立）视觉参数调整指南
本文主要介绍如何在面型工件上下料（物料相互孤立）中根据实际场景调整视觉参数
1. 2D识别
1.1 预处理
2D识别的预处理是在实例分割之前对2D图像进行处理
1.1.1 点云降采样
- 功能
按照指定的点间距来采样点云，以减少计算点的数量，提高模型推理速度，但精度可能下降
- 使用场景
面型工件上下料（物料相互孤立）默认函数，不可删除
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 降采样的点间距(m) | 按照指定的点间距来采样点云 | 0.005 | [0.0001, 1] | m |
调参
降采样的点间距取值越大，降采样后的点云数量越少，实例分割计算速度会加快，但精度可能下降
降采样的点间距取值越小，降采样后的点云数量越多，实例分割计算速度下降，精度提升
1.1.2 计算法向量
- 功能
计算点云法向量，供后续处理点云使用
- 使用场景
面型工件上下料（物料相互孤立）默认函数，不可删除
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 固定法向量朝向 | 计算法向量时是否固定朝向，启用后法向量由朝向参考向量决定 | 勾选 | / |
| 法向量计算邻域点数 | 数值越大，参考的邻域点越多，但可能导致局部变化被忽略，数值越小则相反 | 30 | [1,200] |
| 朝向参考向量 | 法向量计算朝向参考向量 | [0,0,1] |
- 调参
不能更改
1.1.3 填充深度图空洞
- 功能
对深度图中的空洞区域进行填充，并对填充后的深度图进行平滑处理
- 使用场景
因工件本身结构遮挡、光照不均匀等问题，深度图可能缺失工件的部分区域
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 填充核大小 | 空洞填充的大小 | 3 | [1,99] |
填充核大小只能填入奇数
- 调参
根据检测结果调整，如果填充过度，应调小参数；如果填充不足，应调大参数
- 示例
1.1.4 根据色域hsv(色调、饱和度、亮度)过滤点云
- 功能
根据点云图中的色调、饱和度、亮度过滤点云，筛选出与目标范围匹配的点云区域
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 根据hsv过滤深度-色域最大值 | 过滤点云的最大颜色值 | [0.9,0.9,0.9] | [[0,0,0],[1,1,1]] |
| 根据hsv过滤深度-色域最小值 | 过滤点云的最小颜色值 | [0.0,0.0,0.0] | [[0,0,0],[1,1,1]] |
- 示例
1.1.5 根据三通颜色过滤点云
- 功能
根据三通颜色过滤点云，筛选出与目标范围匹配的点云区域
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 根据三通颜色过滤点云-颜色最大值 | 过滤点云的最大颜色值 | [0.9,0.9,0.9] | [[0,0,0],[1,1,1]] |
| 根据三通颜色过滤深度-颜色最小值 | 过滤点云的最小颜色值 | [0.0,0.0,0.0] | [[0,0,0],[1,1,1]] |
- 示例
1.1.6 移除法线大于角度阈值的点
- 功能
去除法向量与标准法向量轴向的角度大于法向量角度阈值的点云
- 使用场景
面型工件上下料（物料相互孤立）
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 | 单位 |
|---|---|---|---|---|
| 角度阈值 | 大于该角度阈值的点云认为是不同实例 | 15 | [-360, 360] | / |
| 标准法向量轴向 | 点云的法向量与标准法向量轴向形成的角度 | Z轴 | X/Y/Z轴 | / |
| 是否使用ROI坐标系 | 勾选则计算法向量与ROI坐标系的轴之间的角度，不勾选则计算法向量与相机坐标系的轴之间的角度 | 不勾选 | / | / |
- 调参
1.1.7 点云平面分割
- 功能
保留或去除实例点云中点云数量最大的平面
- 使用场景
实例点云中带有噪声平面
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 平面拟合的参考距离 | 点与平面的距离低于参考距离则被认为是平面内的点，否则认为是平面外的点 | 0.003 | [0.000001，10] | m | 一般不更改 |
| 是否去除平面 | 勾选则去除点云数量最大的平面，不勾选则保留点云数量最大的平面 | 不勾选 | / | / | 如果点云数量最大的平面是工件，则保留平面，不勾选；如果点云数量最大的平面是噪声，则去除平面，应勾选 |
- 示例
1.1.8 滤除物体距离超限的点云
- 功能
滤除指定方向上的点云，去除噪点，提升图像识别的准确度
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 指定轴 | 点云指定轴，用于滤除指定方向的点云 | Z轴 | X/Y/Z轴 | / | 指定轴一般无需更改 |
| 阈值 | 滤除指定轴的点云阈值，指定轴方向上与工件点云的距离大于该阈值的点云将被滤除 | 0.75 | [0, 1] | m | 根据实际场景调整阈值，阈值越大，滤除的点云越少；阈值越小，滤除的点云越多 |
| 选择坐标系 | 在选择的坐标系下滤除点云 | ROI坐标系 | 相机坐标系；ROI坐标系；物体自身坐标系 | / | / |
- 示例
1.1.9 提取顶层点云
- 功能
基于深度图提取顶层点云，滤除背景冗余点云
- 使用场景
适用于面型工件上下料（物料相互孤立），光照条件不佳、颜色纹理相近、紧密堆叠、交错堆叠或遮挡等因素可能导致模型难以区分工件上层和下层的纹理差异，因此容易误检测
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 距离阈值 | 点与最上层平面（最底层平面）的距离低于该阈值，则被认为是最上层平面（最底层平面）内的点，应当保留，否则认为是下层（上层）的点，置为黑色 | 0.05 | [0.0001, 1.0000] | m | 一般调整为工件高度的1/2 |
| 聚类点云数量 | 期望参与聚类的点数量，在ROI 3D区域内采样点云的数量 | 10000 | [1，10000000] | / | 聚类点云数量越多，模型推理速度下降而精度提升；聚类点云数量越少，模型推理速度提升而精度下降 |
1.2 实例分割3D
1.2.1 点云搜索半径
- 功能
搜索半径内的点为有效点
- 使用场景
面型工件上下料（物料相互孤立）场景
- 参数说明
默认值：0.01
取值范围：[0.0001, 1]
单位：m
- 调参
大于降采样的点间距，小于实际场景中工件与噪声的最小距离
1.2.2 法向量角度阈值
- 功能
实例分割时大于该角度阈值的点认为是不同实例
- 使用场景
面型工件上下料（物料相互孤立）场景
- 参数说明
默认值：15
取值范围：[1, 360]
- 调参
调大可认为仅基于工件之间的距离分割，调小可能导致实例分割不完整
1.2.3 最小点数阈值
- 功能
保留高于该值的点云类别
- 使用场景
面型工件上下料（物料相互孤立）场景
- 参数说明
默认值：100
取值范围：[2, 500000]
- 调参
根据日志中实例的点云类别和数量调整
1.2.4 最大点数阈值
- 功能
保留低于该值的点云类别
- 使用场景
面型工件上下料（物料相互孤立）场景
- 参数说明
默认值：5000000
取值范围：[2, 500000]
- 调参
根据日志中实例的点云类别和数量调整
1.2.5 实例分割模式
- 功能
实例分割后返回哪些实例
- 使用场景
面型工件上下料（物料相互孤立）场景
- 参数说明
| 参数 | 说明 |
|---|---|
| 返回全部实例 | 默认返回全部满足条件的实例 |
| 返回最高位置实例（ROI坐标系） | 返回ROI坐标系下Z坐标最大的实例，ROI坐标系 的Z轴默认垂直向上 |
| 返回最大面积实例 | 返回掩膜面积最大的实例 |
- 示例
1.2.6 使用原始点云
- 功能
勾选则对前景点云进行降采样后再分割，不勾选则前景点云经过2D预处理和降采样以及聚类后再进行分割
- 使用场景
面型工件上下料（物料相互孤立）场景
- 调参
默认勾选，勾选该选项后，直接对前景点云进行分割，可保留工件更多特征；但勾选该选项后依然要对前景点云进行降采样，因此可以通过增大降采样点间距来优化节拍。
若发现分割结果出现粘连，则应当取消勾选该选项，将粘连的实例分割开；取消勾选后可根据分割情况减小降采样点间距，若粘连不太多可优先考虑减小降采样点间距。
1.2.7 点云生成
| 实例点云生成形式 | 掩膜形式（分割后） | 【废弃】点云生成-包围盒缩放比例（分割后） | 使用分割后的实例掩膜生成点云 |
| 包围盒形式（分割后） | 包围盒缩放比例（分割后） | 使用分割后的实例包围盒生成点云 | |
| 生成点云是否需要颜色（分割后） | 生成的实例点云是否需要附着颜色 | ||
| 掩膜形式（过滤后） | 【废弃】点云生成-包围盒缩放比例（过滤后） | 使用过滤后的实例掩膜生成点云 | |
| 包围盒形式（过滤后） | 包围盒缩放比例（过滤后） | 使用过滤后的实例包围盒生成点云 | |
| 生成点云是否需要颜色（过滤后） | 生成的实例点云是否需要附着颜色 |
- 使用场景
（1）2D预处理为了过滤噪声删除了原始点云，但实例分割3D节点需要使用完整点云时可使用"点云生成"；
（2）当场景中的实例存在不连续（如分成两簇点云），可通过"点云生成"，扩大包围盒比例以提取完整但是点云分离的实例
- 调参
当勾选 使用原始点云 时，不需要调整实例点云生成形式，使用默认参数即可。
面型工件上下料（物料相互孤立）场景下，取消勾选 **使用原始原点 **后，实例分割前需要进行点云聚类，点云聚类时需要输入经过2D预处理后的点云，但是后续的3D计算姿态估计节点需要原始点云，所以增加可选的实例点云生成功能。
若实例点云生成形式选择掩膜形式（分割后）或掩膜形式（过滤后），那么实例点云是从分割后的点云中生成的，因为点云经过降采样，所以掩膜形式生成的实例点云更稀疏；
若实例点云生成形式选择包围盒形式（分割后）或包围盒形式（过滤后），那么实例点云是从原始点云中生成的，因为是原始点云，所以包围盒形式生成的实例点云更稠密。
1.3 实例过滤
1.3.1 基于包围盒面积过滤
- 功能介绍
根据检测出实例的包围盒的像素面积来进行过滤。
- 使用场景
适用于实例包围盒面积相差较大的场景，通过设置包围盒面积的上限和下限来过滤图像中的噪声，提升图像识别的准确度，避免噪声给后续处理增加耗时。
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 最小面积（像素） | 该参数用于设置包围盒的最小过滤面积，包围盒面积低于这个值的实例会被过滤 | 1 | [1, 10000000] | 像素点 |
| 最大面积（像素） | 该参数用于设置包围盒的最大过滤面积，包围盒面积高于这个值的实例会被过滤 | 10000000 | [2, 10000000] | 像素点 |
- 示例
按默认值运行，可在日志中查看每个实例的包围盒面积，如下图所示。
根据每个实例的包围盒面积调整 最小面积 和 最大面积，如将最小面积设置为20000，将最大面积设置为30000，即可将像素面积为小于20000或大于30000的实例过滤掉，可在日志中查看实例过滤过程。
1.3.2 基于包围盒长宽比过滤
- 功能介绍
包围盒长宽比在指定范围外的实例将被过滤掉
- 使用场景
适用于实例的包围盒长宽比相差较大的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 最小长宽比 | 包围盒长宽比的最小值，包围盒长宽比低于该值的实例会被过滤 | 0 | [0, 10000000] |
| 最大长宽比 | 包围盒长宽比的最大值，包围盒长宽比高于该值的实例会被过滤 | 10000000 | [0, 10000000] |
| 使用X/Y轴边长作长宽比 | 默认不勾选，使用包围盒的较长边/较短边的长度比值作为长宽比，适用于包围盒的长短边长度相差大的情况； 勾选后，则使用像素坐标系下包围盒在X轴/Y轴上的边的长度比值作为长宽比，适用于大部分正常实例包围盒的长边/短边比值近似，但部分异常识别的实例包围盒在X轴上的长度/在Y轴上的长度的比值相差较大的情况。 | 不勾选 | / |
1.3.3 基于类别ID过滤实例
- 功能介绍
根据实例类别过滤
- 使用场景
适用于来料有多种类型工件的场景
- 参数说明
| 参数 | 说明 | 默认值 |
|---|---|---|
| 保留的类别ID | 保留类别ID在列表内的实例，类别ID不在列表内的实例将被过滤 | [0] |
- 示例
1.3.4 基于实例点云的边长过滤
- 功能介绍
根据实例点云的长边和短边过滤
- 使用场景
适用于实例点云在x轴或y轴的距离相差较大的场景，通过设置实例点云的距离范围来过滤图像中的噪声，提升图像识别的准确度，避免噪声给后续处理增加耗时。
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 短边长度范围（mm） | 点云短边的边长范围 | [0, 10000] | [0, 10000] | mm |
| 长边长度范围（mm） | 点云长边的边长范围 | [0, 10000] | [0, 10000] | mm |
| 边缘去噪下限（%） | 提取实例点云中X/Y值（相机坐标系）的百分比下限，去除上下限外的点云，避免噪点影响长度计算 | 5 | [0, 100] | / |
| 边缘去噪上限（%） | 提取实例点云中X/Y值（相机坐标系）的百分比上限，去除上下限外的点云，避免噪点影响长度计算 | 95 | [0, 100] | / |
| 边长类型 | 按实例点云的长边、短边过滤，长边、短边的长度不在范围内的实例将被过滤 | 实例点云短边 | 实例点云短边；实例点云长边；实例点云长边和短边 | / |
- 示例
1.3.5 基于分类器的类别ID过滤
- 功能介绍
基于分类器的类别 ID 过滤实例，不在参考类别内的实例将被过滤。
- 使用场景
在多类工件场景中，视觉模型可能会检测出多种类型的工件，但实际作业可能仅需其中某一种类别的工件，此时就可以使用该函数过滤掉不需要的工件
- 参数说明
默认值为[0]，即默认保留类别 ID 为 0 的实例，类别 ID 不在列表内的实例将被过滤。
1.3.6 基于三通道颜色过滤
- 功能介绍
可通过三通道颜色阈值（HSV或者RGB）过滤掉实例。
- 使用场景
错误实例和正确实例颜色有明显区分的情况。
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 色域最大值 | 最大颜色值 | [180,255,255] | [[0,0,0],[255,255,255]] |
| 色域最小值 | 最小颜色值 | [0,0,0] | [[0,0,0],[255,255,255]] |
| 过滤百分比阈值 | 颜色通过率阈值 | 0.05 | [0,1] |
| 反向过滤 | 勾选则剔除颜色范围外的比例低于阈值的实例，不勾选则剔除实例图像中颜色范围内的比例低于阈值的实例 | 不勾选 | / |
| 颜色模式 | 颜色过滤中选择的颜色空间 | HSV色彩空间 | RGB色彩空间HSV色彩空间 |
- 示例
1.3.7 基于置信度过滤
- 功能介绍
根据实例的置信度分数过滤
- 使用场景
适用于实例的置信度相差较大的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 参考置信度度 | 保留置信度大于阈值的实例，过滤置信度小于阈值的实例。 | 0.5 | [0,1] |
| 反转过滤结果 | 反转后，保留可见度置信度小于阈值的实例，过滤置信度大于阈值的实例。 | 不勾选 | / |
- 示例
1.3.8 基于点云数量过滤
- 功能介绍
根据降采样后的实例点云数量过滤
- 使用场景
实例点云带有较多噪声
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 点云数量最小值 | 点云数量的最小值 | 3500 | [1, 10000000] |
| 点云数量最大值 | 点云数量的最大值 | 8500 | [2, 10000000] |
| 过滤数量在区间内的实例 | 勾选则过滤点云数量在最小值和最大值区间内的实例，不勾选则过滤点云数量不在区间内的实例 | 不勾选 | / |
1.3.9 基于掩膜面积过滤
- 功能介绍
根据检测出实例的掩膜像素和（即像素面积）过滤图像掩膜。
- 使用场景
适用于实例掩膜面积相差较大的场景，通过设置掩膜的面积上限和下限来过滤图像掩膜中的噪声，提升图像识别的准确度，避免噪声给后续处理增加耗时。
- 参数设置说明
| 参数名 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 参考最小面积 | 该参数用于设置掩膜的最小过滤面积，掩膜面积低于这个值的实例会被过滤 | 1 | [1, 10000000] | 像素点 |
| 参考最大面积 | 该参数用于设置掩膜的最大过滤面积，掩膜面积高于这个值的实例会被过滤 | 10000000 | [2, 10000000] | 像素点 |
- 示例
1.3.10 基于可见度过滤
- 功能介绍
根据实例的可见度分数过滤
- 使用场景
适用于实例的可见度相差较大的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 参考可见度阈值 | 保留可见度大于阈值的实例，过滤可见度小于阈值的实例。可见度用于判断图像中的实例可见的程度，工件被遮挡越多，可见度越低。 | 0.5 | [0,1] |
| 反转过滤结果 | 反转后，保留可见度小于阈值的实例，过滤可见度大于阈值的实例。 | 不勾选 | / |
1.3.11 过滤包围盒重叠的实例
- 功能介绍
过滤包围盒交叉重叠的实例
- 使用场景
适用于实例的包围盒相互交叉的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 包围盒重叠比例阈值 | 包围盒交叉的面积与实例包围盒的面积的占比阈值 | 0.05 | [0, 1] |
| 过滤包围盒面积较大的实例 | 勾选则过滤两个包围盒交叉的实例中面积较大的实例，不勾选则过滤两个包围盒交叉的实例中面积较小的实例 | 勾选 | / |
- 示例
新增 过滤被包围实例，以默认值运行，在日志中查看实例包围盒交叉的情况，实例过滤后剩余2个实例
由日志可知，12个实例因为包围盒交叉被过滤掉，剩余2个包围盒没有交叉的实例
将 包围盒重叠比例阈值 设置为0.1，勾选 是否过滤较大的实例，在日志中查看实例例过滤过程，9个实例因为包围盒交叉面积与实例包围盒面积的占比大于0.1被过滤掉，3个实例因为包围盒交叉面积与实例包围盒面积的占比小于0.1被保留，2个实例包围盒没有交叉。
将 包围盒重叠比例阈值 设置为0.1，取消勾选 是否过滤较大的实例，在日志中查看实例例过滤过程，9个实例的包围盒交叉面积与实例包围盒面积的占比大于0.1，但其中2个实例因为包围盒面积小于与其交叉的实例被保留，因此7个实例被过滤，3个实例因为包围盒交叉面积与实例包围盒面积的占比小于0.1被保留，2个实例包围盒没有交叉。
1.3.12 【大师】基于掩膜/掩膜外接多边形面积比，过滤掩膜凹凸的实例
- 功能介绍
计算掩膜/掩膜外接多边形的面积比值，若小于设置的阈值则会过滤掉实例
- 使用场景
适用于工件掩膜存在锯齿/凹凸的情况。
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 面积比阈值 | 掩膜/凸包面积比阈值，若小于设置的阈值则会过滤掉实例。 | 0.1 | [0,1] |
1.3.13 【大师】基于点云平均距离过滤
- 功能介绍
基于点云中点到拟合平面的距离的平均值进行过滤，剔除不平整的实例点云
- 使用场景
适用于平面型工件点云弯曲的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 平面分割距离阈值（mm） | 在弯曲的实例点云中提取一个平面，与平面的距离小于该阈值的点视为该平面的点 | 10 | [-1000, 1000] | mm |
| 平均距离阈值（mm） | 实例点云中的点到提取平面的距离的平均值 | 20 | [-1000, 1000] | mm |
| 剔除平均距离小于阈值的实例 | 勾选则过滤点到提取平面的平均距离小于平均距离阈值的实例，不勾选则过滤点到提取平面的平均距离大于平均距离阈值的实例 | 不勾选 | / | / |
1.3.14 【大师】基于掩膜/包围盒面积比，过滤被遮挡的实例
- 功能介绍
计算掩膜/包围盒面积比值，比值不在最大最小范围内的实例将被过滤
- 使用场景
用于过滤被遮挡工件的实例
- 参数说明
，相反，代表可能被遮挡。
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 最小面积比 | 掩膜/包围盒面积比例范围下限，比值越小，说明实例被遮挡程度越高 | 0.1 | [0,1] |
| 最大面积比 | 掩膜/包围盒面积比例范围上限，比值越接近1，说明实例被遮挡程度低 | 1.0 | [0,1] |
1.3.15 【大师】判断最上层实例是否全量检出
- 功能介绍
防呆机制之一，判断最上层的实例是否全部被检出，若存在没有被检出的最上层实例则会报错并结束工作流
- 使用场景
适用于拍一次抓多次或者必须要按顺序进行抓取的场景，防止因实例检出不完整造成漏抓影响后续作业
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 | 调参 |
|---|---|---|---|---|---|
| 距离阈值 | 用于判断最上层的工件，点与工件点云最高点的距离小于距离阈值，则认为这个点是最上层点云，否则认为这个点不是最上层点云。 | 5 | [0.1, 1000] | mm | 应当小于工件的高度 |
1.4 实例排序
- 功能介绍
根据选择的策略对实例进行分组、排序、提取
- 使用场景
无序抓取场景、有序上下料场景通用
如果不需要排序，可以不配置具体的策略。
1.4.1基准坐标系
- 功能介绍
为所有实例设定一个统一的坐标系，进行实例的分组排序
- 使用场景
拆垛场景、无序抓取场景、有序上下料场景通用
使用坐标相关的策略应当先设置基准坐标系
- 参数说明
| 参数 | 说明 | 图示 |
|---|---|---|
| 相机坐标系 | 坐标系原点在物体上方，Z轴正方向朝下；XYZ取值是物体中心点在该坐标系下的值 |  |
| ROI坐标系 | 坐标系原点大致在垛中心，Z轴正方向朝上；XYZ取值是物体中心点在该坐标系下的值 |  |
| 机械臂坐标系 | 坐标系原点在机械臂自身，Z轴正方向一般朝上；XYZ取值是物体中心点在该坐标系下的值 |  |
| 像素坐标系 | 坐标系原点在RGB图的左顶点，是二维平面坐标系；X、Y取值是bbox识别框的x值、bbox识别框的y值，Z是0 |  |
1.4.2 通用抓取策略
- 参数说明
| 参数 | 说明 | 默认值 |
|---|---|---|
| 策略 | 选择依据哪个值进行分组排序以及如何排序，包括实例点云中心XYZ坐标值、包围盒长宽比、实例点云中心距离ROI中心等可叠加多条，按顺序依次执行 | 实例点云中心X坐标值从小到大(mm) |
| 分组步长 | 依据选择的策略、按照步长将实例划分为若干组，分组步长即两组实例之间的间隔如策略选择”实例点云中心Z坐标值从大到小(mm)“，则将所有实例点云中心的Z坐标从大到小排序，然后按照步长把Z坐标分组，相应的实例也划分为若干组 | / |
| 提取前几组 | 分组排序之后，需要保留多少组实例 | 10000 |
| 策略名* | 说明 | 分组步长 | 提取前几组 | |
|---|---|---|---|---|
| 默认值 | 取值范围 | 默认值 | ||
| 实例点云中心XYZ坐标值从大到小/从小到大(mm) | 使用每个实例的点云中心的XYZ坐标值来进行分组排序 使用该策略进行排序前应当先设置基准坐标系 | 200.000 | (0, 10000000] | 10000 |
| 从实例点云中心XY坐标轴向的中间到两侧/从实例点云中心XY坐标轴的两侧到中间(mm) | 使用每个实例的点云中心的 XY 坐标值，按照 “中间到两侧” 或 “两侧到中间” 的方向进行分组排序 使用该策略进行排序前应当先设置基准坐标系 | 200.000 | (0, 10000000] | 10000 |
| 包围盒中心XY坐标值从大到小/从小到大(mm) | 使用像素坐标系下，每个实例的包围盒中心点的XY 坐标值进行分组排序 | 200.000 | (0, 10000000] | 10000 |
| 包围盒长宽比从大到小/从小到大 | 使用包围盒的长边/宽边的比值进行分组排序 | 1 | (0, 10000] | 10000 |
| 从包围盒中心XY坐标轴向的中间到两侧/两侧到中间(mm) | 使用包围盒的中心点的XY坐标值，按照 “中间到两侧” 或 “两侧到中间” 的方向进行分组排序 | 200.000 | (0, 10000000] | 10000 |
| 工件类型ID从大到小/从小到大 | 使用工件类型的ID进行分组排序，适用于多类工件场景 | 1 | [1, 10000] | 10000 |
| 局部特征ID从大到小/从小到大 | 使用局部特征的ID进行分组排序 | 1 | [1, 10000] | 10000 |
| 置信度从大到小/从小到大 | 使用每个实例的置信度进行分组排序 | 1 | (0, 1] | 10000 |
| 可见度从小到大/从大到小 | 使用每个实例的可见度进行分组排序 | 1 | (0, 0.1] | 10000 |
| 掩膜面积从大到小/从小到大 | 使用每个实例的掩膜面积进行分组排序 | 10000 | [1, 10000000] | 10000 |
| 实例点云中心距离ROI中心近到远/远到近(mm) | 使用每个实例的点云中心与ROI坐标系的中心的距离进行分组排序 | 200.000 | (0, 10000000] | 10000 |
| 实例点云中心距离机器人坐标原点近到远/远到近(mm) | 使用每个实例的点云中心与机器人坐标系的原点的距离进行分组排序 | 200.000 | (0, 10000000] | 10000 |
- 示例
1.4.3 自定义抓取策略
（1）功能说明
将抓取策略切换为自定义抓取策略，点击 新增 可增加一条自定义抓取策略。
自定义每个工件按照什么顺序抓取，使用通用抓取策略很难实现抓取或者因为点云噪点等问题很难调到合适的参数，可以考虑使用自定义抓取策略
自定义抓取策略适用于拆垛场景、有序上下料场景，无序抓取场景不适用，因为自定义抓取策略的工件必须是有序的（即工件的顺序固定）
自定义抓取策略只能和单个通用抓取策略组合使用，且策略只能选择Z坐标从小到大
（2）参数说明
| 参数 | 说明 | 默认值 | 取值范围 | 调参 |
|---|---|---|---|---|
| IOU阈值 | 表示标注的bbox框和检测出来的bbox框的重叠度阈值，通过重叠度来确定当前工件实例排序时应该选择哪一张图片上的排序方式。 | 0.7 | [0,1] | 阈值越大，匹配越严格，抗干扰性会越差，微小的形状或位置变化都可能导致匹配失败，可能匹配到错误的自定义策略，按错误的顺序进行排序 |
| 像素距离阈值 | 表示可以匹配上的bbox框和检测出来的bbox框在尺寸上的差异性。 | 100 | [0,1000] | 阈值越小，匹配越严格，抗干扰性也会更好。如果不同层之间的工件摆放比较相似，也可能误匹配自定义策略，导致排序顺序错误。 |
（3）选择基准坐标系
使用自定义抓取策略，只能选择相机坐标系或像素坐标系
如果有多层工件，则选择相机坐标系；如果只有一层工件，则选择像素坐标系
（4）策略、分组步长、提取前几组
| 参数 | 说明 | 默认值 |
|---|---|---|
| 策略 | 只能选择实例点云中心Z坐标值从大到小/从小到大(mm) | / |
| 分组步长 | 依据Z坐标从小到大策略，将实例的Z坐标从小到大排序，按照步长将实例划分为若干组 | 10000 |
| 提取前几组 | 分组排序之后，需要保留多少组实例 | 10000 |
（5）拍照取图/添加本地图像
点击拍照取图从当前连接的相机获取图像，或点击添加本地图像从本地导入图像，有多少层或有多少种工件的不同摆放形式，就需要拍照取图或添加本地图像得到多少张图片，如果每一层相同，只需要一张即可。鼠标右键点击图像可删除。
在获取的图像上长按拖动鼠标左键标注bbox框，DELETE键可逐步删除标注的bbox框。
2. 3D计算
2.1 预处理
3D计算的预处理是在深度学习模型进行计算之前对3D点云进行处理
2.1.1 点云聚类去噪
- 功能
通过点云聚类方式去除噪声
- 使用场景
实例点云中噪声较多
点云聚类去噪可能因为工件点云和噪声点云粘连而把部分工件点云过滤
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 点云聚类的距离阈值(mm) | 判断空间中的点云是否为同一类别，点云之间的距离低于该阈值则为同一类别 | 5 | [0.1, 1000] | mm | 一般不需更改大于工件点云的点间距，小于工件点云与噪声点云的最小距离 |
| 最小点数阈值 | 小于该点数的点云簇将被过滤 | 100 | [1,10000000] | / | 一般不需更改根据实例点云中的噪声大小，调大 最小点数阈值 |
| 最大点数阈值 | 大于该点数的点云簇将被过滤 | 100000 | [1,10000000] | / | 一般不需更改如果工件点云数量大于100000，调大 最大点数阈值 |
| 是否选取ROI顶部点云 | 勾选则计算ROI坐标系下同一类别点云的Z坐标平均值并排序，保留Z坐标平均值最大的点云类别（顶部点云），不勾选则保留全部满足条件的点云 | 不勾选 | / | / | 如果工件点云在噪声点云之上，勾选则保留工件点云；如果工件点云在噪声点云之下，勾选的同时应当调整ROI坐标系的Z轴朝下，才能保留工件点云 |
| 是否可视化过程数据 | 勾选则保存去噪后的点云，可在C:_data | 不勾选 | / | / | 调试模式下，如需保存可视化数据可勾选 |
- 示例
2.1.2 点云降采样
- 功能
按照指定的点间距来采样点云，以减少计算点的数量，提高模型推理速度，但精度可能下降
- 使用场景
点云数量太多，勾选 点云降采样 减少点云数量，面型工件上下料（物料相互孤立）默认函数，不可删除。
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 降采样的点间距(mm) | 按照指定的点间距来采样点云 | 5.0 | [0.1, 1000] | mm |
调参
降采样的点间距取值越大，降采样后的点云数量越少，抓取点计算速度会加快，但精度可能下降
降采样的点间距取值越小，降采样后的点云数量越多，抓取点计算速度下降，精度提升
2.1.3 计算法向量
- 功能
计算点云法向量，供后续拟合圆柱过程中使用
- 使用场景
面型工件上下料（物料相互孤立）默认函数，不可删除。
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 固定法向量朝向 | 计算法向量时是否固定朝向，启用后法向量由朝向参考向量决定 | 勾选 | / |
| 法向量计算邻域点数 | 数值越大，参考的邻域点越多，但可能导致局部变化被忽略，数值越小则相反 | 30 | [1,200] |
| 朝向参考向量 | 法向量计算朝向参考向量 | [0,0,1] | / |
- 调参
不能更改
2.1.4 点云轮廓提取
- 功能
从实例点云中提取工件轮廓
- 使用场景
使用 2.2.4 **启动轮廓模式 **应同时勾选 点云轮廓提取
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 参考半径(mm) | 在实例点云中提取轮廓的搜索半径 | 10 | [0.1,10000000000] | mm | 参考半径建议设置为 2.1.2点云降采样中降采样的点间距的1/2，且必须大于点云间距 |
| 点云轮廓搜索模式 | 搜索点云轮廓的模式 | 普通模式 | 普通模式；平面模式 | / | 一般选择普通模式，平面工件选择平面模式 |
- 示例
2.1.5 根据色域hsv(色调、饱和度、亮度)过滤点云
- 功能
根据点云图中的色调、饱和度、亮度过滤点云，筛选出与目标范围匹配的点云区域
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 根据hsv过滤深度-色域最大值 | 过滤点云的最大颜色值 | [0.9,0.9,0.9] | [[0,0,0],[1,1,1]] |
| 根据hsv过滤深度-色域最小值 | 过滤点云的最小颜色值 | [0.0,0.0,0.0] | [[0,0,0],[1,1,1]] |
- 示例
2.1.6 根据三通颜色过滤点云
- 功能
根据三通颜色过滤点云，筛选出与目标范围匹配的点云区域
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 根据三通颜色过滤点云-颜色最大值 | 过滤点云的最大颜色值 | [0.9,0.9,0.9] | [[0,0,0],[1,1,1]] |
| 根据三通颜色过滤深度-颜色最小值 | 过滤点云的最小颜色值 | [0.0,0.0,0.0] | [[0,0,0],[1,1,1]] |
- 示例
2.1.7 选取ROI区域内点云
- 功能
从实例点云中选取ROI 3D区域内点云，默认函数不可删除
- 示例
2.1.8 移除法线大于角度阈值的点
- 功能
去除法向量与标准法向量轴向的角度大于法向量角度阈值的点云
- 使用场景
面型工件上下料（物料相互孤立）
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 | 单位 |
|---|---|---|---|---|
| 角度阈值 | 大于该角度阈值的点云认为是不同实例 | 15 | [-360, 360] | |
| 标准法向量轴向 | 点云的法向量与标准法向量轴向形成的角度 | Z轴 | X/Y/Z轴 | / |
| 是否使用ROI坐标系 | 勾选则计算法向量与ROI坐标系的轴之间的角度，不勾选则计算法向量与相机坐标系的轴之间的角度 | 不勾选 | / | / |
- 调参
2.1.9 点云平面分割
- 功能
保留或去除实例点云中点云数量最大的平面
- 使用场景
实例点云中带有噪声平面
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 平面拟合的参考距离(mm) | 点与平面的距离低于参考距离则被认为是平面内的点，否则认为是平面外的点 | 3 | [0.001，10000] | mm | 一般不更改 |
| 去除平面 | 勾选则去除点云数量最大的平面，不勾选则保留点云数量最大的平面 | 不勾选 | / | / | 如果点云数量最大的平面是工件，则保留平面，不勾选；如果点云数量最大的平面是噪声，则去除平面，应勾选 |
- 示例
2.1.10 点云去除离群点
- 功能
识别和去除点云中的离群点噪声，提高点云质量
- 使用场景
实例点云带有较多离群点噪声，面型工件上下料（物料相互孤立）默认函数，不可删除。
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 参考邻域点数 | 点云中每个点相邻的点的数量，即邻域大小稠密的点云，即使邻域较小也足以反映出工件的特征，因此可以取值较小；较稀疏的点云，需要较大的邻域才能反映出工件的特征，因此应当取值较大。 | 30 | [1, 10000000] |
| 标准差倍数 | 用于识别离群点噪声，如果点的坐标与实例点云的坐标平均值的偏差超过标准差倍数，则该点被认为是离群点。取值越小，更多的点被认为是离群点，去除的离群点也越多，但可能导致误判而去除了工件的重要特征；取值越大，更少的点被认为是离群点，去除的离群点也越少，但可能保留了一些离群点而影响工件识别准确度。 | 0.005 | [0.0001, 2] |
- 调参
一般不更改，若点云去除离群点后点云过于稀少，应当增大标准差倍数
- 示例
2.1.11 滤除物体距离超限的点云
- 功能
滤除指定方向上的点云，去除噪点，提升图像识别的准确度
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 指定轴 | 点云指定轴，用于滤除指定方向的点云 | Z轴 | X/Y/Z轴 | / | 指定轴一般无需更改 |
| 阈值(mm) | 在指定轴方向，若下层的点云与工件点云的距离大于该阈值，则下层点云会被滤除；若下层的点云与工件点云的距离小于该阈值，则下层点云会被保留 | 750 | [0, 1000] | mm | 根据实际场景调整阈值，阈值越大，滤除的点云越少；阈值越小，滤除的点云越多 |
| 选择坐标系 | 在选择的坐标系下滤除点云 | ROI坐标系 | 相机坐标系；ROI坐标系；物体自身坐标系 | / |
- 示例
2.1.12 点云降采样（工件点云）
- 功能介绍
可对进行精匹配的场景点云进行降采样（有别于粗匹配），建议在使用时，新增且上移至预处理函数的最上方。
- 使用场景
使用精匹配，但耗时高且不满足整体节拍的场景。
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 | 单位 |
|---|---|---|---|---|
| 降采样的点间距(mm) | 按照指定的点间距来采样点云，降低点云数量，提高视觉计算速度 | 1 | [0.1，1000] | mm |
取值越大，降采样的点间距越大，降采样后的点云数量越少，视觉计算速度越快，但精可能度降低；
取值越小，降采样的点间距越小，降采样后的点云数量越多，视觉计算速度越慢，但精度可能提高。
运行后可将工件配置中的点云模板，更新为历史数据中，点云降采样后的工件点云，适当减少粗匹配耗时。
- 示例
2.1.13 【大师】读取实例点云
- 功能介绍
读取实例点云
- 使用场景
面型工件场景
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 | 单位 |
|---|---|---|---|---|
| 点云路径 | 工件点云路径，不填写则使用工件界面上传的点云 | / | / | / |
2.1.14 根据点云优化掩膜
- 功能
基于ROI 3D内的点云，剔除掩膜中不在ROI 3D内的点云，提高掩膜的精确度
2.2 点云匹配姿态估计
2.2.1 模型点云降采样大小(mm)
- 功能
粗匹配前，对模板点云进行降采样时采样盒的尺寸大小
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配、面型工件定位装配（仅匹配）
- 参数说明
默认值：5
取值范围：[0.001, 500]
单位：mm
调参
- 尺寸越大，降采样时保留的点越少，降采样后模板点云的点数越少
建议模板点云降采样后的点云数量小于300
- 如日志报错"模型点数大于1000，请适当增大3D匹配中的模型点云降采样大小参数"，则应当调大模型点云降采样大小，减少降采样后模板点云的点数；
2.2.2 重复采样比例系数
- 功能
对经过处理的模板点云中的点对进行采样的重复程度
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配、面型工件定位装配（仅匹配）
- 参数说明
默认值：1
取值范围：[0.1,1]
调参
- 取值越大，粗匹配成功率更高，但会增加粗匹配耗时
- 如日志报错"请调整3D匹配中降采样的点间距参数以及模型点云降采样大小、重复采样比例系数等参数, 详情参考CPFV调参指南"，应调大重复采样比例系数，一般建议从1开始调整，1最慢但是精匹配成功率最高，0.1最快但精匹配成功率最差。
- 如日志报错"触发超时警告，请参考CPFV调参指南修改参数"，应调小重复采样比例系数
2.2.3 位姿角度先验
- 功能
粗匹配前，预先提供工件在ROI坐标系下的大致朝向，提高粗匹配的准确性
- 使用场景
面型工件有序上下料、面型工件定位装配、面型工件定位装配（仅匹配）场景，面型工件因为自身的旋转对称性导致粗匹配和精匹配效果不佳
不适用于面型工件无序抓取场景
- 参数说明
取值4位，用前3位表示工件的方向，第4位用0/1/2分别表示ROI坐标系的X/Y/Z轴
默认值：[]
取值范围：[1,0,0,0]表示X轴正方向，[-1,0,0,0]表示X轴负方向；
[0,1,0,1]表示Y轴正方向，[0,-1,0,1]表示Y轴负方向；
[0,0,1,2]表示Z轴正方向，[0,0,-1,2]表示Z轴负方向。
格式：[[1,0,0,0]]，有两个中括号；可对XYZ轴的方向进行组合，如[[1,0,0,0],[0,1,0,1],[0,0,1,2]]表示X轴正方向、Y轴正方向、Z轴正方向
- 示例
根据面型工件的朝向确定，如下图所示，面型工件朝向X轴正方向，可以将 位姿角度先验 设置为[[1,0,0,0]]
2.2.4 启动轮廓模式
- 功能
提取实例点云的轮廓，使用降采样后的模板点云轮廓与降采样后的实例点云轮廓进行粗匹配
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配、面型工件定位装配（仅匹配）场景，由于工件的轮廓特征较为明显，使用轮廓模式可避免因为面型工件易滑动导致的粗匹配效果不佳
使用轮廓模式 应同时勾选 2.1.4 点云轮廓提取，从实例点云中提取轮廓
示例
- 使用轮廓模式，日志会出现提示"使用轮廓模式，找到轮廓点数量"
轮廓模式
- 功能
提取模板点云的轮廓，使用降采样后的模板点云轮廓与降采样后的实例点云轮廓进行粗匹配
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配、面型工件定位装配（仅匹配），若粗匹配的效果不佳，勾选该函数使用轮廓点云再次进行粗匹配
- 调参
普通模式：默认值
平面模式：平面工件选择平面模式
- 示例
2.2.5 粗配准轮廓搜索半径
- 功能
使用降采样后的模板点云轮廓与降采样后的实例点云轮廓进行粗匹配，在模板点云和实例点云中提取轮廓点云的搜索半径
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配、面型工件定位装配（仅匹配）
- 参数说明
默认值：0.005
取值范围：[0.0001,0.5]
单位：m
2.2.6 物体姿态修正
精匹配搜索半径(mm)
- 功能
在精匹配过程中，模板点云与实例点云进行匹配，模板点云中每个点都需要在实例点云中搜索最邻近点。精匹配搜索半径既表示在实例点云中的搜索半径，又表示模板点云中的每个点与实例点云中的最邻近点的距离阈值。若点与最邻近点的距离小于精匹配搜索半径，则认为这两个点能够匹配，否则认为两个点不能匹配。
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配场景
- 参数说明
默认值：10
取值范围：[1, 500]
单位：mm
- 调参
通常不更改
精匹配搜索模式
- 功能
在精匹配过程中，模板点云在实例点云中检索最邻近点的方式
- 使用场景
模板点云与实例点云的精匹配效果不佳，应调整该函数
- 参数说明
| 参数 | 说明 |
|---|---|
| 点到点 | 模板点云中的每个点在实例点云中搜索最邻近点（搜索半径内直线距离最短的点）适用于所有工件 |
| 点到面 | 模板点云中的每个点沿着其法向量在实例点云中搜索最邻近点适用于几何特征明显的工件 |
| 点到点和点到面两种方式结合 | 先采用点对点模式优化实例点云中的工件姿态，再采用点对面模式优化实例点云中的工件姿态适用于几何特征明显的工件
|
使用轮廓模式
- 功能
提取模板点云和实例点云中的轮廓点云进行粗匹配
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配场景，若使用关键点进行粗匹配的结果不佳，应当勾选该函数使用轮廓点云再次进行粗匹配
- 调参
粗匹配的结果会影响精匹配结果，如果精匹配结果不佳，可勾选 使用轮廓模式
轮廓搜索范围(mm)
- 功能
在模板点云和实例点云中提取轮廓点云的搜索半径
- 使用场景
通用工件有序上下料、通用工件无序抓取、通用工件定位装配场景
- 参数说明
默认值：5
取值范围：[0.1, 500]
单位：mm
- 调参
取值较小，搜索轮廓点云的半径较小，适合提取细致的工件轮廓，但提取的轮廓可能包含离群点噪声；
取值较大，搜索轮廓点云的半径较大，适合提取较宽的工件轮廓，但提取的轮廓可能会忽略一些细节特征。
保存姿态估计[精匹配]数据
- 功能
勾选则保存精匹配数据
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配、面型工件定位装配（仅匹配）
- 示例
精匹配数据保存在项目保存路径\项目文件夹\data\PickLight\历史数据时间戳\Builder\pose\output文件夹中。
2.2.7 基于轴旋转的姿态调整
- 功能
将实例点云基于工件的第一个抓取点围绕给定轴旋转、平移，计算每次旋转、平移后的实例点云与模板点云的匹配分数，选择匹配分数最高的实例点云作为旋转对称工件的最终姿态。
- 使用场景
旋转对称工件的实例点云与模板点云进行匹配时出现偏差，需要旋转一定角度才能完全匹配
不能与功能选项的识别类型、识别正反（通过点云模板）、识别局部特征联用
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 调参建议 |
|---|---|---|---|---|
| 旋转角度间隔 | 对实例点云进行等间隔角度的旋转，相邻两次旋转之间的角度差值。比如第一次旋转30°、第二次旋转60°、第三次旋转90°，则旋转角度间隔为30°。 | 5 | \[1, 180\] | 若工件特征较多匹配较难，追求高精度匹配，可设置较小的角度间隔，进行更多次匹配，但计算量会增加。若工件形状简单特征较少，可设置较大的角度间隔，提高计算效率。 |
| 旋转角度范围 | 实例点云从初始状态开始，能旋转多大的角度范围。 | 90 | \[1, 180\] |
|
| 模板点云文件路径 | 上传工件的模板点云文件，不上传则使用在工件界面上传的点云模板 | / | / | |
| 评估模式 | 从不同角度评估匹配结果好坏 | Iso-target | Iso-target；Iso-source；Average；Strict；Loose；Fast |
|
| ICP阈值 | 判断配准是否成功的标准，匹配结果误差小于该阈值则匹配成功，匹配结果误差大于该阈值则匹配不成功 | 0.005 | \[0.000001, 1\] | 一般不更改若实际场景对匹配精度要求较高，则调小该阈值；若实际场景对匹配速度要求较高而对精度要求较低，则调大该阈值。若工件点云质量较好，可调小该阈值；若工件点云质量较差，可调大该阈值。 |
| 旋转轴选择 | 实例点云围绕该轴旋转 | Z轴 | X/Y/Z轴 | 一般不更改若旋转对称工件的某条轴对识别工件姿态很重要，可将旋转轴设置为该特征轴 |
| 保存可视化数据 | 是否保存可视化数据 | 不勾选 | / | |
| 使用边缘进行优化 | 使用工件的边缘轮廓优化匹配，减少匹配结果误差，使实例点云和模板点云匹配更精细 | 不勾选 | / | 若工件的边缘轮廓具有独特的几何特征，勾选该函数提升匹配精度，比如形状复杂的工件，边缘轮廓差异大，使用边缘轮廓的点云可以更准确地识别工件姿态。 |
| 边缘点云文件路径 | 上传工件的边缘点云文件，不上传则从工件界面上传的点云模板中提取边缘点云 | / | / | |
| 优化旋转结果 | 匹配过程中找到最佳姿态后再次优化，减少匹配结果误差，使实例点云和模板点云匹配更精细 | 勾选 | / | 默认勾选以提高匹配精度，一般不更改 |
| 优化模式 | 优化匹配结果的模式 | Point | Point；Plane；Full |
|
| 优化阈值 | 在优化过程中，判断配准是否达到预期精度的标准。配准误差小于该阈值，则优化成功；配准误差大于该阈值，则优化失败需要继续迭代。 | 0.002 | \[0.0001, 1\] | 一般不更改对配准精度要求较高的场景，调小该阈值；对配准精度要求较低的场景，调大该阈值。 |
| 启用中心移动模式 | 开启则会同时加入平移模式，对实例点云旋转的同时叠加平移 | 不勾选 |
| |
| x 轴移动范围 | 中心移动模式沿抓取点 x 轴移动的范围(mm) | 0 | \[0,100\] |
|
| x 轴移动步长 | 中心移动模式沿抓取点 x 轴移动的步长(mm) | 2 | \[0.01,10\] | 步长需根据偏移情况以及精度合理设置，设置过小的步长将导致节拍增加较多 |
| y 轴移动范围 | 中心移动模式沿抓取点 y 轴移动的范围(mm) | 0 | \[0,100\] |
|
| y 轴移动步长 | 中心移动模式沿抓取点 y 轴移动的步长(mm) | 2 | \[0.01,10\] | 步长需根据偏移情况以及精度合理设置，设置过小的步长将导致节拍增加较多 |
| z 轴移动范围 | 中心移动模式沿抓取点 z 轴移动的范围(mm) | 0 | \[0,100\] |
|
| z 轴移动步长 | 中心移动模式沿抓取点 z 轴移动的步长(mm) | 2 | \[0.01,10\] | 步长需根据偏移情况以及精度合理设置，设置过小的步长将导致节拍增加较多 |
- 示例
轴向匹配偏移
增加中心移动模式之后
- 基于轴旋转的姿态调整所评估的姿态数目说明
总的姿态计算数目 = x 轴移动的点位数目 * y 轴移动的点位数目 * z 轴移动的点位数目 * 角度的点位数目
移动范围过大或步长设置过小将导致需要评估的姿态总数目增多，节拍变长，需合理设置范围以及步长参数
2.3 空ROI判断
- 功能
判断ROI 3D内是否还有工件（点云）剩余，如果ROI 3D内的3D点的数量小于该值，表示没有工件点云剩余，此时不返回点云
- 参数说明
默认值：1000
取值范围：[0, 100000]
- 使用流程
设置ROI 3D最小点数判断阈值，小于该阈值即ROI 3D中工件点云不足，从而判断为无工件在ROI 3D中；
机器人配置中，新增视觉状态码，便于后续机器人进行信号处理。