外观
基于四边形有序上下料视觉参数调整指南
本文主要介绍如何在四边形工件的有序上下料、无序抓取中根据实际场景调整视觉参数
1. 2D识别
1.1 预处理
2D识别的预处理是在实例分割之前对2D图像进行处理
1.1.1 双边滤波
- 功能
基于双边滤波的图像平滑功能
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 最大深度差值 | 双边过滤的最大深度差值 | 0.03 | [0.01, 1] |
| 过滤核大小 | 双边过滤卷积核大小 | 7 | [1, 3000] |
1.1.2 深度转法向量图
- 功能
通过深度图计算像素法向量，并把图片转换成法向量图
1.1.3 图像增强
- 功能
常用图像增强，如色彩饱和度、对比度、亮度、锐利度
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 图像增强类型 | 对图像的某个元素进行增强 | 对比度 | 色彩饱和度、对比度、亮度、锐利度 |
| 图片增强阈值 | 对图像的某个元素增强多少 | 1.5 | [0.1, 100] |
1.1.4 直方图均衡
- 功能
提高图像的对比度
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 局部模式 | 局域或全局直方图均衡，勾选则局域直方图均衡，取消勾选则全局直方图均衡 | 勾选 | / |
| 对比度阈值 | 对比度阈值 | 3 | [1,1000] |
1.1.5 通过颜色过滤深度图
- 功能
根据颜色值过滤深度图
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 填充核大小 | 颜色填充的大小 | 3 | [1,99] |
| 根据hsv过滤深度-色域最大值 | 最大颜色值 | [180,255,255] | [[0,0,0],[255,255,255]] |
| 根据hsv过滤深度-色域最小值 | 最小颜色值 | [0,0,0] | [[0,0,0],[255,255,255]] |
| 保存颜色范围内的区域 | 勾选则保存颜色范围内的区域，不勾选则保存颜色范围外的区域 | / | / |
1.1.6 伽马图片校正
- 功能
gamma校正改变图片亮度
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| gamma补偿系数 | 该值小于1，图片变暗该值大于1，图片变量 | 1 | [0.1,100] |
| gamma校正系数 | 该值小于1，图片变暗，适用于亮度过高的图片该值大于1，图片变亮，适用于亮度过低的图片 | 2.2 | [0.1,100] |
1.1.7 填充深度图空洞
- 功能
对深度图中的空洞区域进行填充，并对填充后的深度图进行平滑处理
- 使用场景
因工件本身结构遮挡、光照不均匀等问题，深度图可能缺失工件的部分区域
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 填充核大小 | 空洞填充的大小 | 3 | [1,99] |
填充核大小只能填入奇数
- 调参
根据检测结果调整，如果填充过度，应调小参数；如果填充不足，应调大参数
- 示例
1.1.8 边缘增强
- 功能
把图像中纹理的边缘部分置为背景色或者与背景色相差较大的颜色，以凸显工件的边缘信息
- 使用场景
工件相互遮挡或重叠导致边缘不清晰
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 调参建议 |
|---|---|---|---|---|
| 法向z方向过滤阈值 | 深度图每个点对应的法向量与相机坐标系Z轴正方向的角度过滤阈值，若点的法向量与相机坐标系的Z轴正方向的角度大于此阈值，则2D图中该点对应位置的颜色将会被置为背景色或者与背景色相差较大的颜色 | 30 | [0,180] | 对于平整工件表面，该阈值可以小一些，曲面工件根据表面倾斜程度适当增大 |
| 背景色 | 背景色的RGB颜色阈值 | 128 | [0,255] | / |
| 自动调节反差背景 | 勾选 自动调节反差背景后，将2D图中角度大于过滤阈值的点的颜色设置为与背景色相差较大的颜色不勾选 自动调节反差背景，将2D图中角度大于过滤阈值的点的颜色设置为背景色对应的颜色 | 不勾选 | / | / |
- 示例
1.1.9 提取最上层纹理
- 功能
提取最上层或最底层的工件纹理，而把其他区域置为背景色或者与背景颜色相差较大的颜色。
- 使用场景
光照条件不佳、颜色纹理相近、紧密堆叠、交错堆叠或遮挡等因素可能导致模型难以区分上层和下层工件的纹理差异，因此容易误检测。
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 距离阈值(mm) | 点与最上层平面（最底层平面）的距离低于该阈值，则被认为是最上层平面（最底层平面）内的点，应当保留，否则认为是下层（上层）的点，将下层（上层）的点的颜色置为背景色或与背景色相差较大的颜色 | 50 | [0.1, 1000] | mm | 一般调整为工件高度的1/2 |
| 聚类点云数量 | 期望参与聚类的点数量，在ROI 3D区域内采样点云的数量 | 10000 | [1，10000000] | / | 聚类点云数量越多，模型推理速度下降而精度提升；聚类点云数量越少，模型推理速度提升而精度下降 |
| 类别点最小数量 | 用于过滤类别的最小点数 | 1000 | [1, 10000000] | / | / |
| 自动计算反差背景 | 勾选 自动计算反差背景后，将2D图中最上层（最底层）外的其他区域设置为与背景色阈值相差较大的颜色不勾选 自动计算反差背景，将2D图中最上层（最底层）外的其他区域设置为背景色阈值对应的颜色 | 勾选 | / | / | / |
| 背景色阈值 | 背景色RGB颜色阈值 | 128 | [0,255] | / | / |
- 示例
1.1.10 去除roi3d外的图片背景
- 功能
去除2D图像中除了ROI3D区域以外的背景
- 使用场景
图像背景噪声较多影响检测结果
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 填充核大小 | 空洞填充的大小 | 5 | [1,99] |
| 迭代次数 | 图片膨胀的迭代次数 | 1 | [1,99] |
| 自动计算反差背景 | 勾选 自动计算反差背景后，将2D图中roi以外的区域设置为与背景色阈值相差较大的颜色不勾选 自动计算反差背景，将2D图中roi以外的区域设置为背景色阈值对应的颜色 | 勾选 | / |
| 背景色阈值 | 背景色的RGB颜色阈值 | 128 | [0,255] |
填充核大小只能填入奇数
- 调参
如果需要去除图像中更多背景噪声，应当调小填充核大小
- 示例
1.2 实例分割
1.2.1 缩放比例
- 功能
通过等比放缩原始图像后再推理以提升2D识别的准确率与召回率。
- 使用场景
检测效果不佳（如未检测到实例、漏识别、包围盒框到多个实例或框不满实例)应调整该函数。
参数说明
默认值：1.0
取值范围：[0.01, 3.00]
步长：0.01
调参
- 使用默认值运行，在可视化视窗查看检测结果，若出现未检测到实例、漏识别、包围盒框到多个实例或框不满实例的情况，应调整该函数。
2D识别中实例的百分数为置信度分数，数字为实例ID（实例的识别顺序）。
2D识别中实例上有颜色的阴影是掩膜，包围实例的矩形框是包围盒。
- 尝试不同的缩放比例，观察检测结果的变化，逐步确定缩放比例的范围。如果在某个缩放比例下，检测效果显著提高，则将该缩放比例作为下限；在某个缩放比例下，检测效果显著降低，则将该缩放比例作为上限。
若尝试所有缩放比例都无法获得较好检测结果，可调整ROI区域
如下图所示，缩放比例为0.2时检测效果显著提高，因此可以确定0.2为缩放比例范围的下限
缩放比例为0.5时检测效果显著降低，因此可以确定0.5为缩放比例范围的上限
- 如果实际场景对抓取精度要求不高，可以在[0.2,0.5)区间内选择一个检测效果较好的缩放比例；如果实际场景对抓取精度要求较高，应当进一步细化缩放比例范围，按更小步长来调整，直至找到检测效果最佳的缩放比例。
1.2.2 置信度下限阈值
- 功能
仅保留深度学习模型识别结果分数高于置信度下限阈值的识别结果
- 使用场景
检测结果框取的实例不符预期时，可调整该函数
- 参数说明
默认值：0.5
取值范围：[0.01, 1.00]
调参
如果模型检测出的实例较少，应当调小该阈值；取值过小，可能会影响图像识别的准确度。
若因为置信度下限阈值过小导致检测出错误的实例，而需要去除这些错误的实例，应当调大该阈值；取值过大，可能会导致保留的检测结果为零，没有结果输出。
1.2.3 启用自动增强
- 功能
将输入的缩放比例和旋转角度中所有的值进行组合后推理，返回组合后大于设定置信度下限阈值的所有结果，可以提升模型推理精度, 但会增加耗时。
- 使用场景
单个缩放比例无法满足实际场景需求导致检测不完整或物体摆放倾斜度较高。
- 示例
如果自动增强-缩放比例设置为 [0.8, 0.9, 1.0] ，自动增强-旋转角度设置为 [0, 90.0] ，那么将缩放比例和旋转角度中的值两两组合，模型内部会自动生成6种图片进行推理，最后将这6种推理结果统一到一起，输出大于置信度下限阈值的结果。
自动增强-缩放比例
- 功能
对原始图像进行多次缩放并进行多次推理，输出综合的推理结果
- 使用场景
单个缩放比例无法满足实际场景需求导致检测不完整
- 参数说明
默认值：[1.0]
取值范围：每个缩放比例的范围为[0.1, 3.0]
可设置多个缩放比例，每个缩放比例之间用英文逗号隔开
- 调参
填入多个 1.2.1缩放比例 获得的检测效果较好的缩放比例
自动增强-旋转角度
- 功能
对原始图像多次旋转并进行多次推理，输出综合的推理结果
- 使用场景
物体摆放偏离坐标轴较多时使用
- 参数说明
默认值：[0.0]
取值范围：每个旋转角度的取值范围为[0, 360]
可设置多个旋转角度，每个旋转角度之间用英文逗号隔开
- 调参
根据实际场景中的物体角度调整自动增强-旋转角度，可根据麻袋的图案和袋口形状、纸箱的棱边和品牌标志判断倾斜角度
1.3 点云生成
| 实例点云生成形式 | 掩膜形式（分割后） | - | 使用分割后的实例掩膜生成点云 |
| 包围盒形式（分割后） | 包围盒缩放比例（分割后） | 使用分割后的实例包围盒生成点云 | |
| 生成点云是否需要颜色（分割后） | 生成的实例点云是否需要附着颜色 | ||
| 掩膜形式（过滤后） | - | 使用过滤后的实例掩膜生成点云 | |
| 包围盒形式（过滤后） | 包围盒缩放比例（过滤后） | 使用过滤后的实例包围盒生成点云 | |
| 生成点云是否需要颜色（过滤后） | 生成的实例点云是否需要附着颜色 |
如果不需要加速，无需使用实例过滤函数，使用掩膜形式（分割后）或包围盒形式（分割后）生成实例点云，可在 项目存储文件夹\项目名称\data\PickLight\历史数据时间戳\Builder\pose\input文件夹查看生成的实例点云；
如果需要加速，可使用实例过滤函数对实例进行过滤，使用掩膜形式（过滤后）或包围盒形式（过滤后）生成实例点云，可在 项目存储文件夹\项目名称\data\PickLight\历史数据时间戳\Builder\pose\input文件夹查看生成的实例点云。
1.4 实例过滤
1.4.1 基于包围盒面积过滤
- 功能介绍
根据检测出实例的包围盒的像素面积来进行过滤。
- 使用场景
适用于实例包围盒面积相差较大的场景，通过设置包围盒面积的上限和下限来过滤图像中的噪声，提升图像识别的准确度，避免噪声给后续处理增加耗时。
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 最小面积（像素） | 该参数用于设置包围盒的最小过滤面积，包围盒面积低于这个值的实例会被过滤 | 1 | [1, 10000000] | 像素点 |
| 最大面积（像素） | 该参数用于设置包围盒的最大过滤面积，包围盒面积高于这个值的实例会被过滤 | 10000000 | [2, 10000000] | 像素点 |
- 示例
按默认值运行，可在日志中查看每个实例的包围盒面积，如下图所示。
根据每个实例的包围盒面积调整 最小面积 和 最大面积，如将最小面积设置为20000，将最大面积设置为30000，即可将像素面积为小于20000或大于30000的实例过滤掉，可在日志中查看实例过滤过程。
1.4.2 基于包围盒长宽比过滤
- 功能介绍
包围盒长宽比在指定范围外的实例将被过滤掉
- 使用场景
适用于实例的包围盒长宽比相差较大的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 最小长宽比 | 包围盒长宽比的最小值，包围盒长宽比低于该值的实例会被过滤 | 0 | [0, 10000000] |
| 最大长宽比 | 包围盒长宽比的最大值，包围盒长宽比高于该值的实例会被过滤 | 10000000 | [0, 10000000] |
| 使用X/Y轴边长作长宽比 | 默认不勾选，使用包围盒的较长边/较短边的长度比值作为长宽比，适用于包围盒的长短边长度相差大的情况； 勾选后，则使用像素坐标系下包围盒在X轴/Y轴上的边的长度比值作为长宽比，适用于大部分正常实例包围盒的长边/短边比值近似，但部分异常识别的实例包围盒在X轴上的长度/在Y轴上的长度的比值相差较大的情况。 | 不勾选 | / |
1.4.3 基于类别ID过滤实例
- 功能介绍
根据实例类别过滤
- 使用场景
适用于来料有多种类型工件的场景
- 参数说明
| 参数 | 说明 | 默认值 |
|---|---|---|
| 保留的类别ID | 保留类别ID在列表内的实例，类别ID不在列表内的实例将被过滤 | [0] |
- 示例
1.4.4 基于实例点云的边长过滤
- 功能介绍
根据实例点云的长边和短边过滤
- 使用场景
适用于实例点云在x轴或y轴的距离相差较大的场景，通过设置实例点云的距离范围来过滤图像中的噪声，提升图像识别的准确度，避免噪声给后续处理增加耗时。
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 短边长度范围（mm） | 点云短边的边长范围 | [0, 10000] | [0, 10000] | mm |
| 长边长度范围（mm） | 点云长边的边长范围 | [0, 10000] | [0, 10000] | mm |
| 边缘去噪下限（%） | 提取实例点云中X/Y值（相机坐标系）的百分比下限，去除上下限外的点云，避免噪点影响长度计算 | 5 | [0, 100] | / |
| 边缘去噪上限（%） | 提取实例点云中X/Y值（相机坐标系）的百分比上限，去除上下限外的点云，避免噪点影响长度计算 | 95 | [0, 100] | / |
| 边长类型 | 按实例点云的长边、短边过滤，长边、短边的长度不在范围内的实例将被过滤 | 实例点云短边 | 实例点云短边；实例点云长边；实例点云长边和短边 | / |
- 示例
1.4.5 基于分类器的类别ID过滤
- 功能介绍
基于分类器的类别 ID 过滤实例，不在参考类别内的实例将被过滤。
- 使用场景
在多类工件场景中，视觉模型可能会检测出多种类型的工件，但实际作业可能仅需其中某一种类别的工件，此时就可以使用该函数过滤掉不需要的工件
- 参数说明
默认值为[0]，即默认保留类别 ID 为 0 的实例，类别 ID 不在列表内的实例将被过滤。
1.4.6 基于三通道颜色过滤
- 功能介绍
可通过三通道颜色阈值（HSV或者RGB）过滤掉实例。
- 使用场景
错误实例和正确实例颜色有明显区分的情况。
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 色域最大值 | 最大颜色值 | [180,255,255] | [[0,0,0],[255,255,255]] |
| 色域最小值 | 最小颜色值 | [0,0,0] | [[0,0,0],[255,255,255]] |
| 过滤百分比阈值 | 颜色通过率阈值 | 0.05 | [0,1] |
| 反向过滤 | 勾选则剔除颜色范围外的比例低于阈值的实例，不勾选则剔除实例图像中颜色范围内的比例低于阈值的实例 | 不勾选 | / |
| 颜色模式 | 颜色过滤中选择的颜色空间 | HSV色彩空间 | RGB色彩空间HSV色彩空间 |
- 示例
1.4.7 基于置信度过滤
- 功能介绍
根据实例的置信度分数过滤
- 使用场景
适用于实例的置信度相差较大的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 参考置信度度 | 保留置信度大于阈值的实例，过滤置信度小于阈值的实例。 | 0.5 | [0,1] |
| 反转过滤结果 | 反转后，保留可见度置信度小于阈值的实例，过滤置信度大于阈值的实例。 | 不勾选 | / |
- 示例
1.4.8 基于点云数量过滤
- 功能介绍
根据降采样后的实例点云数量过滤
- 使用场景
实例点云带有较多噪声
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 点云数量最小值 | 点云数量的最小值 | 3500 | [1, 10000000] |
| 点云数量最大值 | 点云数量的最大值 | 8500 | [2, 10000000] |
| 过滤数量在区间内的实例 | 勾选则过滤点云数量在最小值和最大值区间内的实例，不勾选则过滤点云数量不在区间内的实例 | 不勾选 | / |
1.4.9 基于掩膜面积过滤
- 功能介绍
根据检测出实例的掩膜像素和（即像素面积）过滤图像掩膜。
- 使用场景
适用于实例掩膜面积相差较大的场景，通过设置掩膜的面积上限和下限来过滤图像掩膜中的噪声，提升图像识别的准确度，避免噪声给后续处理增加耗时。
- 参数设置说明
| 参数名 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 参考最小面积 | 该参数用于设置掩膜的最小过滤面积，掩膜面积低于这个值的实例会被过滤 | 1 | [1, 10000000] | 像素点 |
| 参考最大面积 | 该参数用于设置掩膜的最大过滤面积，掩膜面积高于这个值的实例会被过滤 | 10000000 | [2, 10000000] | 像素点 |
- 示例
1.4.10 基于可见度过滤
- 功能介绍
根据实例的可见度分数过滤
- 使用场景
适用于实例的可见度相差较大的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 参考可见度阈值 | 保留可见度大于阈值的实例，过滤可见度小于阈值的实例。可见度用于判断图像中的实例可见的程度，工件被遮挡越多，可见度越低。 | 0.5 | [0,1] |
| 反转过滤结果 | 反转后，保留可见度小于阈值的实例，过滤可见度大于阈值的实例。 | 不勾选 | / |
1.4.11 过滤包围盒重叠的实例
- 功能介绍
过滤包围盒交叉重叠的实例
- 使用场景
适用于实例的包围盒相互交叉的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 |
|---|---|---|---|
| 包围盒重叠比例阈值 | 包围盒交叉的面积与实例包围盒的面积的占比阈值 | 0.05 | [0, 1] |
| 过滤包围盒面积较大的实例 | 勾选则过滤两个包围盒交叉的实例中面积较大的实例，不勾选则过滤两个包围盒交叉的实例中面积较小的实例 | 勾选 | / |
- 示例
新增 过滤被包围实例，以默认值运行，在日志中查看实例包围盒交叉的情况，实例过滤后剩余2个实例
由日志可知，12个实例因为包围盒交叉被过滤掉，剩余2个包围盒没有交叉的实例
将 包围盒重叠比例阈值 设置为0.1，勾选 是否过滤较大的实例，在日志中查看实例例过滤过程，9个实例因为包围盒交叉面积与实例包围盒面积的占比大于0.1被过滤掉，3个实例因为包围盒交叉面积与实例包围盒面积的占比小于0.1被保留，2个实例包围盒没有交叉。
将 包围盒重叠比例阈值 设置为0.1，取消勾选 是否过滤较大的实例，在日志中查看实例例过滤过程，9个实例的包围盒交叉面积与实例包围盒面积的占比大于0.1，但其中2个实例因为包围盒面积小于与其交叉的实例被保留，因此7个实例被过滤，3个实例因为包围盒交叉面积与实例包围盒面积的占比小于0.1被保留，2个实例包围盒没有交叉。
1.4.12 【大师】基于掩膜/掩膜外接多边形面积比，过滤掩膜凹凸的实例
- 功能介绍
计算掩膜/掩膜外接多边形的面积比值，若小于设置的阈值则会过滤掉实例
- 使用场景
适用于工件掩膜存在锯齿/凹凸的情况。
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 面积比阈值 | 掩膜/凸包面积比阈值，若小于设置的阈值则会过滤掉实例。 | 0.1 | [0,1] |
1.4.13 【大师】基于点云平均距离过滤
- 功能介绍
基于点云中点到拟合平面的距离的平均值进行过滤，剔除不平整的实例点云
- 使用场景
适用于平面型工件点云弯曲的场景
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 平面分割距离阈值（mm） | 在弯曲的实例点云中提取一个平面，与平面的距离小于该阈值的点视为该平面的点 | 10 | [-1000, 1000] | mm |
| 平均距离阈值（mm） | 实例点云中的点到提取平面的距离的平均值 | 20 | [-1000, 1000] | mm |
| 剔除平均距离小于阈值的实例 | 勾选则过滤点到提取平面的平均距离小于平均距离阈值的实例，不勾选则过滤点到提取平面的平均距离大于平均距离阈值的实例 | 不勾选 | / | / |
1.4.14 【大师】基于掩膜/包围盒面积比，过滤被遮挡的实例
- 功能介绍
计算掩膜/包围盒面积比值，比值不在最大最小范围内的实例将被过滤
- 使用场景
用于过滤被遮挡工件的实例
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 最小面积比 | 掩膜/包围盒面积比例范围下限，比值越小，说明实例被遮挡程度越高 | 0.1 | [0,1] |
| 最大面积比 | 掩膜/包围盒面积比例范围上限，比值越接近1，说明实例被遮挡程度低 | 1.0 | [0,1] |
1.4.15 【大师】判断最上层实例是否全量检出
- 功能介绍
防呆机制之一，判断最上层的实例是否全部被检出，若存在没有被检出的最上层实例则会报错并结束工作流
- 使用场景
适用于拍一次抓多次或者必须要按顺序进行抓取的场景，防止因实例检出不完整造成漏抓影响后续作业
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 | 调参 |
|---|---|---|---|---|---|
| 距离阈值 | 用于判断最上层的工件，点与工件点云最高点的距离小于距离阈值，则认为这个点是最上层点云，否则认为这个点不是最上层点云。 | 5 | [0.1, 1000] | mm | 应当小于工件的高度 |
1.5 实例排序
- 功能介绍
根据选择的策略对实例进行分组、排序、提取
- 使用场景
拆垛、无序抓取、有序上下料场景通用
如果不需要排序，可以不配置具体的策略。
1.5.1 基准坐标系
- 功能介绍
为所有实例设定一个统一的坐标系，进行实例的分组排序
- 使用场景
拆垛场景、无序抓取场景、有序上下料场景通用
使用坐标相关的策略应当先设置基准坐标系
- 参数说明
| 参数 | 说明 | 图示 |
|---|---|---|
| 相机坐标系 | 坐标系原点在物体上方，Z轴正方向朝下；XYZ取值是物体中心点在该坐标系下的值 |  |
| ROI坐标系 | 坐标系原点大致在垛中心，Z轴正方向朝上；XYZ取值是物体中心点在该坐标系下的值 |  |
| 机械臂坐标系 | 坐标系原点在机械臂自身，Z轴正方向一般朝上；XYZ取值是物体中心点在该坐标系下的值 |  |
| 像素坐标系 | 坐标系原点在RGB图的左顶点，是二维平面坐标系；X、Y取值是bbox识别框的x值、bbox识别框的y值，Z是0 |  |
1.5.2 通用抓取策略
- 参数说明
| 参数 | 说明 | 默认值 |
|---|---|---|
| 策略 | 选择依据哪个值进行分组排序以及如何排序，包括实例点云中心XYZ坐标值、包围盒长宽比、实例点云中心距离ROI中心等可叠加多条，按顺序依次执行 | 实例点云中心X坐标值从小到大(mm) |
| 分组步长 | 依据选择的策略、按照步长将实例划分为若干组，分组步长即两组实例之间的间隔如策略选择”实例点云中心Z坐标值从大到小(mm)“，则将所有实例点云中心的Z坐标从大到小排序，然后按照步长把Z坐标分组，相应的实例也划分为若干组 | / |
| 提取前几组 | 分组排序之后，需要保留多少组实例 | 10000 |
| 策略名* | 说明 | 分组步长 | 提取前几组 | |
|---|---|---|---|---|
| 默认值 | 取值范围 | 默认值 | ||
| 实例点云中心XYZ坐标值从大到小/从小到大(mm) | 使用每个实例的点云中心的XYZ坐标值来进行分组排序 使用该策略进行排序前应当先设置基准坐标系 | 200.000 | (0, 10000000] | 10000 |
| 从实例点云中心XY坐标轴向的中间到两侧/从实例点云中心XY坐标轴的两侧到中间(mm) | 使用每个实例的点云中心的 XY 坐标值，按照 “中间到两侧” 或 “两侧到中间” 的方向进行分组排序 使用该策略进行排序前应当先设置基准坐标系 | 200.000 | (0, 10000000] | 10000 |
| 包围盒中心XY坐标值从大到小/从小到大(mm) | 使用像素坐标系下，每个实例的包围盒中心点的XY 坐标值进行分组排序 | 200.000 | (0, 10000000] | 10000 |
| 包围盒长宽比从大到小/从小到大 | 使用包围盒的长边/宽边的比值进行分组排序 | 1 | (0, 10000] | 10000 |
| 从包围盒中心XY坐标轴向的中间到两侧/两侧到中间(mm) | 使用包围盒的中心点的XY坐标值，按照 “中间到两侧” 或 “两侧到中间” 的方向进行分组排序 | 200.000 | (0, 10000000] | 10000 |
| 工件类型ID从大到小/从小到大 | 使用工件类型的ID进行分组排序，适用于多类工件场景 | 1 | [1, 10000] | 10000 |
| 局部特征ID从大到小/从小到大 | 使用局部特征的ID进行分组排序 | 1 | [1, 10000] | 10000 |
| 置信度从大到小/从小到大 | 使用每个实例的置信度进行分组排序 | 1 | (0, 1] | 10000 |
| 可见度从小到大/从大到小 | 使用每个实例的可见度进行分组排序 | 1 | (0, 0.1] | 10000 |
| 掩膜面积从大到小/从小到大 | 使用每个实例的掩膜面积进行分组排序 | 10000 | [1, 10000000] | 10000 |
| 实例点云中心距离ROI中心近到远/远到近(mm) | 使用每个实例的点云中心与ROI坐标系的中心的距离进行分组排序 | 200.000 | (0, 10000000] | 10000 |
| 实例点云中心距离机器人坐标原点近到远/远到近(mm) | 使用每个实例的点云中心与机器人坐标系的原点的距离进行分组排序 | 200.000 | (0, 10000000] | 10000 |
- 示例
1.5.3 自定义抓取策略
（1）功能说明
将抓取策略切换为自定义抓取策略，点击 新增 可增加一条自定义抓取策略。
自定义每个工件按照什么顺序抓取，使用通用抓取策略很难实现抓取或者因为点云噪点等问题很难调到合适的参数，可以考虑使用自定义抓取策略
自定义抓取策略适用于拆垛场景、有序上下料场景，无序抓取场景不适用，因为自定义抓取策略的工件必须是有序的（即工件的顺序固定）
自定义抓取策略只能和单个通用抓取策略组合使用，且策略只能选择Z坐标从小到大
（2）参数说明
| 参数 | 说明 | 默认值 | 取值范围 | 调参 |
|---|---|---|---|---|
| IOU阈值 | 表示标注的bbox框和检测出来的bbox框的重叠度阈值，通过重叠度来确定当前工件实例排序时应该选择哪一张图片上的排序方式。 | 0.7 | [0,1] | 阈值越大，匹配越严格，抗干扰性会越差，微小的形状或位置变化都可能导致匹配失败，可能匹配到错误的自定义策略，按错误的顺序进行排序 |
| 像素距离阈值 | 表示可以匹配上的bbox框和检测出来的bbox框在尺寸上的差异性。 | 100 | [0,1000] | 阈值越小，匹配越严格，抗干扰性也会更好。如果不同层之间的工件摆放比较相似，也可能误匹配自定义策略，导致排序顺序错误。 |
（3）选择基准坐标系
使用自定义抓取策略，只能选择相机坐标系或像素坐标系
如果有多层工件，则选择相机坐标系；如果只有一层工件，则选择像素坐标系
（4）策略、分组步长、提取前几组
| 参数 | 说明 | 默认值 |
|---|---|---|
| 策略 | 只能选择实例点云中心Z坐标值从大到小/从小到大(mm) | / |
| 分组步长 | 依据Z坐标从小到大策略，将实例的Z坐标从小到大排序，按照步长将实例划分为若干组 | 10000 |
| 提取前几组 | 分组排序之后，需要保留多少组实例 | 10000 |
（5）拍照取图/添加本地图像
点击拍照取图从当前连接的相机获取图像，或点击添加本地图像从本地导入图像，有多少层或有多少种工件的不同摆放形式，就需要拍照取图或添加本地图像得到多少张图片，如果每一层相同，只需要一张即可。鼠标右键点击图像可删除。
在获取的图像上长按拖动鼠标左键标注bbox框，DELETE键可逐步删除标注的bbox框。
2. 3D计算
2.1 预处理
3D计算的预处理是在对实例进行姿态估计、生成抓取点之前对3D点云进行处理
2.1.1 点云聚类去噪
- 功能
通过点云聚类方式去除噪声
- 使用场景
实例点云中噪声较多
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 点云聚类的距离阈值(mm) | 判断空间中的点云是否为同一类别，点云之间的距离低于该阈值则为同一类别 | 5 | [0.1, 1000] | mm | 一般不需更改大于工件点云的点间距，小于工件点云与噪声点云的最小距离 |
| 最小点数阈值 | 小于该点数的点云簇将被过滤 | 100 | [1,10000000] | / | 一般不需更改根据实例点云中的噪声大小，调大 最小点数阈值 |
| 最大点数阈值 | 大于该点数的点云簇将被过滤 | 100000 | [1,10000000] | / | 一般不需更改如果工件点云数量大于100000，调大 最大点数阈值 |
| 选取ROI顶部点云 | 勾选则计算ROI坐标系下同一类别点云的Z坐标平均值并排序，保留Z坐标平均值最大的点云类别（顶部点云），不勾选则保留全部满足条件的点云 | 不勾选 | / | / | 如果工件点云在噪声点云之上，勾选则保留工件点云；如果工件点云在噪声点云之下，勾选的同时应当调整ROI坐标系的Z轴朝下，才能保留工件点云 |
| 可视化过程数据 | 勾选则保存去噪后的点云，可在C:_data | 不勾选 | / | / | 调试模式下，如需保存可视化数据可勾选 |
2.1.2 点云降采样
- 功能
降采样时按照指定的点间距采样点云
- 使用场景
相机精度较大导致实例点云数量过大，日志报错时应勾选
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 |
|---|---|---|---|---|
| 降采样的点间距(mm) | 按照指定的点间距来采样点云 | 5.0 | [0.1, 1000] | mm |
调参
- 根据实例点云的点间距设置，数值越大，降采样后的点云数量越少
2.1.3 计算法向量
- 功能
计算点云法向量，供后续处理点云使用
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 固定法向量朝向 | 计算法向量时是否固定朝向，启用后法向量由朝向参考向量决定 | 勾选 | / |
| 法向量计算邻域点数 | 数值越大，参考的邻域点越多，但可能导致局部变化被忽略，数值越小则相反 | 30 | [1,200] |
| 朝向参考向量 | 法向量计算朝向参考向量 | [0,0,1] |
- 调参
不能更改
2.1.4 点云轮廓提取
- 功能
从实例点云中提取工件轮廓
- 使用场景
使用 2.2.4 **启动轮廓模式 **应同时勾选 点云轮廓提取
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 参考半径(mm) | 在实例点云中提取轮廓的搜索半径 | 10 | [0.1,10000000000] | mm | 参考半径建议设置为 2.1.2点云降采样中降采样的点间距的1/2，且必须大于点云间距 |
| 点云轮廓搜索模式 | 普通模式 | 普通模式；平面模式 |
- 示例
2.1.5 根据色域hsv(色调、饱和度、亮度)过滤点云
- 功能
根据点云图中的色调、饱和度、亮度过滤点云，筛选出与目标范围匹配的点云区域
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 根据hsv过滤深度-色域最大值 | 过滤点云的最大颜色值 | [0.9,0.9,0.9] | [[0,0,0],[1,1,1]] |
| 根据hsv过滤深度-色域最小值 | 过滤点云的最小颜色值 | [0.0,0.0,0.0] | [[0,0,0],[1,1,1]] |
- 示例
2.1.6 根据三通颜色过滤点云
- 功能
根据三通颜色过滤点云，筛选出与目标范围匹配的点云区域
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 根据三通颜色过滤点云-颜色最大值 | 过滤点云的最大颜色值 | [0.9,0.9,0.9] | [[0,0,0],[1,1,1]] |
| 根据三通颜色过滤深度-颜色最小值 | 过滤点云的最小颜色值 | [0.0,0.0,0.0] | [[0,0,0],[1,1,1]] |
- 示例
2.1.7 选取ROI区域内点云
- 功能
从实例点云中选取ROI 3D区域内点云，默认函数不可删除
- 示例
2.1.8 移除法线大于角度阈值的点
- 功能
去除法向量与标准法向量轴向的角度大于法向量角度阈值的点云
- 使用场景
基于四边形有序上下料
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 | 单位 |
|---|---|---|---|---|
| 角度阈值 | 大于该角度阈值的点云认为是不同实例 | 15 | [-360, 360] | / |
| 标准法向量轴向 | 点云的法向量与标准法向量轴向形成的角度 | Z轴 | X/Y/Z轴 | / |
| 是否使用ROI坐标系 | 勾选则计算法向量与ROI坐标系的轴之间的角度，不勾选则计算法向量与相机坐标系的轴之间的角度 | 不勾选 | / | / |
- 调参
2.1.9 点云平面分割
- 功能
保留或去除实例点云中点云数量最大的平面
- 使用场景
实例点云中带有噪声平面
- 参数说明
| 参数 | 说明 | 默认值 | 取值范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 平面拟合的参考距离(mm) | 点与平面的距离低于参考距离则被认为是平面内的点，否则认为是平面外的点 | 3 | [0.001，10000] | mm | 一般不更改 |
| 去除平面 | 勾选则去除点云数量最大的平面，不勾选则保留点云数量最大的平面 | 不勾选 | / | / | 如果点云数量最大的平面是工件，则保留平面，不勾选；如果点云数量最大的平面是噪声，则去除平面，应勾选 |
- 示例
2.1.9 点云去除离群点
- 功能
识别和去除点云中的离群点噪声，提高点云质量
- 使用场景
实例点云带有较多离群点噪声
- 参数说明
| 参数名 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 参考邻域点数 | 点云中每个点相邻的点的数量，即邻域大小稠密的点云，即使邻域较小也足以反映出工件的特征，因此可以取值较小；较稀疏的点云，需要较大的邻域才能反映出工件的特征，因此应当取值较大。 | 30 | [1, 10000000] |
| 标准差倍数 | 用于识别离群点噪声，如果点的坐标与实例点云的坐标平均值的偏差超过标准差倍数，则该点被认为是离群点。取值越小，更多的点被认为是离群点，去除的离群点也越多，但可能导致误判而去除了工件的重要特征；取值越大，更少的点被认为是离群点，去除的离群点也越少，但可能保留了一些离群点而影响工件识别准确度。 | 0.005 | [0.0001, 2] |
- 调参
一般不更改，若点云去除离群点后点云过于稀少，应当增大标准差倍数
- 示例
2.1.10 滤除物体距离超限的点云
- 功能
滤除指定方向上的点云，去除噪点，提升图像识别的准确度
- 参数说明
| 参数 | 说明 | 默认值 | 参数范围 | 单位 | 调参建议 |
|---|---|---|---|---|---|
| 指定轴 | 点云指定轴，用于滤除指定方向的点云 | Z轴 | X/Y/Z轴 | / | 指定轴一般无需更改 |
| 阈值(mm) | 在指定轴方向，若下层的点云与工件点云的距离大于该阈值，则下层点云会被滤除；若下层的点云与工件点云的距离小于该阈值，则下层点云会被保留 | 750 | [0, 1000] | mm | 根据实际场景调整阈值，阈值越大，滤除的点云越少；阈值越小，滤除的点云越多 |
| 选择坐标系 | 在选择的坐标系下滤除点云 | ROI坐标系 | 相机坐标系；ROI坐标系；物体自身坐标系 | / |
- 示例
2.1.11 根据点云优化掩膜
- 功能
基于ROI 3D内的点云，剔除掩膜中不在ROI 3D内的点云，提高掩膜的精确度
2.2 四边形姿态估计
2.2.1 拟合参考距离(mm)
- 功能
模型根据实例点云计算一个理想的四边形，与该理想四边形的距离小于拟合参考距离的点云被拟合成四边形
- 使用场景
适用于基于四边形有序上下料场景
- 参数说明
默认值：2
取值范围：[0.1, 1000]
单位：m
调参
- 拟合出四边形的日志如下图
如果日志报警"拟合不出四边形"，应当在工件界面预先填入四边形的长度和宽度之后再运行
如果增加长度和宽度先验后日志仍然报警"拟合不出四边形"，应当调大拟合参考距离，将更多的点云纳入拟合四边形，数值过大可能包括噪声点
2.2.2 拟合分数阈值
- 功能
计算拟合四边形的点云数量与理想四边形的点云数量的比值，比值小于拟合分数阈值的拟合四边形将被过滤
- 使用场景
基于四边形的有序上下料、基于四边形的无序抓取
- 参数说明
默认值：0.5
取值范围：[0,1]
- 调参
如果日志报警"检测到四边形点云，依据分数滤除"如下图所示，应当根据日志中的拟合分数降低拟合分数阈值
- 示例
拟合分数阈值为0.6时，实例5没有拟合出四边形，生成了5个抓取点
拟合分数阈值为0.5时，实例5拟合出了四边形，生成了6个抓取点
2.2.3 平面波动范围
- 功能
允许四边形主体平面不平整的程度
- 使用场景
基于四边形有序上下料
- 参数说明
默认值：0.005
取值范围：[0, 1]
- 调参
首先保持默认值运行，如果很多明明是正确的物体却没被检测到，尝试适当调大这个值。如果很多明显扭曲、错误的四边形被误认为是目标，尝试适当调小这个值。
每次调整的幅度不要太大，比如以0.001或0.002为单位进行微调，然后观察效果变化。
和"拟合分数阈值"一起作用，如果分数阈值已经很高，可以适当放宽平面波动范围；如果分数阈值较低，可能需要更严格的平面波动范围来保证质量。
2.2.4 物体姿态修正
精匹配搜索半径(mm)
- 功能
在精匹配过程中，模板点云与实例点云进行匹配，模板点云中每个点都需要在实例点云中搜索最邻近点。精匹配搜索半径既表示在实例点云中的搜索半径，又表示模板点云中的每个点与实例点云中的最邻近点的距离阈值。若点与最邻近点的距离小于精匹配搜索半径，则认为这两个点能够匹配，否则认为两个点不能匹配。
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配场景
- 参数说明
默认值：10
取值范围：[1, 500]
单位：mm
- 调参
通常不更改
精匹配搜索模式
- 功能
在精匹配过程中，模板点云在实例点云中检索最邻近点的方式
- 使用场景
模板点云与实例点云的精匹配效果不佳，应调整该函数
- 参数说明
| 参数 | 说明 |
|---|---|
| 点到点 | 模板点云中的每个点在实例点云中搜索最邻近点（搜索半径内直线距离最短的点）适用于所有工件 |
| 点到面 | 模板点云中的每个点沿着其法向量在实例点云中搜索最邻近点适用于几何特征明显的工件 |
| 点到点和点到面两种方式结合 | 先采用点对点模式优化实例点云中的工件姿态，再采用点对面模式优化实例点云中的工件姿态适用于几何特征明显的工件
|
使用轮廓模式
- 功能
提取模板点云和实例点云中的轮廓点云进行粗匹配
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配场景，若使用关键点进行粗匹配的结果不佳，应当勾选该函数使用轮廓点云再次进行粗匹配
- 调参
粗匹配的结果会影响精匹配结果，如果精匹配结果不佳，可勾选 使用轮廓模式
轮廓搜索范围(mm)
- 功能
在模板点云和实例点云中提取轮廓点云的搜索半径
- 使用场景
通用工件有序上下料、通用工件无序抓取、通用工件定位装配场景
- 参数说明
默认值：5
取值范围：[0.1, 500]
单位：mm
- 调参
取值较小，搜索轮廓点云的半径较小，适合提取细致的工件轮廓，但提取的轮廓可能包含离群点噪声；
取值较大，搜索轮廓点云的半径较大，适合提取较宽的工件轮廓，但提取的轮廓可能会忽略一些细节特征。
保存姿态估计[精匹配]数据
- 功能
勾选则保存精匹配数据
- 使用场景
面型工件有序上下料、面型工件无序抓取、面型工件定位装配、面型工件定位装配（仅匹配）
- 示例
精匹配数据保存在项目保存路径\项目文件夹\data\PickLight\历史数据时间戳\Builder\pose\output文件夹中。
2.3 空ROI判断
- 功能
判断ROI 3D内是否还有工件（点云）剩余，如果ROI 3D内的3D点的数量小于该值，表示没有工件点云剩余，此时不返回点云
- 参数说明
默认值：1000
取值范围：[0, 100000]
- 使用流程
设置ROI 3D最小点数判断阈值，小于该阈值即ROI 3D中工件点云不足，从而判断为无工件在ROI 3D中；
机器人配置中，新增视觉状态码，便于后续机器人进行信号处理。