外观
工件操作指南
工件是机器人需要抓取的目标物体，不同类型的工件需配置的内容不同，请根据工件类型选择对应的配置流程。
1. 麻袋
1.1 新增工件
在运行配置中的工件栏点击+ 新增工件，即可进入工件界面。
1.2 配置工件
（1）工件信息
| 工件ID | 工件ID，通常用于换产时机器人使用 工件ID 切换工件，可修改 |
| 工件名称 | 默认的工件名称是工件类型麻袋&工件ID，可修改 |
| 相机配置 | 可选择相机配置，非必填 |
| 视觉模型 | 深度学习模型，用于从场景中分割出实例，麻袋默认的视觉模型是麻袋通用模型，若麻袋通用模型对实例的分割效果不佳，可应用假面模式或影子模式优化视觉模型。 |
（2）模型训练
| 假面模式 | 可选项，若麻袋通用模型对实例的分割效果不佳，可应用假面模式优化视觉模型的分割效果。假面模式需录入新的纹理使用合成数据训练模型，具体操作请参照如何使用假面模式 |
| 影子模式 | 可选项，若麻袋通用模型对实例的分割效果不佳，可应用影子模式优化视觉模型的分割效果。影子模式需使用真实运行的数据训练模型，优化视觉模型的分割效果，具体操作请参照如何使用工件影子模式 |
1.3 选择工件
配置麻袋完成后，点击返回回到主界面，在作业信息-工件中选择对应的麻袋。
1.4 示例
2. 纸箱
2.1 新增工件
在运行配置中的工件栏点击+ 新增工件，即可进入工件界面。
2.2 配置工件
（1）工件信息
| 工件ID | 工件ID，通常用于换产时机器人使用 工件ID 切换工件，可修改 |
| 工件名称 | 默认的工件名称是纸箱&工件ID，可修改 |
| 相机配置 | 可选择相机配置，非必填 |
| 视觉模型 | 深度学习模型，用于从场景中分割出实例，纸箱默认的视觉模型是纸箱通用模型，若纸箱通用模型对实例的分割效果不佳，可应用假面模式或影子模式优化视觉模型。 |
（2）工件配置
| 长宽高 | 配置纸箱的长宽高，防止视觉模型分割错误，非必填项 |
| 纹理 | 导入纸箱的纹理图片，通过纹理来控制抓取方向，已禁用，无需填写 |
| 抓取点 | 设置机器人抓取纸箱的抓取点位置，可选“箱体中心”、“箱体左上角”、“箱体左下角”、“箱体右上角” |
| 选择纸箱本体顶点 | 若勾选，则会以纸箱本身的顶点为坐标原点，长边左侧为左上；若不勾选，则以像素坐标系中的箱子顶点为坐标系原点，选择对应的角点。 |
纸箱抓取点设置的示例如下图所示。
（3）模型训练
| 假面模式 | 可选项，若纸箱通用模型对实例的分割效果不佳，可应用假面模式优化视觉模型的分割效果。假面模式需录入新的纹理使用合成数据训练模型，具体操作请参照如何使用假面模式 |
| 影子模式 | 可选项，若纸箱通用模型对实例的分割效果不佳，可应用影子模式优化视觉模型的分割效果。影子模式需使用真实运行的数据训练模型，优化视觉模型的分割效果，具体操作请参照如何使用工件影子模式 |
2.3 选择工件
配置纸箱完成后，点击返回回到主界面，在作业信息-工件中选择对应的纸箱。
2.4 示例
3. 通用工件
3.1 新增工件
在运行配置中的工件栏点击+ 新增工件，即可进入工件界面。
3.2 配置工件
（1）工件信息
| 工件ID | 工件ID，通常用于换产时机器人使用 工件ID 切换工件，可修改 |
|---|---|
| 工件名称 | 通用工件默认的工件名称是 “Cad&工件ID”，可修改 |
| 工件类型 | 通用工件的默认工件类型是标准工件，不可修改 |
| 点云文件 | 必填项，上传通用工件的点云模板，用于与相机采集的实际点云进行粗匹配，可参照点云模板制作指南制作点云模板。 |
| 精匹配点云模板 | 非必填项，可上传通用工件的全量点云模板，用于与相机采集的实际点云进行精匹配，优化工件姿态。可参照点云模板制作指南制作精匹配点云模板。 |
| 自定义关键点 | 必选项，通用工件应开启自定义关键点，上传通用工件的关键点，用于与视觉模型对实际点云预测的关键点进行匹配，关键点文件名一般为为keypoint_128.ply。可参照点云模板制作指南制作关键点文件。 |
| 相机配置 | 可选择相机配置，非必填项 |
通用工件应当开启 自定义关键点，上传通用工件的关键点文件，关键点文件名一般为为keypoint_128.ply
（2）模型信息
| 视觉模型 | 必填项，深度学习模型，用于从场景中分割出实例，通用工件的视觉模型采用基于CAD的合成数据训练（一键联通）方法，不同通用工件的视觉模型也不同，因此通用工件的视觉模型需要进行一键联通训练，具体流程请参照 一键联通训练视觉模型/ 一键联通训练成像模型 |
| 网格文件 | 必填项，上传通用工件的CAD模型，网格文件应当标准化CAD模型，为后续的一键联通训练视觉模型、生成点云模板及点云对齐网格等操作提供支撑，请参照点云模板制作指南标准化网格文件。 |
| 来料形式 | 仅有序上下料场景，用于模拟录入场景下工件来料的形式，以支持有序场景下使用一键联通训练模型。紧密贴合：可帮助快速设置行/列的工件个数，适用于工件有序来料、姿态一致、工件间距较小的场景。 自定义来料形式：可全量配置来料形式的细节参数，适用于所有来料类型的场景。 |
| 工件属性 | 非必选项，用于一键联通训练模型，可选"长条型"、"对称型"、"高反型"、"lowsolidity型" |
| 作业环境 | 非必选项，录入作业环境，用于一键联通训练模型，一键联通中数据生成时默认随机变换的背景会被替换为录入的作业环境数据，从而提升识别效果。 |
| 工件纹理 | 非必选项，录入工件纹理，用于一键联通训练模型，一键联通中模型训练时会用上传的纹理做数据增强，从而提升识别效果。 |
| 模型最大识别数 | 用于一键联通，控制视觉模型推理时最多能识别的实例数量。同条件下，识别数越大，模型可返回的识别结果越多，但模型的推理时间越长。有序场景下一般建议填写略大于一层物料的个数，无序场景下需根据实际场景设置。 |
通用工件场景中，在导入点云文件/关键点文件时，自动校验与网格文件的坐标中心是否对齐。
（3）抓取点
在新增工件配置时默认无抓取点，需要手动添加，新增抓取点后以绝对坐标系或抓取点坐标系为基准调整抓取点的位姿。
| 绝对坐标系 | 工件CAD模型的抓取点 |
|---|---|
| 抓取点坐标系（偏移量） | 以工件中心为原点，调整抓取点 |
3.3 选择工件
配置通用工件完成后，点击返回回到主界面，在作业信息-工件中选择对应的通用工件。
3.4 示例
4. 面型工件
4.1 新增工件
在运行配置中的工件栏点击+ 新增工件，即可进入工件界面。
4.2 配置工件
（1）工件信息
| 工件ID | 工件ID，通常用于换产时机器人使用 工件ID 切换工件，可修改 |
|---|---|
| 工件名称 | 面型工件默认的工件名称是“不带关键点的CAD&工件ID”，可修改 |
| 工件类型 | 面型工件的默认工件类型是面型工件，不可修改 |
| 点云文件 | 必填项，上传面型工件的点云模板，用于与相机采集的实际点云进行粗匹配，可参照点云模板制作指南制作点云模板。 |
| 精匹配点云模板 | 非必填项，可上传面型工件的全量点云模板，用于与相机采集的实际点云进行精匹配，优化工件姿态。可参照点云模板制作指南制作精匹配点云模板。 |
| 自定义关键点 | 非必填项，面型工件无关键点，因此无需开启自定义关键点 |
| 相机配置 | 可选择相机配置，非必填项 |
（2）模型信息
| 视觉模型 | 必填项，深度学习模型，用于从场景中分割出实例，面型工件的视觉模型采用基于CAD的合成数据训练（一键联通）方法，不同面型工件的视觉模型也不同，因此面型工件的视觉模型需要进行一键联通训练，具体流程请参照 一键联通训练视觉模型/ 一键联通训练成像模型。面型工件上下料（物料相互孤立）场景无需上传视觉模型 |
| 网格文件 | 必填项，上传面型工件的CAD模型，网格文件应当标准化CAD模型，为后续的一键联通训练视觉模型、生成点云模板及点云对齐网格等操作提供支撑，请参照 点云模板制作指南``标准化网格文件。 |
| 来料形式 | 仅有序上下料场景，用于模拟录入场景下工件来料的形式，以支持有序场景下使用一键联通训练模型。紧密贴合：可帮助快速设置行/列的工件个数，适用于工件有序来料、姿态一致、工件间距较小的场景。 自定义来料形式：可全量配置来料形式的细节参数，适用于所有来料类型的场景。 |
| 工件属性 | 非必选项，用于一键联通训练模型，可选"长条型"、"对称型"、"高反型"、"lowsolidity型" |
| 作业环境 | 非必选项，录入作业环境，用于一键联通训练模型，一键联通中数据生成时默认随机变换的背景会被替换为录入的作业环境数据，从而提升识别效果。 |
| 工件纹理 | 非必选项，录入工件纹理，用于一键联通训练模型，一键联通中模型训练时会用上传的纹理做数据增强，从而提升识别效果。 |
| 模型最大识别数 | 用于一键联通，控制视觉模型推理时最多能识别的实例数量。同条件下，识别数越大，模型可返回的识别结果越多，但模型的推理时间越长。有序场景下一般建议填写略大于一层物料的个数，无序场景下需根据实际场景设置。 |
（3）抓取点
在新增工件配置时默认无抓取点，需要手动添加，新增抓取点后以绝对坐标系或抓取点坐标系为基准调整抓取点的位姿。
| 绝对坐标系 | 工件CAD模型的抓取点 |
|---|---|
| 抓取点坐标系（偏移量） | 以工件中心为原点，调整抓取点 |
4.3 选择工件
4.4 示例
5. 圆面
5.1 新增工件
在运行配置中的工件栏点击+ 新增工件，即可进入工件界面。
5.2 配置工件
（1）工件信息
| 工件ID | 工件ID，通常用于换产时机器人使用 工件ID 切换工件，可修改 |
|---|---|
| 工件名称 | 圆面工件默认的工件名称是“圆面&工件ID”，可修改 |
| 工件类型 | 圆面工件的默认工件类型是圆面，不可修改 |
| 视觉模型 | 深度学习模型，用于从场景中分割出实例，圆面默认的视觉模型是圆面通用模型，若圆面通用模型对实例的分割效果不佳，可应用影子模式优化视觉模型。 |
| 点云文件 | 非必填项，当现场精度要求高、点云边缘情况较差、圆拟合误差较大时，可勾选视觉参数-物体姿态修正，并上传点云模板进行圆面的姿态修正，可选取历史数据中的\Builder\pose\output\inverse-pcd文件当作点云模板。 |
| 相机配置 | 可选择相机配置，非必填项 |
（2）工件配置
| 圆半径(mm) | 非必填项，当圆面抓取点偏离圆心时，预先配置圆面的半径，作为圆面拟合的先验数据。 |
|---|
（3）抓取点
| 抓取点 | 圆面的抓取点默认在圆心 |
|---|
（4）模型训练
| 影子模式 | 可选项，若圆面通用模型对实例的分割效果不佳，可应用影子模式优化视觉模型的分割效果。影子模式需使用真实运行的数据训练模型，优化视觉模型的分割效果，具体操作请参照如何使用工件影子模式 |
|---|
5.3 选择工件
5.4 示例
6. 圆柱
6.1 新增工件
6.2 配置工件
（1）工件信息
| 工件ID | 工件ID，通常用于换产时机器人使用 工件ID 切换工件，可修改 |
|---|---|
| 工件名称 | 圆柱工件默认的工件名称是“圆柱&工件ID”，可修改 |
| 工件类型 | 圆柱工件的默认工件类型是圆柱，不可修改 |
| 视觉模型 | 深度学习模型，用于从场景中分割出实例，圆柱的视觉模型有短圆柱通用模型和长圆柱通用模型两种，若圆柱通用模型对实例的分割效果不佳，可应用影子模式优化视觉模型。 |
| 点云文件 | 非必填项，当现场精度要求高、点云边缘情况较差、圆柱拟合误差较大时，可勾选视觉参数-物体姿态修正，并上传点云模板进行圆柱的姿态修正，可选取历史数据中的\Builder\pose\output\inverse-pcd文件当作点云模板。 |
| 相机配置 | 可选择相机配置，非必填项 |
- 视觉模型
点击编辑按钮可修改视觉模型
鼠标右键点击模型路径文本框，可选择清除文件，然后选择新的路径；可选择打开所在文件夹，打开视觉模型所在的文件夹。
点击导入模型按钮可上传视觉模型。
- 点云文件
鼠标右键点击点云文件的文本框，可选择清除文件，然后上传新的文件；可选择打开所在文件夹，即可打开点云模板所在的文件夹，如下图
（2）工件配置
| 圆半径(mm) | 非必填项，当拟合不出圆柱或者圆柱拟合误差较大时，预先配置圆柱的圆面半径，作为圆柱拟合的先验数据。 |
| 高(mm) | 非必填项，当拟合不出圆柱或者圆柱拟合误差较大时，预先配置圆柱的高，作为圆柱拟合的先验数据。 |
（3）抓取点
| 抓取点 | 在中间位置估计出圆柱中心从端点开始，根据先验尺寸估计出圆柱中心 |
| 旋转抓取间隔(°) | 抓取范围内，每隔多少间隔，生成一个抓取点。默认45°。 |
- 抓取点
参考案例说明
针对下图，若默认在中间位置估计圆柱中心，则会出现抓取点生成在错误位置。
故需要选择从端点开始，根据先验尺寸估计出圆柱中心，则可以合理的避免以上情况。
注意
在机器人通信时，传入工件先验尺寸或软件设置先验尺寸数值不为0时，该配置可生效；反之，数值为0时，系统默认在工件中间位置估计出圆柱中心。
- 旋转抓取间隔(°)
在圆柱的抓取范围内，每隔多少度，生成一个抓取点，默认180°
（4）模型训练
| 影子模式 | 可选项，若圆柱通用模型对实例的分割效果不佳，可应用影子模式优化视觉模型的分割效果。影子模式需使用真实运行的数据训练模型，优化视觉模型的分割效果，具体操作请参照如何使用工件影子模式 |
6.3 选择工件
6.4 示例
7. 四边形
7.1 新增工件
7.2 配置工件
（1）工件信息
| 工件ID | 工件ID，通常用于换产时机器人切换工件，可修改 |
|---|---|
| 工件名称 | 默认的工件名称是四边形&工件ID |
| 工件类型 | 默认四边形 |
| 工件几何形状 | 四边形工件需选择矩形或非矩形，切换工件形状来切换视觉算法，更好地适配不同形状的四边形工件 |
| 视觉模型 | 用于从场景中分割出实例，四边形工件采用四边形通用模型对实例进行分割，若四边形通用模型对实例的分割效果不佳，可应用影子模式优化视觉模型。 |
| 点云文件 | 非必填项，当现场精度要求高、点云边缘情况较差、四边形拟合误差较大时，可勾选视觉参数-物体姿态修正，并上传点云模板进行四边形的姿态修正，可选取历史数据中的\Builder\pose\output\inverse-pcd文件当作点云模板。 |
| 相机配置 | 可选择相机配置，成像不同 |
（2）工件配置
| 长度(mm) | 非必填项，当四边形的抓取点偏离中心时，预先配置四边形的长度和宽度，作为四边形拟合的先验数据，有助于四边形拟合更精细。 |
| 宽度(mm) | 非必填项，当四边形的抓取点偏离中心时，预先配置四边形的长度和宽度，作为四边形拟合的先验数据，有助于四边形拟合更精细。 |
（3）抓取点
| 抓取点 | 四边形工件的抓取点默认设置为四边形中心 |
（4）模型训练
| 影子模式 | 可选项，若四边形通用模型对实例的分割效果不佳，可应用影子模式优化视觉模型的分割效果。影子模式需使用真实运行的数据训练模型，优化视觉模型的分割效果，具体操作请参照如何使用工件影子模式 |