外观
节拍异常的常见场景与解决方案
1. 系统配置
（1）模式选择：调试模式 -> 极速模式
- 减少保存历史数据数据量
（2）影子模式：开 -> 关
- 保存影子模式数据
- 实例多时，mask的序列化也非常耗时
（3）记忆模式：开 -> 关
- 开启记忆模式需要和前一次的结果比较，实例越多越耗时
（4）位姿计算个数：计算数量越多越耗时
（5）抓取逻辑：
- 拍一抓一：每次都重新计算
- 拍一抓多：计算一次后会缓存结果，下一次直接从缓存中获取
（6）实例点云生成时机：
- 分割后：全量实例计算
- 过滤后：过滤掉一部分实例后计算（可能影响全局排序）
（7）抓取策略
- 动态调整机制：选择工件姿态相关策略，会动态向后调整排序时机，计算全部实例的姿态后再排序，非常耗时（开启视觉计算加速模式后除外）
2. 2D识别
（1）基于CAD的合成数据训练（一键联通）
| 场景 | 预期节拍 | 异常处理 | 备注 | |
|---|---|---|---|---|
| 拆垛（纸箱/麻袋） | 0-2000 ms | 实例数量很多（超过50个），节拍大于2s 不勾选是否返回掩膜  | / | |
| 通用工件（有序/无序/定位装配） | 轴对称包围盒 | 0-2000 ms | / | |
| 有向包围盒 | 0-3500 ms | 使用trt模型可以将节拍减少到 0 - 2000 ms | ||
| 面型工件（有序/无序/定位装配） | 0-2000 ms | / | ||
| 圆面/圆柱/四边形 | 0-2000 ms | / | ||
注：自动增强节拍根据缩放比例和旋转角度数量叠加，如2个缩放比例和2个旋转角度，节拍预期是正常节拍2*2=4倍
| 缩放比例 | 旋转角度 | 预期节拍 |
|---|---|---|
| [1.0] | [0, 90] | 2x正常节拍 |
| [0.5, 0.8, 1.0] | [0, 90] | 6x正常节拍 |
（2）点云分割
实例分割3D
| 场景 | 预期节拍 | 异常处理 | 备注 |
|---|---|---|---|
| 面型工件有序（物料相互孤立） | 0-3000 ms | 场景点云过大，适当增大降采样点间距，同步增大点云搜索半径 | 点云数量越大，节拍越久实例越多，节拍越久 |
3. 3D匹配
| 类型 | 预期节拍 | 异常处理 | 备注 | |
|---|---|---|---|---|
| 刚体变换 | 0-500 ms | 暂无 | 使用双模型节拍会在0-1000ms | |
| 基于掩膜的抓取点生成 | 50-1000 ms | 暂无 | 麻袋拆垛选择自身垂直坐标系会增加耗时约200ms左右 | |
| 基础几何形状拟合 | 0-500ms | 暂无 | / | |
| 3D配准icp的节拍 | 粗匹配 | 0-500ms | 降采样参数 | / |
| 精匹配 | 0-2000ms | 点云降采样（工件点云） | / | |
4. 功能性插件
| 类型 | 预期节拍 | 异常处理 | 备注 |
|---|---|---|---|
| 底托检测 | 50-1000 | 暂无 | / |
| 碰撞检测 | 料框检测：0-500 ms碰撞检测：0-300 ms | 暂无 | / |
| 视觉分类 | 0-500 ms | 暂无 | / |
5. 常用函数
（1）2D预处理
| 类型 | 预期节拍 | 异常处理 | 备注 |
|---|---|---|---|
| 边缘增强 | 20-200 | 节拍慢可在任务管理器关闭其它多余的程序，为边缘增强提供更多的计算资源 | 过滤法向量大于角度阈值的点，使用多线程并行计算，正在运行的其它程序过多占用大量CPU计算资源导致卡顿 |
| 提取上层纹理 | 0-800ms | 降低聚类点云数量 |  |
| 去除roi3d外的图片背景 | 0-300 | 暂无 | / |
（2）点云生成
| 类型 | 预期节拍 | 异常处理 | 备注 |
|---|---|---|---|
| 通过掩膜 | 0-500 | 暂无 | 10个实例运行约130ms |
| 通过包围盒 | 0-300 | 暂无 | 6个实例运行30ms |
| 去除roi3d外的图片背景 | 0-300 | 暂无 | / |
（3）3D预处理
| 类型 | 预期节拍 | 异常处理 | 备注 |
|---|---|---|---|
| 点云降采样 | 0-200 ms | 暂无 | 点云数量在20万以内 |
| 点云去除离群点 | 0-500 ms | 暂无 | 点云数量在20万以内 |
| 点云平面分割 | 0-200 ms | 暂无 | 点云数量在20万以内 |
| 计算法向量 | 0-200 ms | 暂无 | 点云数量在20万以内 |
| 滤除物体距离超限的点云 | 0-300 ms | 暂无 | / |
| 点云聚类降采样 | 0-300ms | 在函数前增加【点云降采样（工件点云）】 | >=1.7.2 |
| 点云轮廓提取 | 0-300ms | 暂无 | / |
| 移除法线大于角度阈值的点 | 20-200ms | 暂无 | / |
（4）抓取点过滤
| 类型 | 预期节拍 | 异常处理 | 备注 |
|---|---|---|---|
| 夹具抓取的碰撞检测 | 0 - 500 ms | 暂无 | 和输入夹具的面片数量有关，面片数量越多节拍越长，面片数量有限制在500以内 |
| 判断抓取点上层遮挡 | 5-30 | 暂无 | / |
（5）抓取点调整
| 类型 | 预期节拍 | 异常处理 | 备注 |
|---|---|---|---|
| 基于轴旋转的姿态调整 | 0-2000ms | 降低旋转角度范围（对称角度） 单独制作点云特征多，数量小的模版传入函数的模版点云路径，或使用边缘进行优化 评估模式选择Fast加速，警告：初始姿态不准或者抓取点未在对称中心时影响效果  | 点云模版越大，耗时越大 |
| 根据平面发现细化姿态函数 | 0 - 200 ms | 暂无 | / |
| 对称中心姿态优化 | 0-1000ms | 减小搜索范围 增加图像缩放比例 镜像模式下减小旋转角度（10-30） 精度要求较低时可降低投影分辨率 | 1.7.1版本存在旋转模式显存占用和耗时异常问题，如果满足镜像对称条件，使用镜像对称模式；不符合时联系产研。需要联系定制或升级1.7.2 |
| 计算法向量 | 0-200 ms | 暂无 | 点云数量在20万以内 |
| 滤除物体距离超限的点云 | 0-300 ms | 暂无 | / |
| 点云聚类降采样 | 0-300ms | 在函数前增加【点云降采样（工件点云）】 | >=1.7.2 |
| 点云轮廓提取 | 0-300ms | 暂无 | / |
| 移除法线大于角度阈值的点 | 20-200ms | 暂无 | / |
（6）实例排序
- XYZ、roi距离、机械臂距离等需要提取点云的策略
- 单个工件预期耗时：0.003s-0.03s，工件点云数越多，耗时越多。