影子模式使用指南
约 1889 字大约 6 分钟
1. 影子模式概述
在深度学习模型中,影子模式是一种数据增强手段,将实际场景中模型运行积累的真实数据,重新用于训练模型,增加数据的多样性,提高模型的泛化能力。
2. 选择影子模式
| 模式 | 优化对象 | 适用条件 | 最低训练数据量 | 配置入口 |
|---|---|---|---|---|
| 工件影子模式 | 视觉模型的实例检测效果 | 同类物体检测成功率已达到 95% 以上,需要继续提升 | 100 份 | 工件配置界面 |
| KINGFISHER 影子模式 | 双目相机成像模型的点云效果 | 70%~90% 区域成像良好,但存在工件或料框点云局部塌陷 | 20 份机械臂触发保存的数据 | 双目相机配置界面 |
SIPE 模型限制
V1.9.0 的 SIPE 端到端模型暂不支持影子模式、假面模式或一键联通。本指南的训练步骤适用于支持影子模式的普通视觉模型和成像模型。
3. 工件影子模式
3.1 适用场景与数据要求
现场已经实现了对同一种物体95%+以上的检测成功率,期望达到99.9%时,可自行使用影子模式训练模型。
V1.9.0 支持对一键联通旧训练框架输出的视觉模型进行影子模式训练,也支持对同一个模型进行多次影子模式训练,以持续优化模型效果。通用工件有序上下料、通用工件无序抓取作业中,历史版本的带关键点视觉模型在 V1.9.0 中不可用,需先重新提交一键联通任务训练。
使用前确保影子模式总数据量达到要求,最少为 100 份影子数据。
3.2 开启影子模式
在主界面点击工件,选择具体工件进入工件配置界面,向下滚动至影子模式,然后点击开启影子模式。
3.3 配置保存策略
根据实际情况设置影子模式训练数据的保存策略和最大保存数据量或数据份数。超出设置的最大值时,系统会自动删除写入时间最早的数据。
- 按固定大小保存:单位为 GB,可选范围为 [0.01, 5],默认值为 1 GB。
- 按固定数量保存:单位为份,可选范围为 [100, 1000],默认值为 150 份。
3.4 编辑作业环境
当模型存在漏检的风险,需要新增作业环境的底托/托盘/地面数据去增强训练,帮助模型去澄清识别对象。
点击编辑作业环境可支持查看编辑无工件实例信息的影子数据样本,你需要在作业环境数据中,删除不含任何工件的样本数据作为作业环境(极小概率下,样本可能存在工件未识别出的情况,这种样本会误导模型,需要删除,参考右下图),保证作业环境数据不含工件,只含底托/托盘/地面,用于后续影子的训练,避免模型误识别到底托/托盘/地面等非工件物体。
提示
样本要求为完全无法检测的 2D 识别错误样本;被函数过滤的 2D 错误或 3D 错误样本不会在编辑作业环境中显示或生效。
3.5 配置并开始训练
- 选择待训练模型。
- 设置迭代次数。默认值为 50 次;迭代次数越多,模型训练时间越长,通常建议保持 50 次,也可根据实际情况调整。
- 选择训练数据来源:
- 实例过滤后:默认选中,适用于存在错误分割且需要过滤处理的情况。
- 实例过滤前:适用于工件分割效果良好的场景。
- 设置模型名称。
- 根据需要填写备注。
- 根据需要选择离线处理。
- 点击
开启训练。
3.6 使用训练后的模型
训练结束后,可在视觉模型下直接选择并使用新模型。
3.7 常见问题
影子数据保存在哪里?
- 实例过滤后存储路径:
\项目文件夹\data\ShadowDate\product_{工件id}\InstanceCriteria - 实例过滤前存储路径:
\项目文件夹\data\ShadowDate\product_{工件id}\InstanceBuilder


训练后的模型效果不佳,如何处理?
- 检查检测物料和影子模式训练时的物料是否为同一类别。
- 在工件界面检查工件模型是否已更换为最新训练的深度学习模型。
- 在视觉参数界面尝试调节 2D 识别中的缩放比例。
- 单个缩放比例无法满足实际场景时,在视觉参数界面勾选自动增强函数并设置多个自动增强-缩放比例。详见2D实例分割配置指南。
4. KINGFISHER 影子模式
4.1 适用场景与数据要求
V1.9.0 支持对 KINGFISHER-S-602、KINGFISHER-W-3004 等 KFC 系列相机的成像模型使用影子模式训练。
当前相机使用的成像模型对 70%~90% 的区域成像良好(但存在工件/料框点云局部塌陷),需要持续提升点云成像效果时,可通过真实场景的影子数据进行训练,获取效果更佳(95%+区域成像良好)的微调模型。
使用前确保影子模式总数据量达到要求,最少为 20 份影子数据,且仅使用机械臂触发保存的数据。

4.2 开启影子模式
在主界面点击相机,进入相机配置界面连接双目相机,滚动条下滑至成像模型影子模式,勾选开启成像模型影子模式。
4.3 配置保存策略
根据实际情况设置影子模式训练数据的保存策略和最大保存数据量或数据份数。超出设置的最大值时,系统会自动删除写入时间最早的数据。
- 按固定大小保存:单位为 GB,可选范围为 [0.01, 5],默认值为 1 GB。
- 按固定数量保存:单位为份,可选范围为 [100, 1000],默认值为 150 份。
4.4 配置并开始训练
- 迭代次数保持默认值。
- 设置模型名称。
- 根据需要填写备注。
- 点击
开启训练,等待模型训练完成。
4.5 使用训练后的模型
完成训练后,在模型配置中选择对应的新模型,然后点击触发拍照查看效果。