SIPE 端到端姿态估计使用指南
约 2115 字大约 7 分钟
SIPE(End-to-End Stereo-based Pose Estimation,双目端到端姿态估计)是 PickWiz 1.9.0 引入的作业运行模式。它以相机任意目 RGB 图片作为输入,直接输出实例点云的姿态估计结果,用于替代传统「先深度重建、再理解目标」的串联式流程。
本指南介绍 SIPE 端到端姿态估计的适用范围、启用方式、配置差异、运行校验和前向兼容行为。作业运行模式的通用说明,请参照作业操作指南中的「作业运行模式」一章。
1. 功能说明
传统双目视觉方案采用先成像、后检测的分离式流程:先由双目图像完成深度重建,再在重建的点云上理解目标工件。该流程节点链路较长,在实际工业场景中容易出现两个问题:
- 点云成像速度慢,影响作业节拍。
- 工作距离越远,双目视差精度下降,影响定位精度。
SIPE 将成像与姿态估计合并为一个端到端流程,以相机任意目 RGB 图片为输入,直接生成实例点云姿态估计结果,从而缩短处理链路。在场景、工件、作业配置、相机和工控机等因素相同的场内测试中,相比串行化或并行化模式,SIPE 模式的平均显存占用减少约 50%,作业平均耗时减少约 20%~50%。
2. 适用范围
2.1 支持的作业类型
PickWiz 1.9.0 中,以下作业类型支持选择端到端姿态估计:
- 通用工件有序上下料
- 通用工件定位装配
其他作业类型的「作业运行模式」下拉框中不显示「端到端姿态估计」选项。

2.2 支持的相机
端到端姿态估计模式仅支持双目相机 KINGFISHER
若当前作业未连接相机,或已连接的相机为上述双目相机,可直接选择该模式。若已连接的相机不是双目相机,软件会弹出提示,提示内容为「端到端姿态估计模式不支持当前选择的相机类型」。
3. 选择端到端姿态估计模式
在作业信息配置页面中,通过「作业运行模式」字段选择运行模式,操作步骤如下:
进入当前作业的作业信息配置页面。
在「作业运行模式」下拉框中选择
端到端姿态估计。按第 4 章的说明,完成端到端模式下的相机配置与工件配置。
「作业运行模式」为必填的单项选项字段,同一个作业在同一时间内只能选择一种运行模式。
鼠标悬停在「作业运行模式」字段右侧的图标时,显示字段说明:「设置当前作业的运行模式,包含串行化、并行化(视觉计算加速)、端到端姿态估计,不同作业类型可支持的运行模式也不同。」
4. 端到端模式下的配置差异
选择端到端姿态估计模式后,部分配置页面会自动调整显示。未在下表中列出的页面与字段,均与串行化模式保持一致。
| 配置页面 | 端到端模式下的变化 |
|---|---|
| 相机配置 | 「相机品牌」只支持 KINGFISHER 与 KFC |
| 工件配置 | 配置「端到端模型」 |
| 视觉参数 | 不支持视觉计算配置模块:避免重复抓取同一工件、同一工件最大抓取次数、是否高频切换作业、位姿计算个数、位姿计算异常报警 |
| 功能选项 | 不支持识别正反、识别类型、识别局部特征、底托检测、隔板和底托检测 |
| 一键联通 / 影子模式 / 假面模式 | SIPE 端到端模型暂不支持以上功能 |
| 统计页面 | 功能及页面保持不变 |
| 生产界面 | 功能及页面保持不变,日志区显示的日志信息、实时工况和视觉结果视窗中的内容会有变化 |
4.1 相机配置
选择端到端姿态估计模式后,相机配置页面会做两处调整:
- 相机品牌」字段只显示
KINGFISHER和KFC两个选项。 - 无「成像模型」字段。
4.2 工件配置
选择端到端姿态估计模式后,工件配置页面会做两处调整:
配置「端到端模型」字段,用于加载 SIPE 模型。
注意:
PickWiz 1.9.0 不为「端到端模型」预置通用 SIPE 模型。使用前需先获取与当前工件匹配的 SIPE 模型并上传至该字段,否则端到端姿态估计无法运行。
5. 运行校验与提示
选择端到端姿态估计模式后,点击运行作业时,软件会校验当前作业的数据来源与相机类型。校验不通过时,当前页面弹出提示。
校验规则如下:
| 数据来源 | 校验条件 |
|---|---|
| 相机数据 | 当前作业连接的相机需为 KINGFISHER 或 KFC 双目相机,且当前作业的工件配置中已上传 SIPE 端到端模型 |
| 历史数据 | 历史作业配置中的相机需为 KINGFISHER 或 KFC 双目相机,且当前作业的工件配置中已上传 SIPE 端到端模型 |
任一条件不满足时,软件提示当前作业运行模式仅支持 KINGFISHER / KFC 系列双目相机拍摄的数据。
注意:
历史数据暂不记录其是否来自双目相机。运行历史数据时,需自行确认该数据的相机来源,并确认当前作业的工件配置已上传 SIPE 端到端模型。
6. 模式切换与前向兼容
6.1 默认运行模式
新建作业时,「作业运行模式」默认为串行化。需要使用时,请手动切换为端到端姿态估计。
6.2 关闭端到端姿态估计模式
端到端姿态估计模式与并行化(视觉计算加速)模式互斥,同一作业同一时间内只能选择一种。软件会记录开启端到端姿态估计之前该作业的运行模式;关闭端到端姿态估计模式后,作业切换回原来的运行模式。若原来的运行模式为空,则切换回串行化。
6.3 升级与加载已有作业
- 从旧版本升级到 PickWiz 1.9.0 时,保留原有的作业配置与作业运行方式,不自动开启端到端姿态估计模式。
- 从菜单中加载已有的通用工件有序上下料或通用工件定位装配项目、作业时,「作业运行模式」显示该作业已选择的运行模式,不自动开启端到端姿态估计模式。
7. 性能参考
在场景、工件、作业配置、相机和工控机等因素相同的场内测试中,相比串行化或并行化模式,开启端到端姿态估计后:
- 作业平均耗时减少约 20%~50%。
- 平均显存占用减少约 50%。
8. 相关文档
- 作业操作指南:作业运行模式的定义、选择方式与作业类型对应关系。
- 视觉计算配置功能使用指南:并行化(视觉计算加速)模式的适用范围与限制。
- 工件配置指南:工件配置页面各字段的说明。
- 相机连接与调参指南:相机连接、成像模型与相机参数调整。
- 3D姿态匹配估计配置指南:姿态估计方式的选型说明。