V1.9.0 更新说明
约 5435 字大约 18 分钟
前言
| 版本号 | |
|---|---|
| PickWiz | 1.9.0 |
| PickLight | 1.9.0 |
| GLIA | 0.6.0 |
| RLIA | 0.3.5 |
| MixedAI | 0.7.0 |
| DexSense SDK | 0.0.2 |
| Stereo | 4.3.4 |
PickWiz 1.9.0版本是基于PickWiz 1.8.4版本的较大升级版本,适配了新的双目相机KINGFISHER-W-3004、GPU显卡型号NVIDIA RTX 5050(8G),升级了系统底层工具链至CUDA 12.8版本,导入了AI 结构光算法、端到端姿态估计(SIPE)作业运行模式两个新功能,同时进一步提升了一键联通、影子模式等重点功能的覆盖度和可用性。
在硬件兼容适配方面,本版本新增适配了新上市的 KINGFISHER-W-3004 双目相机、NVIDIA RTX 5050显卡(8G)。
在系统精度提升方面,本版本在 XEMA 系列相机中新增导入了 AI 结构光算法,能够很好地解决高反光工件成像点云稀疏、点云缺失等痛点问题,实现稳定、高精度的3D视觉引导。
在系统节拍优化方面,本版本在通用工件有序上下料、通用工件定位装配作业中新增了 端到端姿态估计(SIPE)的作业运行模式,可提升50%的作业运行速度。同时将系统预加载的通用视觉模型替换为 TRT 格式、一键联通结果导出时也可直接导出 TRT 等不同格式的视觉模型,大幅提升了 TRT 模型的覆盖度和获取易用性,同时将视觉模型的推理速度提升了60%以上。
在模型训练优化方面,本版本新增支持KFC系列相机的成像模型使用一键联通、影子模式功能进行训练和优化,支持同一个模型进行多次影子模式训练和优化,支持对一键联通旧训练框架输出的模型进行影子模式训练和优化,对使用工件关键点的模型统一进行关键点重排序、从而提升模型推理效果。
在系统易用性方面,本版本优化了一键联通数据增强策略,同时支持实时预览数据渲染效果,降低一键联通任务配置难度、提升任务成功率。
在系统稳定性方面,修复了部分已知问题。
V1.9.0版本安装、升级注意事项:
安装V1.9.0版本时,系统会自动校验当前系统环境的CUDA版本,并自动升级至CUDA 12.8版本,同时显卡驱动版本需不低于591.86,低于此版本需先手动升级至591.86及以上版本。
由于CUDA 12.8版本与其历史版本不兼容,因此升级至V1.9.0版本时需谨慎,升级后带来的影响有:
CUDA版本、CUDA驱动版本一旦安装/升级成功后无法直接回退至历史版本,需强制刷机才能回退历史版本。
通用工件有序上下料、通用工件无序抓取作业中,历史版本使用的视觉模型(带关键点)在V1.9.0版本中将不可用,需在V1.9.0版本中重新提交一键联通任务训练模型。
其他作业的视觉模型(不带关键点)可继续在V1.9.0版本中正常使用,历史版本保存的影子模式训练数据也可继续在V1.9.0版本中使用。
成功升级至V1.9.0版本后需立即重启工控机,确保底层工具链、工具库等正常加载和更新。
功能新增
1. 新增双目相机
支持新上市的 KINGFISHER-W-3004 双目相机,未来项目可走正常流程供货。
相机概述
KINGFISHER-W-3004 双目相机在前代基础上进行了升级:
分辨率由1280×1024提升至1920×1080,画面更清晰细腻。
视场角由53°×43°扩展至67°/44°(H/V),覆盖范围更广。
采用TCP通信协议,连接更稳定,有效降低掉线、丢包等风险。
整机体积更小、重量更轻,采用1根POE网线供电,部署更简洁、灵活。
相机指标
| 相机型号 | KINGFISHER-W-3004 |
|---|---|
| 基线长度(mm) | 400 |
| 视场角(H/V) | 67°/44° |
| 推荐工作距离(mm) | 1500 ~ 3500 |
| 相机视野(mm) | 近端视场(1500mm):1751 × 1231 远端视场(3500mm):4620 × 2873 |
| 分辨率 | 1920 x 1080 px |
| 相机尺寸(mm) | 464 × 35 × 54(长 × 宽 × 高) |
| 安装方式 | 眼在手外 |
典型场景成像效果
| 场景 | 左目 | 右目 | 点云图 |
|---|---|---|---|
| 金属圆棒(拍摄距离:1500mm) | ![]() | ![]() | ![]() |
| 麻袋(拍摄距离:2000mm) | ![]() | ![]() | ![]() |
2. 新增AI结构光模式
针对镜面、抛光、油污等高反光工件、和黑色吸光工件的点云成像问题,除了原 HDR 多曝光模式之外,本版本在 XEMA 系列相机新增导入了 AI 结构光算法。当连接的相机是 XEMA 系列相机时,可在相机配置详情页中选择【AI结构光】模式、上传支持 AI 结构光算法的成像模型后,即可使用 AI 结构光模式进行点云成像。
| XEMA 系列相机新增 AI 结构光模式 |
|---|
![]() |
对比原 HDR 多曝光模式,AI 结构光算法在高反光工件点云成像方面具有一定优势,能够在汽车零部件、金属机加工、新能源电池、铸锻件等工业场景中解决点云缺失、点云稀疏等痛点问题,实现稳定高效的3D视觉引导。
| 工件图片 | 原结构光方案 | AI结构光方案 |
|---|---|---|
![]() | ![]() | ![]() |
![]() | ![]() | ![]() |
![]() | ![]() | ![]() |
![]() | ![]() | ![]() |
关于 AI 结构光算法的注意事项:
若需要使用支持 AI 结构光算法的成像模型,请提模型训练单至产研侧,由产研训练和提供模型。
使用支持AI结构光算法的成像模型进行手眼标定时,需先切换到非AI结构光模式完成手眼标定,再正常使用AI结构光模式。
支持 AI 结构光算法的成像模型,暂时不支持一键联通、影子模式等功能。
FINCH 系列相机暂时不支持 AI 结构光算法。
单卖相机硬件、未搭配PickWiz软件时无法使用 AI 结构光算法。
3. 新增端到端姿态估计(SIPE)作业运行模式
前期双目视觉方案通常采用先成像、后检测的分离式、串联式作业流程,在实际工业场景应用中容易产生点云成像速度慢、视觉节拍较长等问题。

本版本在通用工件有序上下料、通用工件定位装配两个作业类型中新增了一种作业运行模式:端到端姿态估计(SIPE)模式。当连接的相机是 KINGFISHER 或 KFC 系列相机时,在作业运行模式中选择端到端姿态估计模式、在工件配置页面上传支持端到端姿态估计算法的模型后,作业运行时即可采用端到端的形式直接生成实例点云、姿态估计结果等,从而减少系统耗时、提升作业运行节拍。详细功能介绍请见SIPE 端到端姿态估计使用指南。
| 通用工件有序上下料新增作业运行模式 | 通用工件定位装配新增作业运行模式 |
|---|---|
![]() | ![]() |
经场内测试,在场景、工件、作业配置、相机、工控机等因素均相同的情况下,端到端姿态估计(SIPE)模式的平均占用显存相比串行化模式/并行化模式减少约50%,作业平均耗时相比串行化模式/并行化模式减少约20%~50%。
![]() | ![]() |
|---|
平均显存占用(G)对比:端到端姿态估计(SIPE)模式 < 并行化模式 ≈ 串行化模式
作业平均耗时(s)对比:端到端姿态估计(SIPE)模式 < 并行化模式 < 串行化模式
关于端到端姿态估计(SIPE)模式的注意事项:
若需要使用支持端到端姿态估计(SIPE)算法的端到端模型,请提模型训练单至产研侧,由产研训练和提供模型。
目前只支持通用工件有序上下料、通用工件定位装配两个作业类型,在连接 KINGFISHER 或 KFC 系列相机 时使用端到端姿态估计(SIPE)模式,其他作业类型、其他系列的相机暂时不支持端到端姿态估计(SIPE)模式。
支持端到端姿态估计(SIPE)算法的端到端模型,暂时不支持一键联通、影子模式、假面模式等功能。
4. 一键联通
- 通过一键联通功能完成视觉模型训练后,可直接导出 ONNX、TRT、PTH 等不同格式的模型结果,且同一格式的模型可兼容不同型号的显卡(3050 / 3060 / 5050)、推理性能基本相同,用户可根据项目需求选择所需格式的模型,不需要再手动转换模型格式。
| 一键联通直接导出不同格式的视觉模型 |
|---|
![]() |
目前只支持视觉模型可直接导出不同格式的模型结果,成像模型若需要使用 TRT 模型还需手动转换。
5. 工控机
新增适配了NVIDIA RTX 5050显卡(8G),确保高配置工控机可稳定供货,经场内对各个作业类型的性能测试,在场景环境、工件数量、相机硬件、工控机内存等因素均相同的情况下,系统运行在5050显卡上的节拍耗时、显存占用情况介于3050显卡、3060显卡之间,而CPU占用情况会略高于3050显卡、3060显卡,即
系统节拍耗时(s)对比:3060 < 5050 < 3050
系统显存占用(G)对比:3050 ≈ 5050 < 3060
系统CPU占用(%)对比:3060 ≤ 3050 < 5050
功能优化
1. 相机
- 连接KINGFISHER-S-602、KINGFISHER-W-3004等KFC系列相机时,支持通过一键联通、影子模式功能对成像模型进行训练,从而优化KFC系列相机的成像效果。
| 支持一键联通训练KFC系列相机成像模型 | 支持影子模式训练KFC系列相机成像模型 |
|---|---|
![]() | ![]() |
完成 Windows 平台下 XEMA、KFC、FINCH、SPARROW等系列相机的统一 SDK 接入,规范设备发现、设备连接、参数配置、图像采集、设备标定等接口,提升了多型号相机接入的一致性与可维护性。
优化相机日志文件保存机制,避免相机日志文件过大无法打开的问题。
2. 一键联通
针对一键联通旧训练框架训练的视觉模型,也支持通过影子模式功能进行训练,实现在端侧优化旧训练框架视觉模型的效果。
针对使用工件关键点的视觉模型,在模型训练、导入、推理等过程中统一对关键点进行重排序,避免因关键点乱序导致姿态匹配不准、系统报错等问题。
3. 作业运行模式
作业信息页面新增“作业运行模式”字段,可查看、切换当前作业的运行模式,如串行模式、并行模式、端到端姿态估计(SIPE)模式等,同时删除原 “视觉计算配置” 中的 “视觉计算加速” 开关,优化用户使用体验。
| 作业信息页面(支持端到端姿态估计) | 作业信息页面(不支持端到端姿态估计) | 视觉计算配置页面 |
|---|---|---|
![]() | ![]() | ![]() |
4.工件
- 支持实时预览一键联通数据渲染效果,在工件配置页面中填写相机高度范围时,可根据当前配置的工件网格文件、来料形式、相机高度等信息实时生成一键联通的数据渲染效果。成功提交一键联通训练任务后,系统将按照输入的相机高度范围进行数据渲染和模型训练,即相机的实际挂高、页面输入的相机高度范围、数据渲染和模型训练使用的相机高度范围保持一致,降低用户配置参数的难度,避免因相机高度配置问题而导致一键联通训练任务失败。
| 工件配置页面支持预览一键联通数据渲染效果 |
|---|
![]() |
- 系统预加载的通用视觉模型,如纸箱、麻袋、圆面、长/短圆柱、四边形等,统一替换为 TRT 格式,对比旧版本的通用视觉模型,模型推理速度提升了60%以上、同时显存占用降低了60%左右,进一步优化了系统模型推理性能。
| 工件配置页面通用视觉模型统一替换为 TRT格式 |
|---|
![]() |
目前系统预加载的模型中,只有通用视觉模型、拆垛通用成像模型为 TRT 格式,其他通用成像模型仍为 ONNX / PTH格式,若需要使用 TRT 模型需手动转换。
5.影子模式
支持对同一个模型进行多次影子模式训练,统一对齐了一键联通和影子模式功能中,模型训练完成后输出的数据目录结构,从而实现对模型效果的持续提升和优化。
完善了视觉模型进行影子模式训练时所需文件资源的下载机制,避免系统在创建工件或开启影子模式训练时出现报错或卡顿等问题。
6.案例库
案例库中各个案例使用的成像模型、视觉模型、文件资源等更新至最新版本,为项目/作业模板提供最新的模型能力。
7.其他
关闭软件主界面后系统自动关闭所有后台进程,避免因后台进程未及时关闭而导致软件报错或无法重新打开等问题。
问题修复
- 修复了视觉计算加速(并行化)模式开启后,不支持的视觉计算配置仍然生效的问题。
来源:[需求]【修复】【并行化】开启视觉计算加速时,不支持的视觉计算配置需要默认关闭
- 修复了在 “隔板和底托检测” 插件中选择 “颜色分类模式” 时系统爆显存的问题。
来源:[问题收集] 隔板识别插件选择颜色分类模式会爆显存报错
[需求]【问题收集转需求】【修复】解决隔板检测插件选择颜色分类模式时爆显存的问题
- 修复了TRT模型推理后未自动清理缓存导致系统显存占用异常的问题。
来源:[缺陷]【问题收集转bug】模型推理后未自动清理显存缓存
[问题收集] pickwiz1.8.4版本软件,通用工件有序上下料显存占用异常影响节拍
已知问题
关于XEMA系列相机选择“AI结构光”模式拍照时黑白图片带有条纹的问题,规划在后续版本中解决优化。
关于工件配置中录入作业环境但实际未生效的问题,规划在后续版本中解决优化。
来源:[缺陷]<PickWiz>一键联通-创建有序/无序识别类型场景,可正常录入环境但是对应配置包中没有导出
- 关于工件配置中“低密度”工件属性只支持“识别局部特征”插件的问题,规划在后续版本中解决优化。
来源:[缺陷]<PickWiz>一键联通-工件属性勾选低密度发起训练,渲染阶段失败提示缺少局部网格文件,该属性目前只支持在识别局部插件中使用,其它场景建议屏蔽
- 关于带料框场景中料框成像效果不佳、需训练优化的问题,规划在后续版本中解决优化。
来源:[缺陷]<PickWiz>相机-训练KFC V2带料框的成像模型,实际成像料框点云塌陷
- 关于RCNN模型完成影子模式训练后转换为TRT格式时,转换时间可能比较长的问题,规划在后续版本中解决优化。
来源:[缺陷]<PickWiz>一键联通-案例库通用有序旧模型,训练异常报“TRT export pipeline failed: remote TRT pipeline command did not finish before the deadline”
- 关于TRT成像模型在不同型号显卡上的推理性能有差异的问题,规划在后续版本中解决优化。
来源:[缺陷]<PickWiz>Ai结构光当前不能兼容外部导入的trt模型,只有本地导出的trt模型才能兼容使用
- 关于模型及对应文件容易因切换工控机或删除操作而丢失的问题,规划在后续版本中解决优化。
来源:[缺陷]<PickWiz>影子模式-导出项目配置,切换到其他工控机,或删除本地模型文件夹(在项目配置之外),发起影子模式训练失败,缺少ewc等文件






























