跨维智能产品文档中心

简体中文

English

简体中文

English

外观

V1.8.3更新说明

约 5670 字大约 19 分钟

V1.8.3 更新说明

前言

版本号Camera SDK
PickWiz：1.8.3Xema：1.5.5
PickLight：1.8.3Finch：1.3.0
GLIA：0.5.3Sparrow：3.5.4
RLIA：0.3.4Stereo：4.3.4
MixedAI：0.6.2Enumerate：1.0

PickWiz 1.8.3版本是基于PickWiz 1.8.2.1的优化版本。

在系统功能可用性方面，本版本新增支持了新上市的KINGFISHER-S-602双目相机，更新了双目成像通用模型，优化了双目成像效果和速度；优化了函数并行化处理机制，可有效支撑系统耗时要求较高、实例数量较多的项目；并更新了软件英文版至最新版本，满足海外市场拓展需求。

在系统功能易用性方面，本版本优化了校正相机精度的算法和功能，大大降低了校正相机精度的操作复杂度；对一键联通、影子模式两个功能也进行了统一梳理和优化，提升模型二次训练功能的完整性、一致性和易用性，同时帮助用户提高模型训练任务的成功率。

在系统整体稳定性方面，本版本修复了一部分已知的问题或bug，详见【问题修复】部分。

本版本具体更新如下：

功能新增

1. 相机

  1. 支持新上市的 KINGFISHER-S-602 双目相机，未来项目可走正常流程供货。

    • 相机概述

    KINGFISHER-S-602相机是基于KINGFISHER-S-601升级的纯视觉3D相机，具备更短的拍照时间、更稳定的千兆网接口、更小的相机体积等优势，适用于眼在手上的视觉任务。

    KINGFISHER-S-602 双目相机优势

    • 相机指标
参数项参数内容
相机型号KINGFISHER-S-602
推荐工作距离（mm）200 ~ 1000
相机视野（mm）近端视野：186×134 ，远端视野：1171×674；
分辨率1920 × 1080
相机尺寸（mm）100 × 52 × 52
安装方式眼在手上
典型场景成像效果药盒（300mm）：左目 右目 点云图
三通管（500mm）：左目 右目 点云图
足球（500mm）：左目 右目 点云图
标定精度
标定校验A5标定板（600mm）：
A5标定板（400mm）：

2. 点云模板制作

点云模板制作新增 “降采样” 、“对齐坐标原点” 和 “重置” 功能：

  • 支持对生成的点云模板进行降采样处理，减少点云模板的点云数量，提升点云匹配运算速度

  • 支持将点云模板中心一键对齐到坐标系原点上，提升工件抓取点设置效率

  • 支持将点云模板一键重置回到初始状态，重新对点云模板进行操作或处理

3. 一键联通

  1. 一键联通训练成像模型功能，新增支持面型工件有序上下料(图像匹配)、面型工件上下料(物料相互孤立)、面型工件定位装配(仅点云匹配)、面型工件定位装配(仅图像匹配)四个作业类型，至此所有通用工件/面型工件相关的作业类型均支持一键联通训练成像模型。

面型工件有序上下料(图像匹配)：

面型工件上下料(物料相互孤立)：

面型工件定位装配(仅点云匹配)：

面型工件定位装配(仅图像匹配)：

通用工件有序上下料、通用工件无序抓取作业勾选 “识别类型” 的功能选项后，也可正常发起一键联通任务训练成像模型。

  1. 创建一键联通训练任务时，新增任务进程通知功能，支持填写有DexVerse云平台权限的飞书账号中文姓名，当一键联通训练任务的状态发生变化时，对应的飞书账号将会接收到飞书消息通知，方便用户及时了解一键联通训练任务的进程或状态。

新增一键联通任务进程通知功能：

飞书账号接收到对应的消息通知：

“仅导出训练配置” 功能暂不支持订阅任务进程通知。

4. 视觉参数

  • “抓取点过滤” 模块中新增 “基于机器人坐标系下抓取姿态角度范围过滤” 函数，支持直接在机器人坐标系下设置抓取姿态指定旋转轴需要保留的角度范围，系统会自动将输出的抓取位姿换算到机器人坐标系下，若指定旋转轴的角度不在设定的角度范围内，该抓取点将会被过滤。

功能优化

1. 相机

  1. 双目成像通用模型更新至最新版本，同时预加载的 “拆垛通用双目模型” 默认为TRT类型，主要提升了拆垛通用双目模型的成像效果和推理速度、以及圆柱通用双目模型的成像效果。

拆垛通用双目模型（旧版本）成像效果：

拆垛通用双目模型（新版本）成像效果：

圆柱通用双目模型（旧版本）成像效果：

圆柱通用双目模型（新版本）成像效果：

  1. 优化双目相机的 “校正相机精度” 功能，优化了标定板识别算法和相机精度校正算法，同时将样本采集数量要求从25个减少为10个，大幅提升了标定板识别成功率和样本采集成功率，降低了校正相机精度的操作难度和复杂度。

双目相机 “校正相机精度” 功能：

“校正相机精度” 样本采集要求：

点击 “校正相机精度” 按钮、展开 “校正相机精度” 功能页面时，系统默认会自动打开 “显示过曝区域” 功能 、禁用 “连续采集” 按钮、选择 “单曝光” 的曝光类型并关闭 “2D图叠加曝光” 功能，收起 “校正相机精度” 功能页面时再自动恢复之前的配置。

校正相机精度时需要的参数配置：

  1. 连接双目 KINGFISHER-S-1201W 相机时，“相机配置” 页面新增 “分辨率模式” 字段，支持切换相机工作的分辨率为全分辨率模式/半分辨率模式，经测试，双目 KINGFISHER-S-1201W 相机在半分辨率模式下，相机取图时间可压缩至1秒多。

双目 KINGFISHER-S-1201W 相机新增 “分辨率模式” 字段：

2. 工件

  1. 更新了纸箱通用视觉模型，提升模型在纸箱混拆场景中的泛化能力，从而提高纸箱拆垛作业的视觉精度。

旧模型识别效果：

新模型识别效果：

  1. 新增 “网格文件尺寸单位” 字段，支持选择网格文件对应的尺寸单位（如米m或毫米mm），系统标准化网格文件时将会按照选定的尺寸单位进行标准化处理，避免出现网格文件标准化后因尺寸过大/过小导致一键联通任务训练失败的情况。

工件配置页面新增 “网格文件尺寸单位” 字段：

点云模板制作窗口新增 “网格文件尺寸单位” 字段：

  1. 新增 “相机距离工件的高度范围” 字段，支持输入相机距离工件的最小/最大高度，当系统发起一键联通训练任务时，将会按照输入的高度范围生成仿真数据、训练对应模型，从而提升模型在现场工况下的成像效果/识别精度。

工件配置页面新增 “相机距离工件的高度范围” 字段

  1. 在有序作业和定位装配作业中录入工件来料形式时，“物体堆放层数” 限制最多只能输入5层、来料形式限制不允许缩放工件大小，保持与一键联通训练任务中仿真数据的生成规则一致，提升一键联通训练任务的成功率。

“物体堆放层数” 最多只能输入5层：

来料形式限制不允许缩放工件大小：

3. 影子模式

  1. 支持设置影子模式训练数据的保存策略和保存上限值，同时将视觉模型影子模式的训练数据收集开关从 “视觉计算配置” 窗口中移动至工件配置页面，避免因保存的影子模式数据量过大而导致系统运行异常。

成像模型的影子模式页面：

视觉模型的影子模式页面：

影子模式训练数据的默认保存路径保持不变。

  1. 由于通用工件无序抓取、面型工件无序抓取这两个作业类型不支持视觉模型的影子模式训练，因此将这两个作业类型前端页面上的影子模式功能删除，避免用户产生误解。

注：

  1. 目前所有作业类型均支持成像模型的影子模式训练功能。

  2. 除了通用工件无序抓取、面型工件无序抓取、面型工件有序上下料(图像匹配)、面型工件定位装配(仅图像匹配)这四个作业类型之外，其余作业类型均支持视觉模型的影子模式训练功能。

4. 视觉参数

  1. 优化了矩形拟合算法，提升对 “长条型” 工件的矩形拟合能力，正常输出 “长条型” 工件的矩形拟合结果和抓取位姿，从而提高系统视觉计算精度。

优化前无法输出抓取位姿、且系统报错：

优化后系统正常输出抓取位姿：

  1. 由于面型工件定位装配（仅点云匹配）、面型工件定位装配（仅图像匹配）这两个作业类型不包含2D识别环节，因此删除这两个作业类型视觉参数页面中的2D识别模块，避免用户产生误解。

面型工件定位装配（仅点云匹配）不包含2D识别环节：

面型工件定位装配（仅图像匹配）不包含2D识别环节：

5. 函数并行化

  1. 进一步优化了函数并行化处理功能，解决了大部分函数串行化/并行化处理输出结果不完全一致的问题，能够有效支撑系统耗时要求较高、实例数量较多的项目。

    经过测试，在相同场景、相同硬件的前提下：

    • 函数串行化/并行化处理的视觉计算精度、显存占用情况基本相同。

    • 当视野中实例数量为5个时，函数并行化处理的系统耗时开始呈现优势，视野中的实例数量越多，函数并行化的系统耗时优势越明显。

    • 当视野中实例数量为20个时，函数并行化处理的系统耗时大约为串行化耗时的50%~60%。

    • 测试详情请见 PickWiz 1.8.3 函数串/并行工作流运行结果的一致性测试

纸箱单拆作业：

通用工件有序上下料作业：

基于圆面的有序上下料作业：

基于圆柱的有序上下料作业：

基于四边形的有序上下料作业：

6. 其他

  1. 更新软件英文版至最新版本，支撑海外市场拓展需求。

  1. 支持鼠标悬停/左键点击 “PickWiz快捷方式” 时快捷查看系统版本号信息，降低系统问题反馈难度。

  1. 隐藏 “视觉计算配置” 窗口中的 “发送抓取点个数” 字段，避免用户产生误解。

问题修复

  1. 修复了开启函数并行化模式后由于有效实例都被正常过滤导致系统异常报错的问题。

来源：[问题收集]并行化中，无有效实例时，未报无有效实例，而是报错，串行可正常报无有效实例

  1. 修复了由于一键联通训练模型之后导出的关键点文件发生变化，导致重新上传至系统工件配置页面时报错的问题。

来源：[需求]【优化】【一键联通】系统生成的关键点文件保持统一

  1. 修复了定位装配作业中不支持自定义录入来料形式的问题。

来源：[问题收集]通用工件定位装配选择大于1/3视野后上传一键联通未带有快照的目录

  1. 修复了由于未在工件配置页面录入来料形式、或者一键联通导出配置中缺少必要文件等原因，导致一键联通训练任务失败的问题。

来源：

[缺陷]<产品化>一键联通-创建通用有序识别类型场景，工件中录入对应环境，发起一键联通新旧模型训练，渲染阶段均失败

[问题收集]一键联通训练报错。

[缺陷]<产品化>前端bug——来料形式删除不掉

[缺陷]<产品化>一键联通-通用有序场景，录入来料形式，一键联通导出配置中缺少templ_pose.yaml等文件，导致一键联通训练失败

  1. 修复了视觉模型影子模式训练失败系统前端页面未及时报错的问题。

来源：[问题收集]带关键点的影子模式训练失败

  1. 修复了由于算法内部存在bug导致视觉模型影子模式训练时提示缺少依赖文件的问题。

来源：[问题收集]视觉影子训练报缺少依赖文件错误

  1. 修复了场外工控机未连接公司内网时双目成像模型开启影子模式训练失败的问题。

来源：[缺陷]<PickWiz>场外工控机未连接公司NAS时，双目成像模型进行影子模式训练时会失败。

  1. 修复了假面模式训练中修改纹理多样性选项后训练配置文件未对应修改的问题。

来源：

[问题收集]假面模式训练的模型效果不佳，1个产品被识别分割为2个

[缺陷]<PickWiz>假面模式，更改纹理多样性选项，似乎训练配置无对应变化

  1. 修复了连接双目相机时频繁切换PTH模型作业和TRT模型作业时系统功能异常的问题。

来源：

[缺陷]<PickWiz>相机-连接双目相机，多次操作pth拍照后切换为trt，再次拍照出现拍照异常且软件后端启动异常

[缺陷]<产品化>公共-频繁切换onnx和trt模型会导致程序崩溃

[问题收集]pickwiz1.6.1版本软件运行时出现偶发性卡死报错，提示重启软件

  1. 修复了由于系统内部存在bug导致双目相机左右目未同时连接时出现左/右目相机拍照全黑的问题。

来源：[问题收集]相机显示内参获取失败左目无法取图没有点云

  1. 修复了切换相机分辨率时2D ROI大小未及时适配新分辨率的问题。

来源：[问题收集]pickwiz软件运行过程中2D ROI会自己缩小移动位置，导致检测不到实例

  1. 修复了由于未及时转换黑白相机的图像通道数，导致连接黑白相机时系统报错的问题。

来源：[问题收集]Xema-L黑白相机使用相机数据运行+开启实力优化功能导致异常

  1. 修复了由于标定板分割存在bug导致查看/校正相机精度时经常报“无法识别标定板”的问题。

来源：[问题收集]验证相机精度，无法识别标定板，调整曝光、标定板位置无效

  1. 修复了由于 “料框及工件碰撞检测” 算法内部存在bug，导致碰撞检测结果出错、或者同一份数据碰撞检测输出结果不一致的问题。

来源：

[问题收集]新夹具碰撞检测将未碰撞的抓取点给过滤掉了

[问题收集]运行中出现某份数据报错，再次运行同份历史数据，能正常输出结果

[缺陷]【问题收集转bug】夹具碰撞球体不一致问题

  1. 修复了面型工件上下料（物料相互孤立）作业中，在“实例分割3D”模块中未勾选“使用原始点云”时包围盒显示异常的问题。

来源：[问题收集]实例分割3D取消勾选使用原始点云时，2D显示的包围盒是错误的

  1. 修复了使用 “点云模板制作” 中的 “历史数据生成模板” 功能生成模板文件夹数据时，生成的图像匹配模板中间被划开的问题。

来源：

[问题收集]单目标图像匹配模板制作异常，生成的模板中间被划开

[缺陷]【问题收集转bug】单目标图像匹配模板制作异常，生成的模板中间被划开

  1. 修复了修改模型训练配置参数后无法新建工件的问题。

来源：[问题收集]测试机1.8.2.1版本软件，纸箱拆垛作业无法新增工件，功能不生效

  1. 修复了由于异常历史数据存储和删除机制不合理，导致异常历史数据删除不掉的问题。

来源：[缺陷]<产品化>历史数据-创建任一场景，历史数据中存在多条数据状态异常的数据，将所有异常数据选中并删除，异常数据未完全删除，还会剩余一条

已知问题

  1. 关于案例库中部分案例预加载的模型已不是最新版本，可能会导致影子模式训练时失败的问题，规划在后续版本中继续解决。

来源：[缺陷]<PickWiz>影子模式-从案例库中加载压缩机盖有序上下料项目，发起影子模式训练，弹窗提示异常

  1. 关于函数串行化/并行化处理机制，在“基于四边形有序上下料”作业中、或者在任何作业中勾选了 “实例优化” 功能选项时、或者在任何作业中缓存抓取点时，可能仍存在输出结果不完全一致的情况，规划在后续版本中继续解决。

来源：

[缺陷]<PickWiz>并行化-基于四边形有序上下料作业，开启并行化多次运行，结果不一致，同个实例抓取点精匹配分数波动较大，导致同个历史数据多次运行输出实例个数不一样

[缺陷]<PickWiz>并行化-圆面作业，添加【实例优化】插件，串并行运行拟合分数不一致

[缺陷]<PickWiz>并行化-添加【过滤与前N次工件姿态相近的工件姿态】函数，串并行结果不一致

[缺陷]<PickWiz>并行化-添加【过滤与前N次抓取点相近的抓取点】，同个实例串并行过滤结果不一致

  1. 关于在旧版本中已选中“拆垛通用双目模型”，升级到V1.8.3版本后选中的拆垛通用双目模型不变、但模型显示名称发生变化的问题，规划在后续版本中继续解决。

来源：[缺陷]<PickWiz>相机-作业中绑定双目相机，从1.8.2升级至1.8.3，原拆垛通用会变更为sack_V2模型，建议删除

  1. 关于双目1201W相机在全分辨率模式下存在拍照时间长、作业运行或影子模式等功能不可用的问题，规划在后续版本中继续解决。

来源：[缺陷]<PickWiz>KingFisher双目相机影子模式训练失败