V1.8.2更新说明

约 7821 字大约 26 分钟

V1.8.2 更新说明

前言

版本号		Camera SDK
PickWiz：	1.8.2	Xema：	1.5.5
PickLight：	1.8.2	Finch：	1.3.1.1
GLIA：	0.5.1	Sparrow：	3.5.3
RLIA：	0.3.4	Stereo：	4.3.4
MixedAI：	0.6.1	Enumerate：	1.0

PickWiz 1.8.2是基于PickWiz 1.8.1的优化版本，新增支持了函数处理过程可视化、基于模板的分割模型和图像特征匹配的项目类型、与左手坐标系机器人进行通讯、料框及工件的碰撞检测、通用/面型工件支持影子模式等功能，也对函数并行化、相机异常报错机制、一键联通训练双目模型、眼在手上随机姿态自动采样方式等进行了优化。

功能新增

1. 欢迎页

新增 “面型工件有序上下料（图像匹配）” 和 “面型工件定位装配（仅图像匹配）” 两个项目类型，支持在“点云模板制作”中生成模板示例数据，直接用于后续的实例分割和姿态估计，无需使用一键联通训练模型。详见面型工件有序上下料及定位装配(图像匹配)视觉参数调整指南。

“面型工件有序上下料（图像匹配）”使用预训练的大模型配合模板示例进行检测，可以立即部署，无须一键联通训练模型；同时通过2D图像示例与场景图像特征的对应关系完成高精度匹配，从而实现姿态估计，适用于面型工件有序上下料场景。

面型工件定位装配（仅图像匹配）”通过2D图像示例与场景图像特征的对应关系完成高精度匹配，从而实现姿态估计，适用于视野范围内仅有单个面型工件的高精度定位.

为方便区分，原“定位装配”中的“面型工件定位装配 （仅匹配）”的名称更改为“面型工件定位装配 （仅点云匹配）”，其内部的功能、流程、算法、函数等保持不变。

2. 点云模板制作

新增 “历史数据生成模板”功能，可根据历史数据、现场采集两种方式获得场景点云，以此生成工件点云模板、生成“面型工件有序上下料（图像匹配）”、“面型工件定位装配（仅图像匹配）”两个项目类型所需要的模板数据；详见点云模板制作指南。

根据历史数据生成模板数据	根据现场采集图像生成模板数据

根据历史数据生成模板数据时，上传的 “源数据所在路径”中必须包含4个文件：包含了工件的场景点云图（.ply）、原始彩色图（.png）、深度图（.tiff）和相机内参json文件（.json），且这4个文件必须属于同一条历史数据。

3. 机器人

新增支持与左手坐标系的机器人进行通讯和交互，只需要在“机器人配置”页面—“坐标系类型”字段中选择“左手坐标系”，即可实现与左手坐标系机器人的通讯和交互，不区分通讯协议，手眼标定、抓取点示教、视觉参数配置等功能也正常使用，系统会自动转换左/右手坐标系，不需要人为转换或修改；详见 TCP服务端通信配置。

支持左手坐标系的机器人	左手/右手坐标系示意图

4. 视觉参数

新增 “料框及工件碰撞检测”插件，支持夹具与料框、夹具与抓取点周边工件、夹具与料框及抓取点周边工件的碰撞检测，过滤可能产生碰撞的抓取姿态；相比之前的“碰撞检测”插件，“料框及工件碰撞检测”插件支持视觉计算加速（即函数并行化）功能，后续的扩展性和工作性能也会更好；详见料框及工件碰撞检测使用指南。

优化了 “抓取点过滤” 节点中的 “过滤工件与夹具存在碰撞的抓取点” 函数，采用新的技术实现方案，函数 计算速度更快 ，开启/关闭“视觉计算加速”功能时都支持使用。

5. 可视化视窗

新增函数处理过程可视化功能，可以在可视化视窗中看到最新一条运行的数据在经过每个算法/函数处理后得到的2D/3D效果，点击“处理过程”浮动窗口中不同的函数名称可以看到每个函数对应的2D/3D效果；一级视窗中看到的是整个场景的2D识别/3D匹配效果，鼠标右键点击具体单个工件的实例点云进入二级视窗，可以看到该工件实例的函数处理过程和对应的工件姿态、抓取姿态、2D效果等；详见可视化调参操作指南。

函数处理过程可视化（一级视窗）

函数处理过程可视化（二级视窗）

函数处理过程可视化功能目前仅支持函数串行处理的场景，暂不支持函数并行处理（开启视觉计算加速）的场景；
函数处理过程可视化功能目前仅支持调试模式下的函数处理过程可视化，暂不支持极速模式；
函数处理过程可视化功能是对原先可视化视窗中“实时调参”功能的延伸和扩展，因此函数处理过程可视化功能上线后，删除原先可视化视窗中“实时调参”功能的开关按钮。

功能优化

1. 相机

双目成像模型支持TRT类型，模型推理架构更规范，技术上也有利于后续突破pth模型推理的效率瓶颈。

场内分别在调试模式、极速模式、开启/关闭自动曝光和高动态（HDR）等条件下测试了拆垛双目成像TRT模型的表现，相比pth模型，TRT模型的成像效果基本一致、耗时更少（开启自动曝光和高动态HDR时不明显）、但显存占用更高；
由于显存占用的问题，TRT类型的双目成像模型目前仅支持双目低分相机，暂不支持双目高分相机；

优化了“相机配置”页面—“相机离最近物料距离（mm）”字段，最小值可填到200，以适配KINGFISHER-S-601相机的最小工作距离200mm；

相机离最近物料距离最低可填写200mm

2. 机器人

优化了与机器人的通讯指令占位符，支持对机器人发送给PickWiz指令的占位符进行调整（如指定或切换目标ROI ID），方便后续对机器人发送给PickWiz指令进行二次处理；详见外挂脚本使用指南。

机器人发送给PickWiz指令的占位符

优化了外挂脚本，支持通过外挂脚本获取2D ROI/3D ROI的中心点，方便后续根据ROI中心点进行二次处理；
若工作流勾选了“视觉分类”插件，PickWiz发送给机器人的指令中，每个实例的信息会增加包含该实例对应的分类类型ID，报文结构更清晰、合理。

PickWiz发送给机器人的抓取信息

3. 一键联通

优化了一键联通训练双目成像模型的功能，若作业未正常连接相机，在一键联通的页面上选择对应的双目相机型号也可以正常创建一键联通任务，训练双目成像模型；同时数据渲染时增大了crop size，模型训练时默认使用双卡进行训练，提升双目成像模型训练的效果。

未连接相机、选择相机型号也可以创建一键联通任务

目前一键联通还是只支持KINGFISHER相机的成像模型训练。

4. 影子模式

优化了面型工件有序上下料场景，支持通过影子模式对面型工件的成像模型、检测模型进行本地二次训练。

面型工件有序上下料支持影子模式

5. 手眼标定

眼在手上的随机姿态自动采样，优化为球面采样的方式，可以有效避免采样时标定板超出相机视野的问题，从而提高采样成功率，也为后续提高眼在手上的手眼标定精度提供基础；详见随机姿态自动采样。

眼在手上随机姿态自动采样采用球面采样的方式	球面采样示意图

6. 视觉参数

优化了视觉计算加速（即函数并行化）功能，增加了实例分割、实例过滤、姿态估计、抓取点过滤、抓取点调整等节点或函数也支持函数处理并行化，在开启视觉计算加速（即函数并行化）功能时，这些节点内的函数也可以正常配置、正常生效。

开启视觉计算加速功能即进入函数处理并行化模式

目前还不支持函数处理并行化的场景：麻袋单拆、面型工件有序上下料、面型工件无序抓取、面型工件上下料（物料相互孤立）、面型有序上下料（图像匹配）、定位装配；
目前还不支持函数处理并行化的插件：识别正反、识别类型、识别局部特征、底托检测、隔板和底托检测、点云噪点滤除；
目前场内正在对函数处理串行、并行两种模式进行系统性对比测试，后续将输出对比测试报告；
由于函数处理串行、并行底层的实现逻辑和所用工具等并不完全一致，因此目前函数处理串行、并行的输出结果可能也不完全一致，单独串行/并行模式下每次运行输出的结果是一致的。

优化了函数处理并行化场景下的实例分割参数，支持在“视觉参数”—“2D识别”—“实例分割”节点中配置“生成点云是否需要颜色”、“包围盒缩放比例”两个参数。

函数并行化实例分割结果设置

优化了 “自动增强”函数加载检测模型的方式，在“2D识别”—“实例分割”中，勾选启用自动增强/不勾选关闭自动增强功能时都需要重新加载检测模型，但如果只是修改了“自动增强”函数的缩放比例和选择角度参数，则不需要再重新加载检测模型，从而减少系统的整体耗时。

“自动增强”函数修改参数时不需要重新加载检测模型

优化了纸箱单拆场景中矩形拟合算法的参数，支持在“视觉参数”—“3D计算”—“姿态估计”节点中配置矩形拟合算法的“2D矩形拟合阈值（mm）”、“最大迭代次数”两个参数；详见拆垛视觉参数调整指南。

纸箱拆垛场景矩形拟合算法可配置参数

优化了纸箱单拆、基于四边形有序上下料场景中矩形拟合算法的贴合效果，提升了矩形拟合算法精度，后续还会继续优化长条型工件存在超短边情况下的矩形拟合效果。

优化前	优化后

优化了 “点云噪点滤除”插件，提升了在函数串行化处理模式下插件的计算速度。

问题修复

修复了以下问题：

由于与机器人通讯内部的bug，导致需要重新连接机器人才能触发拍照的问题。

来源：[问题收集]手动点击运行后，机器人再触发软件拍照会报错。

由于与机器人modbus通讯的心跳机制不合理，导致机器人断连报警的问题。

来源：[项目支持]modbus通讯心跳写入需要优化

由于通用工件有序上下料的视觉计算加速流程中没有使用精匹配模板进行姿态匹配估计，导致视觉计算加速功能开启后3D匹配效果变差的问题。

来源：1.8.0.1通用有序，视觉计算加速功能开启后3D识别匹配效果变差

由于面型工件上下料（物料相互孤立）中填充深度图空洞函数的源输入设置错误，导致数据运行报错的问题。

来源：<产品化>函数可视化-创建面型有序上下料(孤立)，2D识别预处理中添加填充深度图空洞函数，运行报错

由于算法内部bug导致拆垛并行化场景使用“旋转位姿，使Z轴方向与目标坐标系的Z轴一致”函数时报错的问题。

来源：[问题收集]现场使用纸箱纸箱单拆，希望提升节拍到5s内

由于工件太长/太大导致可视化计算时误差增大的问题，同时也提升了圆柱拟合的稳定性。

来源：[问题收集]圆柱匹配偏

当工件不适合使用“基于轴旋转的姿态调整”函数时，报错的日志进行了优化。

来源：[问题收集]面型作业双模板，基于轴旋转姿态调整不生效。

由于“2D识别”—“预处理”—“转换图像色彩类型”函数中选择了“深度图转灰色图”的方式导致后续继续添加预处理函数不生效的问题。

来源：[问题收集]圆柱匹配偏

在所有实例都被正常过滤掉的情况下由于没有输出精匹配分数而报错的问题。

来源：<产品化>运行圆柱有序作业，仅有一个圆柱物料时出现未知错误，提示：姿态估计无正确结果，'NoneType' object is not subscriptable

由于料框检测算法内部的bug，导致整体耗时增加的问题。

来源：[问题收集]南天门水枪面型有序场景--增加并行碰撞检测后, 节拍未减少, 且耗时增加

由于数据渲染时pattern place物料摆放内部的bug，导致一键联通训练任务失败的问题。

来源：[缺陷]<产品化> dexverse平台上传错误格式一键联通ZIP包导致出错

由于模型训练时loss字段出现了nan值，导致一键联通训练任务失败的问题。

来源：[缺陷]<产品化>。一键联通出现NAN loss
[缺陷]一键联通模型生成过程出现NAN值loss的BUG

由于相机SDK内部心跳机制的bug，导致相机取图节拍较长且不稳定的问题。

来源：[缺陷]<产品化>相机取图节拍较长且不稳定

已知问题

关于函数串行化处理、函数并行化处理本身处理机制的不同、以及底层使用的开源工具库不一样，导致函数串行/并行处理输出的结果（实例个数、抓取点位置等）不完全一致的问题，规划在后续版本中解决。

来源：[缺陷]<产品化>基于圆柱的有序上下料-默认工作流，串并行对比测试,输出抓取点坐标不一致。
[缺陷]<产品化>基于圆面的有序上下料-默认工作流，串并行对比测试,输出抓取点坐标不一致。
[缺陷]<产品化>并行化-加载案例库中基于圆面的作业，使用历史运行可正常出抓取点，运行同一份历史数据，对比视觉加速前后的结果，给出来的抓取点不完全一致
[缺陷]<产品化>并行化-从案例库中加载基于圆有序场景，位姿计算个数设置为60，抓取点过滤中只使用【基于精匹配过滤】函数，过滤分数设置为0.9，对比开启视觉前速前后结果，过滤后的串并行实例数量和被过滤的实例均不一致
[缺陷]<产品化>并行化-创建四边形有序上下料项目，将可选函数全部删除，对比串并行结果，最终输出的抓取点结果均不一致
[缺陷]<产品化>拆垛-创建纸箱拆垛项目，使用同一份历史数据进行重复定位精度计算，重复定位精度为1.6mm，需优化

关于函数并行化处理时数据需要在GPU、CPU之间进行类型转换，导致某些情况下函数并行化处理的耗时可能会比串行化处理的耗时还多的问题，规划在后续版本中解决。

来源：[缺陷]<产品化>-视觉参数-2D 识别：点云生成（包围盒形式）运行脚本出现ERROR - serial_result and parallel_result are not the same

关于函数并行化处理时日志打印不完整、不一致的问题，规划在后续版本中解决。

来源：[缺陷]<产品化>并行化-圆柱有序作业，检测无实例场景，1）日志提示不一致，串行没有ERRO提示，并行有ERROR提示，且日志提示没有引导性。2）并行化日志中需打印拟合分数

关于函数并行化处理暂时不支持OBB类型的包围盒，导致通用工件有序上下料、通用工件无序抓取两个场景如果在“工件”配置页面勾选了“长条型”的工件属性时系统运行会报错的问题，规划在后续版本中解决。

来源：[缺陷]<产品化>-视觉参数-2D 识别：生成实例包围框运行脚本出现serial_result and parallel_result are not the same

关于拆垛场景中函数并行化处理暂时不支持将抓取点修改为角点输出的问题，规划在后续版本中解决。

来源：[缺陷]<产品化>视觉加速-创建纸箱拆垛场景，将抓取点设置为箱体左上角(左下、右上、右下)，开启视觉加速，点击运行，输出结果仍为箱体中心，关闭视觉加速则抓取点输出正确

关于在函数并行化处理模式下，调整frozen_config中的collection参数，有一部分函数（实例分割、点云生成（掩膜形式）、点云生成（包围盒形式）、姿态估计、基于轴旋转的姿态调整、根据平面法线细化姿态函数、物体姿态修正等）的frozen参数修改后并不生效的问题，规划在后续版本中解决。

来源：[缺陷]<产品化>并行化-修改冻结参数collection后未生效

关于在函数并行化处理模式下，“过滤与前N次工件姿态相似的工件姿态”函数不生效的问题，规划在后续版本中解决。

来源：[缺陷]<产品化>并行化-加载案例库中基于圆有序项目，使用并行化脚本测试【过滤与前N次工件姿态相似的工件姿态】，按照复现步骤的参数进行设置，串并行结果不一致
[缺陷]<产品化>并行化-从案例库中加载基于圆面有序项目配置，使用并行化脚本测试【过滤与前N次抓取点相近的抓取点】函数，得到的串并行结果不一致

关于工件（尤其是长条型工件）尺寸过大导致“对称中心姿态优化”函数在镜像对称的模式下容易出现显存不足的问题，规划在后续版本中解决。

来源：[缺陷]<产品化>并行化-创建通用无序场景项目，使用历史数据运行可正常生成抓取点，在视觉参数-抓取点调整中增加对称中心姿态优化函数，对称中心类型设置为镜像对称，再次使用历史数据运行，极速模式下，无论是否开启视觉加速，该函数耗时过长，且出现爆显存，需优化
[缺陷]<产品化>四边形-基于四边形有序上下料场景，视觉参数【对称中心姿态优化】函数选择【镜像对称】时，运行工作流存在GPU显存泄漏

关于拆垛场景中双目TRT模型显存占用比pth模型高的问题，规划在后续版本中解决。

来源：[缺陷]<产品化>双目 TRT 模型推理-PickWiz 运行项目整个工作流， TRT 模型占用 GPU 比 pth 模型高接近一倍，需要优化。

V1.8.2.1 更新说明

PickWiz 1.8.2.1版本是基于PickWiz 1.8.2版本的bugfix版本，进行了部分已知问题的修复或优化，以提供一个更稳定、好用的版本。主要修复或优化的问题如下：

1.系统安装

解决了V1.8.2版本安装后连接相机时出现闪退的问题。

来源：[问题收集]182软件闪退

2.相机

优化了TRT模型显存占用高的问题，相同条件下 TRT模型的显存占用、精度与pth模型差不多，但TRT模型的耗时大约是pth模型的一半。

来源：[缺陷]<产品化>双目 TRT 模型推理-PickWiz 运行项目整个工作流， TRT 模型占用 GPU 比 pth 模型高接近一倍，需要优化。
[缺陷]<产品化>相机-创建任意项目，连接双目相机，使用拆垛通用模型触发拍照，显存占用为2.7/6，切换为兼容不同显卡/不兼容的trt模型,再次触发拍照，显存占用至5.5/6，显存占用异常
[缺陷]<产品化>双目相机-高分双目显存降级测试，scale 1.0的场景下，通过相机触发拍照耗时4s+，显存将近占满(7.7G/8.0G)，且拍照完成后显存没有释放