前言

版本号		Camera SDK
PickWiz：	1.8.1	Xema：	1.5.4.9
PickLight：	1.8.1	Finch：	1.3.0
GLIA：	0.5.0	Sparrow：	3.5.3
RLIA：	0.3.4	Kingfisher-R：	0.1.1
MixedAI：	0.6.0	Stereo：	4.3.4
DexSim：	0.3.1	Enumerate：	1.0

PickWiz 1.8.1 是基于1.8.0及1.8.0.1版本的优化版本，新增了点云噪声滤除、影子模式异常数据剔除功能，支持新上市的KINGFISHER-S-601相机，对双目成像模型、相机配置参数、一键联通料框成像、视觉参数、视觉分类模块、面型工件场景的实例分割和姿态估计等主要功能做了相关优化。具体更新如下：

注意

1. PickWiz 1.8+ 不支持打开PickWiz 1.7+ 或更早版本的项目配置，如需升级，要基于PickWiz V1.8+ 重新配置项目。

2. 如从PickWiz 1.7+ 版本升级至1.8+时，请至少升级至PickWiz 1.8.0.1或1.8.1 较稳定的版本。

功能新增

1. 欢迎页

1. 针对有序上下料场景，功能选项新增“点云噪点滤除”，解决由于存在点云噪点导致实例排序错误的问题，提升抓取点准确率；

1. “点云噪点滤除”选项目前仅支持有序上下料场景，且不支持识别正反、不支持“视觉加速计算”功能；

2. 相机

1. 支持新上市的相机KINGFISHER-S-601，未来项目可走正常流程供货。

   1. 相机概述

   KINGFISHER-S-601是跨维面向更高精度、更精细化定位的纯视觉3D相机产品，支持更近的工作距离、更小的相机体积，适用于眼在手上的任务；该相机主要有以下优势：

   • 灵活选择：提供更多工作距离选择，弥补近距离场景因左右目遮挡而导致的高精度定位的空缺；

   • 优异如常：继承AI纯视觉的天然优势，在充电桩插拔场景类表现优异；

   具体介绍、功能使用可参考：

   空间与具身智能套件手册V1203.pdf

   • 相机指标

     指标维度	KINGFISHER-S-601
     重量（Kg）	1.1
     推荐工作距离（mm）	200~500
     测试时相机安装方式	眼在手上
     重复精度（μm）	136
     典型场景成像效果	成像模型：拆垛通用模型 药盒 200mm 350mm 500mm 加油盖 200mm 试管架 200mm
     标定精度	标定方式：随机姿态采样
     标定校验	相机距离工件高度：500mm 工件：A6标定板机器人实际走点1机器人实际走点2机器人实际走点3机器人实际走点4 机器人实际走点5 相机距离工件高度：350mm 工件：A6标定板 机器人实际走点1 机器人实际走点2 机器人实际走点3 机器人实际走点4 机器人实际走点5
     戳点图片

3. 工件

1. 工件影子模式新增异常数据剔除功能，可对已识别实例的特征进行提取和对比，自动剔除异常的数据，提升数据标注质量，从而提升模型训练的效果；

1. 由于目前场内测试数据比较少，因此V1.8.1版本先保证了系统流程跑通、该功能可使用，算法效果还需后续继续验证和优化；

2. 该功能默认不开启，目前系统前端页面没有开启该功能的直接入口，若有需要，可通过配置文件开启；

4. 视觉参数

1. 预开放一种基于先验模型的实例分割算法，可通过现场工件点云模板实现2D图像实例分割，不需要专门训练模型即可实现实例分割。

1. 该算法为预开放算法，V1.8.1版本先保证了系统流程跑通、该算法可使用，算法效果还需要在实际场景和真实数据中继续验证和优化；

2. 该算法默认不启用，目前系统前端页面没有启用该算法的直接入口，若有需要，可通过配置文件开启；

3. 该算法目前仅支持在面型工件有序/无序/定位装配（仅匹配）场景中使用，更建议在背景干净的场景中使用，背景杂乱、视野中有阴影等场景不适用；

• 基于特征匹配的姿态估计算法，集成新的算法实现方案供项目选择和验证，可降低函数调参难度，减少函数耗时。

1. 该算法为预开放算法，V1.8.1版本先保证了系统流程跑通、该算法可使用，算法效果还需要在实际场景和真实数据中继续验证和优化；

2. 该算法默认不启用，目前系统前端页面没有启用该算法的直接入口，若有需要，可通过配置文件开启；

3. 该算法目前仅支持在面型工件有序/无序/定位装配（仅匹配）场景中使用；

功能优化

1. 相机

1. 更新了成像模型中的“拆垛通用双目模型”，模型性能更稳定，改善点云异常塌陷和点云飞起的情况。

优化前

优化后

• 针对工件图像平面横向存在密集重复性纹理的情况，如保鲜盒、有序压缩机等，提升双目成像模型对重复性纹理的适应能力，改善场景点云容易塌陷的问题；

优化前

优化后

• 参考项目卡现场相机参数调节经验，更新相机参数模板默认数值，使相机参数模板更接近重点项目现场工况；

XEMA reflect_high(高反大视野)

XEMA black_high(黑色工件大视野)

FINCH reflect（高反工件）

• 统一双目相机配置参数的数值范围，高分相机中采集帧率的设置范围改为0.5-100000、曝光时间的设置范围改为35-1999430、自动曝光下限时间的设置范围改为35-8287、自动曝光上限时间改为35-1999433；

• 在相机配置页面连接双目相机时，优化左目/右目相机下拉框的前端显示，左目下拉框只能选择左目相机，右目下拉框只能选择右目相机，避免误选；

• 在“作业信息”界面切换FINCH相机的彩色/黑白坐标系时，原先配置好的手眼标定参数会自动转换，不需要重复标定；

2. 机器人

1. 支持在机器人配置界面的视觉状态码中设置“不满足配置的抓取点数量”的视觉状态码，当实例的抓取点数量少于“视觉计算配置”中“发送抓取点个数”字段所配置的数量时，可通过设置的视觉状态码给机器人发送报警提醒；

3. 一键联通

1. 针对双目无序场景，一键联通支持多料框数据渲染，优化料框成像效果，降低无序带料框场景的料框点云塌陷率；

优化前

优化后

4. 视觉参数

1. 针对拆垛场景，优化矩形拟合算法的分数计算方式，避免极端情况下矩形拟合异常导致给出的抓取点不在中心的问题；

优化前

优化后

• 优化2D识别中的“转换图像色彩类型”函数，当类型转换方式选择“深度图转彩色图”时，函数将聚焦于2D ROI内的深度转换为RGB图像，从而提高工件前景与图像背景之间的差异度，同时减少函数耗时；

函数位置

转换后的彩色图

1. 颜色区分对3D ROI区域的角度要求十分严格，因此使用该类型转换方式时，需确保3D ROI与预期工件的平面尽可能保持平行；

• 当遇到大尺寸细长比例的平面型工件时，面型工件模板匹配效果可能存在偏差，因此在“3D计算”的“基于轴旋转的姿态调整”函数中新增“启用中心移动模式”的功能，可通过勾选启用中心移动模式，填写对应的移动范围和移动步长进行纠偏；详见 通用工件视觉参数调整指南

启用中心移动模式前

启用中心移动模式后

1. 勾选启用中心移动模式时，需确保“评估模式”字段设置为“快速评估”，否则中心移动模式不生效；

2. 中心移动模式是根据设置的移动范围和移动步长两个数值进行遍历，找到精匹配分数最优的工件姿态，此步骤可能会增加耗时，如果移动范围设置过大且移动步长设置过小，会导致耗时明显增加；

5. 日志

1. 明确系统输出的工件抓取点顺序定义为“抓取点序号”，定义为“抓取点ID”，并在日志记录中区分展示；

6. 其他

1. 将视觉分类模块的技术实现从Picklight回收到Glia中，分类效果保持不变，后续视觉分类模块可以支持更多的应用场景；

2. 面型工件有序上下料（并行化）场景支持多模版模式，能够识别同一种面型工件的多个来料方向，从而提高工件的检测精度，详见 面型工件有序上下料（并行化）视觉参数调整指南；

8G工控机

6G工控机

1. 该功能建议在8G工控机上使用；

• 在一键联通和假面影子模式训练过程中，若遇到通过修改训练配置就可以解决的问题时，支持通过Frozen_config全量修改MixedAI相关的配置参数，不需要再依赖研发进行训练和修改代码。

问题修复

修复了以下问题：

1. 由于算法问题导致点云模板生成异常的问题；

来源：[缺陷]<产品化>点云模板制作-创建任意项目，点击点云模板制作，导入标准化后的网格文件，点击生成模板，该工件生成的点云模板异常

• 由于实例分割的掩膜超出ROI区域而导致的报错问题；

来源：[问题收集]（补单）2D分割出不合理包围盒在视野边缘，更改包围盒缩放比例会出现其他异常：超出范围的报错

• 软件重启导致视觉参数中抓取点示教函数中配置好的参数失效的问题；

来源：[缺陷]【BUG】前端软件重启后PoseInput组件成员的组件的value值会被重置为模板默认值

• 由于算法问题导致“料框检测-删除容器中心区域中的点云”函数不生效的问题；

来源：[问题收集]删除容器中心区域中心的点云不生效

已知问题

1. 关于双目高分相机从固定曝光模式切换到自动曝光模式时，第一次会报错、第二次恢复正常的问题，规划在1.8.2版本中解决；

来源：[缺陷]<产品化>相机-双目高分相机，理论采集帧率设置为0.5，曝光时间设置为35，固定曝光切换到自动曝光时第一次报错，第二次正常

• 视觉分类插件目前不支持视觉计算加速功能，规划在1.8.2版本中支持；关于发送给机器人的坐标格式问题，也规划在1.8.2版本中优化；

来源：[缺陷]<产品化>运行-创建纸箱拆垛作业，插件勾选视觉分类，机器人配置视觉检测发送指令设置为${rn},${info},${cls_id}，开启视觉加速，运行作业不发送坐标，关闭视觉加速则能正常发送坐标但发送多个数据，其坐标格式不正确

其他

1. 若交付现场遇到需要KINGFISHER相机需要补光的情况，可参考： KINGFISHER相机补光方案介绍。

2. 已出货/新结构光相机的出货BOM可选 防激光打标滤光片。

   适用场景

   现场光环境存在激光，导致镭雕机直射或反射进相机（会直接导致3D相机内部光机DMD芯片损坏，且不可逆）。

   若项目场景存在激光，售前评估需要在制定项目方案时明确。

下一页3D视觉引导方案介绍