一键联通训练视觉模型
视觉模型是一个深度学习模型，用于从场景中分割出实例，麻袋、纸箱、圆、圆柱、四边形的视觉模型都是通用模型，通用工件、面型工件的视觉模型是基于CAD通过一键联通训练得到的，本文将介绍如何使用一键联通获得通用工件和面型工件的视觉模型。
一键联通功能主要涉及两个系统：
PickWiz：运行于用户工控机上的桌面客户端软件，自动调用 Dexverse 后台接口创建新的训练任务。
DexVerse：自动触发、管理、调度、监控深度学习训练任务的平台。
1. 选择作业场景
当工件不属于麻袋、纸箱、圆、圆柱、四边形时，若工件的正反面区别较大，则选择通用工件有序上下料/无序抓取/定位装配场景；
当工件不属于麻袋、纸箱、圆、圆柱、四边形时，若工件的正反面区别较小，则选择面型工件有序上下料/无序抓取/定位装配场景。
2. 配置工件
在工件界面点击+新增工件
2.1 网格文件
一键联通训练视觉模型时，通用工件和面型工件依赖网格文件来渲染出大量不同视角、光照条件下的合成图像，扩充训练数据，这样可以提高视觉模型的泛化能力。若面型工件较为简单、特征较少，可不上传网格文件。
上传网格文件，选择网格文件尺寸单位，米（m）或者毫米（mm），若不清楚网格文件的单位可不选，系统会根据上传的网格文件自动判断并转化，选择完成后可点击标准化网格文件，目前仅支持 ply 格式的网格文件。
提示
标准化网格文件会实现以下四个功能：
自动将网格文件对齐到坐标中心
Mesh 面片简化
调整工件，解决工件与坐标系不正的问题
将网格文件尺寸统一调整为以米（m）为单位
注意
每次点击标准化网格文件都会在上一次处理的文件基础上进行再次标准化。
在点云制作模板模块，选择网格文件处理
可根据需要调整网格位姿，并在导出的时候同步到当前作业的工件。
2.2 关键点文件
一键联通训练视觉模型时，通用工件正反面区别较大，因此需要上传关键点文件用于识别正反；面型工件正反面区别较小，因此无需上传关键点文件。请参照 点云模板制作指南制作通用工件的关键点。
2.3 工件属性
通用工件和面型工件训练视觉模型时，可勾选工件属性，一键联通会根据这些指定的工件属性生成更贴合工件特征的训练数据，这样训练出来的视觉模型对具有指定属性的工件识别效果更好、鲁棒性更高。
若不勾选工件属性，生成的训练数据不会特别考虑工件的指定特征（如对称性、高反材质等），导致训练出来的视觉模型的识别效果可能不够理想。
当工件是长条型工件：工件长宽比超过3:1，如长棒型的工件，可在工件属性勾选长条型；
当工件是对称型工件：目前只支持旋转对称型的工件，即工件旋转一定角度后与自身完全重合，可在工件属性勾选对称型；
当工件是高反型工件：工件表面光泽度非常高，容易产生高光和反射，如金属类的工件，可在工件属性勾选高反型；
当工件是低密度型工件：工件表面存在大面积镂空，或工件实体部分只占了其表面积的很小一部分，如线束类的工件，可在工件属性勾选 Low solidity。
2.4 来料形式
通用/面型工件有序上下料场景中，一键联通训练视觉模型时，需录入来料形式，模拟实际场景下工件的来料方式，这样训练出来的视觉模型对实际场景识别效果更好、鲁棒性更高。
来料形式分为两种：“紧密贴合” 和 “自定义来料形式”，“紧密贴合” 适用于工件有序来料、姿态一致、间距较小的场景，“自定义来料形式” 适用于来料有序的所有场景。
2.4.1 紧密贴合
若工件有序来料、姿态一致、间距较小的场景，可点击紧密贴合，设置每行每列的工件个数，但工件总数必须小于 40，若工件数量超过40，需保证设置的行/列工件个数比值与实际的行/列工件个数比值有同一个公约比值，比如工件实际来料形式是每行12个每列8个，则行/列工件个数的比值是12:8，约分到最简是3:2，因此可以设置每行3个每列2个、每行6个每列4个均可，但每行9个每列6个不可（超过了40）。
示例：
工件的来料形式是每行6个每列3个，工件个数18，因此可以直接将每行工件个数范围设置为[6,6]，每列工件个数范围设置为[3,3]
2.4.2 自定义来料形式
所有来料有序的场景均可自定义来料形式，操作步骤如下：
- 点击
录入来料形式打开来料形式录入器
- 旋转 Mesh 模型到合适的姿态（相机视角下的工件姿态）， 点击
生成快照/生成快照(正反)生成该姿态下的工件快照。生成快照（正反）会同时生成正面和反面视角的快照，如下所示。
- 生成快照后，可点击
新增空白画布，并拖拽快照到画布中，根据实际场景制作工件的来料形式，如下所示。
也可选择快照、设置每行个数、每列个数，然后点击生成来料形式 ，系统会按照选择的快照和设置的行列数，在画布上直接生成来料形式，如下所示。
- 来料形式录入后，将其他项一一配置好，触发一键联通后，有序场景的一键联通训练会基于录入的来料形式生成训练数据，如下图所示。
若实际场景的工件堆叠，需要点击
高级配置配置堆叠情况，旋转角度根据工件姿态设置。
示例：场景中的工件姿态绕Z轴旋转，因此设置旋转角度为 [-30,30]
  |  |
|---|
2.5 作业环境
通用工件和面型工件训练视觉模型时，可录入作业环境，一键联通生成训练数据时会将合成图像原本随机变换的背景替换为录入的作业环境图片，这样训练出来的视觉模型对实际场景识别效果更好、鲁棒性更高。
操作步骤如下：
- 点击
录入环境，进入作业环境录入器
- 获取作业环境图片有两种形式：一是
拍照取图采集相机视野下的作业环境，二是直接导入图片，作业环境图片不能包括工件和料框，可以包括托盘、底托。
2.6 工件纹理
通用/面型工件训练视觉模型时，可录入工件纹理，一键联通会使用上传的工件纹理生成训练数据，这样训练出来的视觉模型对工件识别效果更好、鲁棒性更高。
操作步骤如下：
- 点击
录入纹理，进入纹理录入器
- 获取工件纹理图片有两种形式：一是
拍照取图采集相机视野下的工件纹理，二是直接导入图片。
- 获取工件纹理图片后，点击鼠标右键可在图片上添加纹理框；按住
Ctrl键同时滑动鼠标滚轮可缩放纹理框；鼠标悬停在纹理框上然后按BackSpace键可删除纹理框。
注意：
纹理框应当将工件完整框选贴合工件边缘，否则会影响视觉模型的识别效果；
纹理框应当全部位于图片区域内，否则训练视觉模型时会报错。
2.7 混合无序场景数据
通用/面型工件有序上下料场景中，若工件的来料形式是行列有序但工件姿态不一致，可开启混合无序场景数据，一键联通会同时生成有序场景（行列有序）和无序场景下（姿态不一致）的合成数据用于训练，这样训练出来的视觉模型对工件姿态不一致的场景识别效果更好、鲁棒性更高。
示例：面型+对称型工件本身的正反面区别较小，若开启混合无序场景数据，生成的训练数据里包含了多个姿态，模型对工件的正反面判断会出错，如下图所示。
示例：通用工件有序上下料场景中，开启混合无序场景数据，触发一键联通后生成的合成图像既包含有序场景的行列有序，又包含无序场景的姿态不一致。
2.8 模型最大识别数
模型最大识别数是指模型在单张图像推理时最多能输出的实例检测结果数量。限制模型最大识别数，主要用于优化模型推理阶段的计算资源，减少耗时提高节拍。默认20个，可根据实际场景的工件个数修改。
2.9 功能选项
通用工件和面型工件训练视觉模型时，勾选相应的功能选项，触发一键联通后生成的训练数据包括不同的工件类型、不同的工件朝向、纹理、局部特征等，这样训练出来的视觉模型对实际场景的变化具有更好的识别效果。
2.9.1 视觉分类
视觉分类是指把工件按照朝向、纹理等分类。
示例：工件有两种摆放形式，需要先抓同方向的工件，再抓相反方向的工件。勾选视觉分类后，一键联通训练出来的视觉模型即可对工件的朝向进行分类，从而实现分朝向抓取。
2.9.2 识别类型
识别类型是指对不同类别工件的区分。一键联通生成的训练数据按预设类别分类，输入各类工件的图像数据，模型学习后就能判断工件所属的类别。
可将工件的正反面当作两种类型，使用识别类型功能生成包含正反面的两种训练数据。使用识别类型对正反面进行训练时，需上传工件的正反面点云。
示例：工件结构复杂、不同角度特征变化大，因此制作工件点云时正反面的点云都需要制作，把正反面的点云合成一个点云文件。
2.9.3 识别局部特征
识别局部特征是指对工件局部特征（如孔洞、凸起等）的识别。
面型工件无序抓取场景暂不支持识别局部特征
示例：相机视野内只有一个工件时，可转化为有序场景，从而使用一键联通。需使用整体CAD模拟出遮挡识别面的效果。
完成工件配置后，在作业信息中选择新增的工件配置。
2.10 相机距离工件的高度范围
在支持一键联通的场景下，工件模块的相机距离工件的高度范围，可以根据实际场景情况，指定一键联通的渲染高度。
一键联通的工件渲染高度参考ROI或该高度范围，若同时上传ROI和该参数，渲染高度以该参数为准
3. 配置ROI
发起一键联通训练视觉模型时，ROI和相机距离工件的高度范围只需要满足其中之一即可，若同时上传ROI和该参数，渲染高度以相机距离工件的高度范围为准。
配置ROI时，请参照 ROI 操作指南在ROI界面配置ROI 3D和ROI 2D。
配置好ROI 3D和ROI 2D后，在作业信息中选择对应的ROI 。
4. 训练视觉模型
完成工件和ROI配置后，点击一键联通触发视觉模型的训练。如需对输入数据进行手动编辑，应选择仅导出训练配置；如不需编辑输入数据，应选择自动创建训练任务。
4.1 仅导出训练配置
适用于需要手动对数据进行编辑的用户，后续需要自行在DexVerse平台手动创建训练任务。
- 主界面点击
一键联通，出现一键联通弹窗，勾选视觉模型，如下图所示。
点击
仅导出训练配置，可点击弹窗下方链接查看数据压缩包内容，或进行配置修改。前往 Dexverse 平台创建训练任务，具体步骤见 DexVerse操作手册。
4.2 自动创建训练任务
适用于大部分场景，在PickWiz针对工件/ROI等进行配置后，可自动在DexVerse平台创建训练任务。
主界面点击
一键联通，出现一键联通弹窗，如下图所示。勾选
视觉模型，然后为训练任务取名，便于 DexVerse 搜索训练任务。点击自动创建训练任务。前往 DexVerse 平台查看自动创建的训练任务，具体请参照DexVerse操作手册。
订阅任务进程通知，填写DexVerse云平台关联的账号/姓名，当任务状态发生变化时，对应账号会收到飞书通知。
5. 同时训练视觉模型和成像模型
在PickWiz的一键联通弹窗中，可以同时勾选视觉模型、成像模型后，点击仅导出训练配置/自动创建训练任务。