外观
一键联通训练视觉模型
视觉模型是一个深度学习模型，用于从场景中分割出实例，麻袋、纸箱、圆、圆柱、四边形的视觉模型都是通用模型，通用工件、面型工件的视觉模型是基于CAD通过一键联通训练得到的，本文将介绍如何使用一键联通获得通用工件和面型工件的视觉模型。
一键联通功能主要涉及两个系统：
PickWiz：运行于用户工控机上的桌面客户端软件，自动调用 Dexverse 后台接口创建新的训练任务。
Dexverse：自动触发、管理、调度、监控深度学习训练任务的平台。
1. 选择作业场景
当工件不属于麻袋、纸箱、圆、圆柱、四边形时，若工件的正反面区别较大，则选择通用工件有序上下料/无序抓取/定位装配场景；
当工件不属于麻袋、纸箱、圆、圆柱、四边形时，若工件的正反面区别较小，则选择面型工件有序上下料/无序抓取/定位装配场景。
2. 配置工件
在工件界面点击+新增工件
2.1 网格文件
一键联通训练视觉模型时，通用工件和面型工件依赖网格文件来渲染出大量不同视角、光照条件下的合成图像，扩充训练数据，这样可以提高视觉模型的泛化能力。若面型工件较为简单、特征较少，可不上传网格文件。
上传网格文件并点击标准化网格文件，目前仅支持 ply 格式的网格文件。
在点云制作模板模块，选择网格文件处理
可根据需要调整网格位姿，并在导出的时候同步到当前作业的工件；
2.2 关键点文件
一键联通训练视觉模型时，通用工件正反面区别较大，因此需要上传关键点文件用于识别正反；面型工件正反面区别较小，因此无需上传关键点文件。请参照 点云模板制作指南制作通用工件的关键点。
2.3 工件属性
通用工件和面型工件训练视觉模型时，可勾选工件属性，一键联通会根据这些指定的工件属性生成更贴合工件特征的训练数据，这样训练出来的视觉模型对具有指定属性的工件识别效果更好、鲁棒性更高。
若不勾选工件属性，生成的训练数据不会特别考虑工件的指定特征（如对称性、高反材质等），导致训练出来的视觉模型的识别效果可能不够理想。
当工件是长条型工件时，可在工件属性勾选长条型；
当工件对称型工件时，可在工件属性勾选对称型；
当工件是高反型工件时，可在工件属性勾选高反型；
当工件是低密度、镂空型工件（如线束等）时，可在工件属性勾选 Low solidity。
2.4 来料形式
通用/面型工件有序上下料场景中，一键联通训练视觉模型时，可录入来料形式，模拟实际场景下工件的来料方式，这样训练出来的视觉模型对实际场景识别效果更好、鲁棒性更高。若不录入来料形式，训练出来的视觉模型的识别效果可能不够理想。
来料形式分为两种：“紧密贴合” 和 “自定义来料形式”，“紧密贴合” 适用于工件有序来料、姿态一致、间距较小的场景，“自定义来料形式” 适用于来料有序的所有场景。
2.4.1 紧密贴合
若工件有序来料、姿态一致、间距较小的场景，可点击紧密贴合，设置每行每列的工件个数，但工件总数必须小于 40，若工件数量超过40，需保证设置的行/列工件个数比值与实际的行/列工件个数比值有同一个公约比值，比如工件实际来料形式是每行12个每列8个，则行/列工件个数的比值是12:8，约分到最简是3:2，因此可以设置每行3个每列2个、每行6个每列4个均可，但每行9个每列6个不可（超过了40）。
示例：
工件的来料形式是每行6个每列3个，工件个数18，因此可以直接将每行工件个数范围设置为[6,6]，每列工件个数范围设置为[3,3]
2.4.2 自定义来料形式
所有来料有序的场景均可自定义来料形式，操作步骤如下：
- 点击
录入来料形式打开来料形式录入器
- 旋转 Mesh 模型到合适的姿态（相机视角下的工件姿态）， 点击
生成快照/生成快照(正反)生成该姿态下的工件快照。生成快照（正反）会同时生成正面和反面视角的快照，如下所示。
- 生成快照后，可点击
新增空白画布，并拖拽快照到画布中，根据实际场景制作工件的来料形式，如下所示。
也可选择快照、设置每行个数、每列个数，然后点击生成来料形式 ，系统会按照选择的快照和设置的行列数，在画布上直接生成来料形式，如下所示。
- 来料形式录入后，将其他项一一配置好，触发一键联通后，有序场景的一键联通训练会基于录入的来料形式生成训练数据，如下图所示。
若实际场景的工件堆叠，需要点击
高级配置配置堆叠情况，旋转角度根据工件姿态设置。
示例：场景中的工件姿态绕Z轴旋转，因此设置旋转角度为 [-30,30]
  |  |
|---|
2.5 作业环境
通用工件和面型工件训练视觉模型时，可录入作业环境，一键联通生成训练数据时会将合成图像原本随机变换的背景替换为录入的作业环境图片，这样训练出来的视觉模型对实际场景识别效果更好、鲁棒性更高。
操作步骤如下：
- 点击
录入环境，进入作业环境录入器
- 获取作业环境图片有两种形式：一是
拍照取图采集相机视野下的作业环境，二是直接导入图片，作业环境图片不能包括工件和料框，可以包括托盘、底托。
2.6 工件纹理
通用/面型工件训练视觉模型时，可录入工件纹理，一键联通会使用上传的工件纹理生成训练数据，这样训练出来的视觉模型对工件识别效果更好、鲁棒性更高。
操作步骤如下：
- 点击
录入纹理，进入纹理录入器
- 获取工件纹理图片有两种形式：一是
拍照取图采集相机视野下的工件纹理，二是直接导入图片。
- 获取工件纹理图片后，点击鼠标右键可在图片上添加纹理框；按住
Ctrl键同时滑动鼠标滚轮可缩放纹理框；鼠标悬停在纹理框上然后按BackSpace键可删除纹理框。
注意：
纹理框应当将工件完整框选贴合工件边缘，否则会影响视觉模型的识别效果；
纹理框应当全部位于图片区域内，否则训练视觉模型时会报错。
2.7 混合无序场景数据
通用/面型工件有序上下料场景中，若工件的来料形式是行列有序但工件姿态不一致，可开启混合无序场景数据，一键联通会同时生成有序场景（行列有序）和无序场景下（姿态不一致）的合成数据用于训练，这样训练出来的视觉模型对工件姿态不一致的场景识别效果更好、鲁棒性更高。
示例：面型+对称型工件本身的正反面区别较小，若开启混合无序场景数据，生成的训练数据里包含了多个姿态，模型对工件的正反面判断会出错，如下图所示。
示例：通用工件有序上下料场景中，开启混合无序场景数据，触发一键联通后生成的合成图像既包含有序场景的行列有序，又包含无序场景的姿态不一致。
2.8 模型最大识别数
模型最大识别数是指模型在单张图像推理时最多能输出的实例检测结果数量。限制模型最大识别数，主要用于优化模型推理阶段的计算资源，减少耗时提高节拍。默认20个，可根据实际场景的工件个数修改。
2.9 功能选项
通用工件和面型工件训练视觉模型时，勾选相应的功能选项，触发一键联通后生成的训练数据包括不同的工件类型、不同的工件朝向、纹理、局部特征等，这样训练出来的视觉模型对实际场景的变化具有更好的识别效果。
2.9.1 视觉分类
视觉分类是指把工件按照朝向、纹理等分类。
示例：工件有两种摆放形式，需要先抓同方向的工件，再抓相反方向的工件。勾选视觉分类后，一键联通训练出来的视觉模型即可对工件的朝向进行分类，从而实现分朝向抓取。
2.9.2 识别类型
识别类型是指对不同类别工件的区分。一键联通生成的训练数据按预设类别分类，输入各类工件的图像数据，模型学习后就能判断工件所属的类别。
可将工件的正反面当作两种类型，使用识别类型功能生成包含正反面的两种训练数据。使用识别类型对正反面进行训练时，需上传工件的正反面点云。
示例：工件结构复杂、不同角度特征变化大，因此制作工件点云时正反面的点云都需要制作，把正反面的点云合成一个点云文件。
2.9.3 识别局部特征
识别局部特征是指对工件局部特征（如孔洞、凸起等）的识别。
面型工件无序抓取场景暂不支持识别局部特征
示例：相机视野内只有一个工件时，可转化为有序场景，从而使用一键联通。需使用整体CAD模拟出遮挡识别面的效果。
完成工件配置后，在作业信息中选择新增的工件配置。
2.10 视野类型参数
在单目标情景下，工件模块的视野类型参数，可以用来根据实际场景情况，指定一键联通的实际渲染高度。
检查无误后，在作业信息选择新增的工件配置。
3. 配置ROI
请参照 ROI 操作指南在ROI界面配置ROI 3D和ROI 2D。
配置好ROI 3D和ROI 2D后，在作业信息中选择对应的ROI 。
4. 训练视觉模型
完成工件和ROI配置后，点击一键联通触发视觉模型的训练。如需对输入数据进行手动编辑，应选择仅导出训练配置；如不需编辑输入数据，应选择自动创建训练任务。
4.1 仅导出训练配置
适用于需要手动对数据进行编辑的用户，后续需要自行在dexverse平台手动创建训练任务。
（1）主界面点击 一键联通 ，出现 一键联通 弹窗，勾选视觉模型，如下图所示。
（2）点击 仅导出训练配置 ，可点击弹窗下方链接查看数据压缩包内容，或进行配置修改。
（3）前往 Dexverse 平台创建训练任务，具体步骤见 DexVerse操作手册。
4.2 自动创建训练任务
适用于大部分场景，在PickWiz针对工件/ROI等进行配置后，可自动在dexverse平台创建训练任务。
（1）主界面点击 一键联通 ，出现 一键联通 弹窗，如下图所示。
（2）勾选 视觉模型 ，然后为训练任务取名，便于 DexVerse 搜索训练任务。点击 自动创建训练任务 。
（3）前往 Dexverse 平台查看自动创建的训练任务，具体请参照 DexVerse操作手册。
5. 同时训练视觉模型和成像模型
在PickWiz的一键联通弹窗中，同时勾选 视觉模型 、 成像模型 后，点击 仅导出训练配置 / 自动创建训练任务 。
