一键联通训练成像模型
成像模型是一个深度学习模型，输入双目KINGFISHER相机的左右两个摄像头拍摄的2D图像以及相机内参，成像模型将分析这两张2D图像之间的视差，利用三角测量原理和深度学习技术，预测出场景中每个像素点的深度信息，最终输出场景的深度图和点云数据。
双目KINGFISHER相机内置了5个通用的成像模型，分别是拆垛通用双目模型、圆面通用双目模型、圆柱通用双目模型、金属锭双目模型、反光金属圆柱双目模型。若这5个通用模型不满足场景需求，应当针对场景专门训练成像模型并导入。
若双目相机的通用模型或专门训练的成像模型在实际现场出现点云塌陷等情况，可使用一键联通进一步训练优化成像模型。
1. 选择作业场景
双目KINGFISHER相机目前支持在有序和无序场景下使用一键联通训练成像模型，暂不支持多类工件（功能选项-识别类型）。
2. 配置双目相机
2.1 连接双目相机（如有）
将双目KINGFISHER相机安装好后，PickWiz 连接双目相机，设置缩放比、选择成像模型、最小距离（根据实际情况调整）。
（1）连接双目相机
（2）在 KINGFISHER-相机标定文件下载双目相机的内外参配置文件并导入，此内外参配置文件会在训练成像模型中读取
（3）选择通用模型或导入为场景专门训练的成像模型，这个模型就是待一键联通训练的成像模型。
（4）点击+新增相机配置
（5）点击返回，在作业信息中选择新增的相机配置
2.2 选择双目相机（若无相机连接）
若无相机连接，完成3.配置工件、4.配置ROI、5.配置场景物体后，发起一键联通勾选成像模型，会提示未连接相机，可选择对应的相机型号。
3. 配置工件
3.1 网格文件
对于通用工件、面型工件、圆面工件、圆柱工件、四边形工件，一键联通训练成像模型时，依赖网格文件来渲染出大量不同视角、光照条件下的合成图像，扩充训练数据，这样可以提高成像模型的泛化能力。
上传网格文件并点击标准化网格文件，目前仅支持 ply 格式的网格文件。
3.2 来料形式
有序上下料场景下，来料形式会影响工件在相机视野下的角度与摆放方式，需要录入来料形式，来料形式应该包含实际现场会出现的各种情况，一键联通生成的训练数据会包含各种来料形式的合成图像。
来料形式分为两种：“紧密贴合” 和 “自定义来料形式”，“紧密贴合” 适用于工件有序来料、姿态一致、间距较小的场景，“自定义来料形式” 适用于来料有序的所有场景。
3.2.1 紧密贴合
若工件有序来料、姿态一致、间距较小的场景，可点击紧密贴合，设置每行每列的工件个数，但工件总数必须小于 40，若工件数量超过40，需保证设置的行/列工件个数比值与实际的行/列工件个数比值有同一个公约比值，比如工件实际来料形式是每行12个每列8个，则行/列工件个数的比值是12:8，约分到最简是3:2，因此可以设置每行3个每列2个、每行6个每列4个均可，但每行9个每列6个不可（超过了40）。
示例：
工件的来料形式是每行6个每列3个，工件个数18，因此可以直接将每行工件个数范围设置为[6,8]，每列工件个数范围设置为[2,3]
3.2.2 自定义来料形式
所有来料有序的场景均可自定义来料形式，操作步骤如下：
- 点击
录入来料形式打开来料形式录入器
- 旋转 Mesh 模型到合适的姿态（相机视角下的工件姿态）， 点击
生成快照/生成快照(正反)生成该姿态下的工件快照。生成快照（正反）会同时生成正面和反面视角的快照，如下所示。
- 生成快照后，可点击
新增空白画布，并拖拽快照到画布中，根据实际场景制作工件的来料形式，如下所示。
也可选择快照、设置每行个数、每列个数，然后点击生成来料形式 ，系统会按照选择的快照和设置的行列数，在画布上直接生成来料形式，如下所示。
- 来料形式录入后，将其他项一一配置好，触发一键联通后，有序场景的一键联通训练会基于录入的来料形式生成训练数据，如下图所示。
若实际场景的工件堆叠，需要点击
高级配置配置堆叠情况，旋转角度根据工件姿态设置。
确认堆叠高度
设置工件可能出现的视角，设置角度旋转
高级配置中，应根据CAD模型和快照，对现场工件可能出现的角度偏差进行判断。如下所示，若工件在现场最容易出现绕x轴的角度偏差，则绕X轴旋转角度应当设置得大一点。同时绕yz轴可能也会出现一些小的扰动，所以也给绕Y轴旋转角度设置一个较小的值，保证所给出的角度能够覆盖现场可能出现的场景。
| 修改前（有误的） | 修改后 | |
|---|---|---|
| pattern |  |  |
| TB |  |  |
| 点云成像 |  |  |
3.3 检查工件配置
有序上下料场景下需配置网格文件、点云文件、来料形式，无序抓取场景下需配置网格文件、点云文件，请检查工件配置是否完成，如未完成后续触发一键联通时会报错。
3.4 视野类型
在单目标情景下，工件模块的视野类型参数，可以用来根据实际场景情况，指定一键联通的实际渲染高度。
检查无误后，在作业信息选择新增的工件配置。
4. 配置ROI
请参照 ROI 操作指南在ROI界面配置ROI 3D和ROI 2D。
注意：
调整ROI 3D时，保证 ROI 3D工作区 的Z方向高度刚好包含了距离相机最近的工件点云及地面点云即可（如下图）。
ROI 3D框的底边尽可能贴合地面，顶面不可过高
5. 配置场景物体
通用无序场景下，针对有料框且使用碰撞检测功能选项的场景，应当配置场景物体，上传料框的网格文件，场景物体尺寸要与实际料框尺寸一致。
6. 创建训练任务
完成相机、工件和ROI配置后，点击一键联通触发成像模型的训练。
如需对输入数据进行手动编辑，应选择仅导出训练配置；如不需编辑输入数据，应选择自动创建训练任务。
6.1 仅导出训练配置
适用于需要手动对数据进行编辑的用户，后续需要自行在dexverse平台手动创建训练任务。
（1）主界面点击一键联通，出现一键联通弹窗，勾选成像模型，确认KINGFISHER相机已连接或已选择对应相机型号。
（2）点击 仅导出训练配置 ，软件会读取现有相机中内外参数文件，导出到训练配置相关路径下，可点击弹窗下方链接查看数据压缩包内容，或进行配置修改。
（3）手动上传Dexverse平台创建训练任务，具体步骤见 DexVerse操作手册。
6.2 自动创建训练任务
适用于大部分场景，在PickWiz针对工件/ROI等进行配置后，可自动在dexverse平台创建训练任务。
（1）主界面点击 一键联通，出现 一键联通 弹窗，勾选成像模型，确认KINGFISHER相机已连接或已选择对应相机型号，然后为任务取名便于 DexVerse 搜索任务。
（2）勾选 成像模型 ，点击 自动创建训练任务 。
（3）前往Dexverse平台查看自动创建的训练任务，具体步骤见 DexVerse操作手册。
7. 同时训练视觉模型和成像模型
在PickWiz的一键联通弹窗中，同时勾选 视觉模型 、 成像模型 后，点击 仅导出训练配置 / 自动创建训练任务 。
