点云模板制作指南
网格文件、关键点、点云模板均用于3D匹配，通用工件必须上传网格文件、点云模板、关键点文件，面型工件必须上传网格文件、点云模板，圆面工件、圆柱工件、四边形工件可能需要上传点云模板。
PickWiz 的点云模板制作功能包括网格文件处理、点云模板制作、关键点制作、点云对齐网格四部分，操作方法如下。
在主界面点击菜单>点云模板制作，打开点云模板制作窗口，如下图所示。
1. 网格文件处理
网格文件是指存储三维模型数据的文件，一般是工件的CAD模型，用于一键联通训练视觉模型。CAD模型主要来源于用户提供或者公司内自行扫描。
若通用的视觉模型无法识别工件，需要进行一键联通训练，网格文件必须经过标准化处理，才能保证最终视觉模型的训练效果。
标准化网格文件
功能说明
一键完成网格文件的标准化处理，包括将坐标轴对齐到网格文件模型中心、增加或减少网格模型的面片数、单位统一为m。
使用场景
进行一键联通训练：该网格文件必须经过标准化处理，才能正常使用一键联通训练模型。
通过网格文件生成点云模板：该网格文件必须经过标准化处理，才能正常生成点云模板。
点云对齐网格：该网格文件必须经过标准化处理，才能正常进行对齐。
注意
同一网格文件，仅需要进行一次标准化，多次标准化会带来“副作用”。
- 上传工件的CAD模型，如下图所示。
- 点击
标准化后，导出按钮变为可点击状态，如下图所示。
同一网格文件，仅需要进行一次标准化
- 选择
当前作业的工件，点击同步到工件，可将标准化后的网格文件自动上传至工件，如下图所示。
- 如需制作点云模板或将点云模板对齐网格，应导出标准化后的网格文件至本地。
2. 点云模板
点云模板是指能精确描述理想情况下工件形状、结构和关键特征的点云数据，预先在工件配置后，与相机实时采集的工件点云进行3D匹配，找到二者的最佳变换关系，得到优化后的工件姿态。
点云模板既可以描述整个工件，也可以只描述工件的一部分。为了让点云模板在匹配过程中更好的发挥作用，点云模板应具有如下特点：
点云模板中的点云分布均匀，数量合理，以避免影响匹配速度。
点云模板应包括工件的典型特征，以便在匹配过程中能够准确识别出工件。
点云模板应避免存在无关点云等干扰因素，以保证匹配的稳定性和准确性。
2.1 点云模板制作方法
| 点云模板制作方法 | 说明 | 适用场景 |
|---|---|---|
| 网格生成模板 | 对导入的标准化网格文件进行降采样，一键生成点云模板 | 真实工况下，相机采集的工件点云和通过标准化网格生成的工件点云模板一致性较好的情况。 |
| 相机采图生成模板 | 通过相机采集两次图像（一张含工件、一张不含工件），计算两图差集得到工件的点云模板 | 相机采集的工件点云和通过标准化网格生成的工件点云模板一致性较差的情况。 |
| 采集3D区域内的点云 | 在相机采集的含工件的点云图中，用3D包围盒框选出工件点云，点击 生成模板 即可获取点云模板文件。 | / |
| 历史数据生成模板 | 在历史数据文件夹中选择含有包含工件的场景点云图（.ply）、原始彩色图（.png）、深度图（.tiff）和相机内参json文件（.json）的文件夹，用3D包围盒框选出工件点云，点击 生成模板 即可获取点云模板文件。 | 项目类型为“面型工件有序上下料（图像匹配）”和“面型工件定位装配（仅图像匹配） |
2.1.1 网格生成模板
功能说明
对导入的标准化网格文件进行降采样，一键生成点云模板，生成方式有两种：
生成模板：
基于标准化网格文件，整体降采样生成点云模板；
适用于大部分场景。
生成模板 （仅当前视角）
基于标准化网格文件，仅采用当前视角下的网格文件生成点云模板；
适用于有序场景中，工件摆放姿态单一的场景，需保证视窗中网格文件的视角与真实工况相机视角下的工件一致。
适用场景
真实工况下，相机采集的工件点云和通过标准化网格生成的工件点云模板一致性较好的情况。
- 切换至
点云模板制作窗口
- 将
1. 网格文件处理导出至本地的标准化网格文件上传
- 若需生成工件的全量点云，可点击
生成模板，生成的全量点云模板如下图所示。
- 若仅需生成当前视角的工件点云，可点击
生成模板（仅当前视角），生成的当前视角点云模板如下图所示。
2.1.2 相机采图生成模板
功能说明
通过相机采集两次图像（一张含工件、一张不含工件），计算两图差集得到工件的点云模板，需保证相机采图视角、两次采集时除工件以外的任意物体 没有变化。
适用场景
相机采集的工件点云和通过标准化网格生成的工件点云模板一致性较差的情况。
⚠️已知问题
通过相机采图制作较扁平的工件点云模板时，存在 点云采集不到 或 点云过少 的问题，解决方式为将扁平工件垫高后取图。
- 切换至
点云模板制作窗口
- 点击
相机采图生成模板
使用相机采图生成模板前必须连接相机并将相机配置到作业信息中，具体请参照 相机连接与调参指南
- 在
含工件图像栏点击采集图像，拍摄包含工件的图像，如下图所示
- 在采集的包含工件的图像上画出工件的2D框，如下图所示。
- 在
不含工件图像栏点击采集图像，拍摄不含工件的背景图像，如下图所示
- 点击
生成模板即可生成工件的点云模板，点云模板自动对齐到坐标原点。
2.1.3 采集3D区域内的点云
在相机采集的含工件的点云图中，用3D包围盒框选出工件点云，点击生成模板即可获取点云模板文件，如下图所示。
- 切换至
点云模板制作窗口
- 点击
采集3D区域内的点云
采集3D区域内的点云前必须连接相机并将相机配置到作业信息中，具体请参照相机连接与调参指南
- 在
含工件图像栏点击采集图像，拍摄包含工件的图像，如下图所示
- 在采集的图像上框出工件
鼠标左键可转换视角、放大缩小，如下图所示。
鼠标右键可调整3D框的大小和角度，如下图所示。
- 将工件点云框好后，点击
生成模板即可生成工件的点云模板, 点云模板自动对齐到坐标原点
2.1.4 历史数据生成模板
当项目类型为“面型工件有序上下料（图像匹配）”和“面型工件定位装配（仅图像匹配）”时，需要在“菜单”—“点云模板制作”功能中，“历史数据生成模板”制作点云模板。
- 源数据来源：历史数据文件夹
源数据所在路径：选择一份完整的历史数据文件夹，在通常在项目文件夹\data\PickLight\历史数据\Builder\foreground\input中
模板数据生成路径：默认生成在当前项目的data文件夹下，可以修改至本地其他文件夹。
在左侧视窗框选好所需工件的ROI区域，点击生成工件点云，左侧窗口出现点云，通过右上角的点云编辑工具编辑出需要的工件点云。
工件点云制作完成后，点击生成模板数据，即可完成模板生成。
- 源数据来源：现场采集生成
确认已连接相机并在作业信息处配置相机，点击采集图像，生成点云图像，框选出工件位置的ROI，点击生成工件点云，左侧窗口出现点云，通过右上角的点云编辑工具编辑出需要的工件点云。
工件点云制作完成后，点击生成模板数据，即可完成模板制作。
2.2 选取特征制作点云模板
制作点云模板时，需从原始点云中去除可能干扰匹配的非关键点云，然后选取最具代表性的点云作为点云模板，以优化后续匹配过程，提升匹配效率和准确性。
请参照 点云模板制作的要素，原则及案例根据实际场景的任务和工件选取特征，制作一个点云模板。
3. 关键点制作
关键点是三维模型中具有明确语义或几何意义的特征点 ，用于描述工件的局部结构或全局姿态，在基于关键点的姿态估计中，通过检测这些点的位置来推断工件的整体位置和姿态。
3.1 降采样生成关键点
功能说明
通过导入的标准化网格文件，一键生成在工件整体上均匀分布的关键点。
适用场景
大部分通用工件场景都适用。
- 切换至
关键点制作窗口
- 上传标准化后的网格文件
- 若需生成工件的全量关键点，可点击
生成关键点，生成的全量关键点如下图所示。
- 若仅需生成当前视角的关键点，可点击
生成关键点（仅当前视角），生成的当前视角关键点如下图所示。
3.2 工件轮廓生成关键点
功能说明
通过导入的标准化网格文件，一键生成在工件轮廓上分布的关键点。
适用场景
适用于通用工件场景，当均匀分布的关键点无法正确识别工件特性的情况，特别是工件具备对称性、正反等特征时。基于工件轮廓生成的关键点能够匹配更精准。
- 切换至
关键点制作窗口
- 点击
工件轮廓生成关键点，上传标准化后的网格文件
- 若需生成工件的全量关键点，可点击
生成关键点，生成的全量关键点如下图所示。
- 若仅需生成当前视角的关键点，可点击
生成关键点（仅当前视角），生成的当前视角关键点如下图所示。
4. 点云对齐网格
功能说明
将点云文件与标准化网格文件的坐标系对齐。
适用场景
适用于通用工件场景，当标准化后的网格文件与工件点云模板坐标系不一致时需要（如通过相机采图生成的点云模板）使用该功能。需要对齐的原因为：相机采图生成的点云模板默认以相机坐标为原点，需要与标准化网格文件的坐标对齐，实现网格文件、关键点（通过网格文件生成，与网格文件坐标系一致）、工件点云模板的坐标关系一致，通用工件才可正常进行后续的识别与匹配。
使用
点云对齐网格之前需要连接相机
- 切换至
点云对齐网格窗口
- 上传标准化后的网格文件和点云模板
- 点击
对齐计算
