点云模板制作指南

约 3963 字大约 13 分钟

PickWiz 的点云模板制作功能包括网格文件处理、点云模板制作、关键点制作、点云对齐网格四部分，操作方法如下。

在主界面点击菜单>点云模板制作，打开点云模板制作窗口，如下图所示。

1. 网格文件处理

网格文件是指存储三维模型数据的文件，一般是工件的CAD模型，用于一键联通训练视觉模型。

上传网格文件，选择网格文件尺寸单位，米（m）或者毫米（mm），若不清楚网格文件的单位可不选，系统会根据上传的网格文件自动判断并转化，选择完成后可点击标准化，目前仅支持 ply 格式的网格文件。

提示

标准化网格文件会实现以下四个功能：

自动将网格文件对齐到坐标中心
Mesh 面片简化
调整工件，解决工件与坐标系不正的问题
将网格文件尺寸统一调整为以米（m）为单位

注意

每次点击标准化网格文件都会在上一次处理的文件基础上进行再次标准化。

同一网格文件，通常仅需要进行一次标准化

完成标准化后，可自定义调整网格位姿，在左侧视窗内观察调整结果。
调整完成后，点击导出选择当前作业的工件，选择对应的工件，点击同步到工件，可将标准化后的网格文件自动上传至工件。
如需制作点云模板或将点云对齐网格，应导出标准化后的网格文件至本地。

2. 点云模板制作

点云模板是指能精确描述理想情况下工件形状、结构和关键特征的点云数据，预先在工件配置后，与相机实时采集的工件点云进行3D匹配，找到二者的最佳变换关系，得到优化后的工件姿态。

点云模板既可以描述整个工件，也可以只描述工件的一部分。为了让点云模板在匹配过程中更好的发挥作用，点云模板应具有如下特点：

特点

点云模板中的点云分布均匀，数量合理，以避免影响匹配速度。
点云模板应包括工件的典型特征，以便在匹配过程中能够准确识别出工件。
点云模板应避免存在无关点云等干扰因素，以保证匹配的稳定性和准确性。

2.1 点云模板制作方法

点云模板制作方法	说明	适用场景
网格生成模板	对导入的标准化网格文件进行降采样，一键生成点云模板	真实工况下，相机采集的工件点云和通过标准化网格生成的工件点云模板一致性较好的情况
相机采图生成模板	通过相机采集两次图像（一张含工件、一张不含工件），计算两图差集得到工件的点云模板	相机采集的工件点云和通过标准化网格生成的工件点云模板一致性较差的情况
采集3D区域内的点云	在相机采集的含工件的点云图中，用3D包围盒框选出工件点云，点击生成模板即可获取点云模板文件	/
历史数据生成模板	在历史数据文件夹中选择含有包含工件的场景点云图（.ply）、原始彩色图（.png）、深度图（.tiff）和相机内参json文件（.json）的文件夹，用3D包围盒框选出工件点云，点击生成模板即可获取点云模板文件	项目类型为“面型工件有序上下料（图像匹配）”和“面型工件定位装配（仅图像匹配）

2.1.1 网格生成模板

功能说明

对导入的标准化网格文件进行降采样，一键生成点云模板，生成方式有两种：

生成模板：
- 基于标准化网格文件，整体降采样生成点云模板；
- 适用于大部分场景。
生成模板 （仅当前视角）
- 基于标准化网格文件，仅采用当前视角下的网格文件生成点云模板；
- 适用于有序场景中，工件摆放姿态单一的场景，需保证视窗中网格文件的视角与真实工况相机视角下的工件一致。

适用场景

真实工况下，相机采集的工件点云和通过标准化网格生成的工件点云模板一致性较好的情况。

2.1.2 相机采图生成模板

功能说明

通过相机采集两次图像（一张含工件、一张不含工件），计算两图差集得到工件的点云模板，需保证相机采图视角、两次采集时除工件以外的任意物体没有变化。

适用场景

相机采集的工件点云和通过标准化网格生成的工件点云模板一致性较差的情况。

⚠️已知问题

通过相机采图制作较扁平的工件点云模板时，存在点云采集不到或点云过少的问题，解决方式为将扁平工件垫高后取图。

点击相机采图生成模板

使用相机采图生成模板前必须连接相机并将相机配置到作业信息中，具体请参照相机连接与调参指南

在含工件图像栏点击采集图像，拍摄包含工件的图像，如下图所示

在采集的包含工件的图像上画出工件的2D框，如下图所示。

在不含工件图像栏点击采集图像，拍摄不含工件的背景图像，如下图所示

点击生成模板即可生成工件的点云模板，点云模板自动对齐到坐标原点。

2.1.3 采集3D区域内的点云

在相机采集的含工件的点云图中，用3D包围盒框选出工件点云，点击生成模板即可获取点云模板文件，如下图所示。

点击采集3D区域内的点云

采集3D区域内的点云前必须连接相机并将相机配置到作业信息中，具体请参照相机连接与调参指南

在含工件图像栏点击采集图像，拍摄包含工件的图像，如下图所示

在采集的图像上框出工件

鼠标左键可转换视角、放大缩小，如下图所示。

鼠标右键可调整3D框的大小和角度，如下图所示。

将工件点云框好后，点击生成模板即可生成工件的点云模板, 点云模板自动对齐到坐标原点

2.1.4 历史数据生成模板

当项目类型为“面型工件有序上下料（图像匹配）”和“面型工件定位装配（仅图像匹配）”时，需要在“菜单”—“点云模板制作”功能中，“历史数据生成模板”制作点云模板。

源数据来源：历史数据文件夹

源数据所在路径：选择一份完整的历史数据文件夹，在通常在项目文件夹\data\PickLight\历史数据\Builder\foreground\input中

模板数据生成路径：默认生成在当前项目的data文件夹下，可以修改至本地其他文件夹。

在左侧视窗框选好所需工件的ROI区域，点击生成工件点云，左侧窗口出现点云，通过右上角的点云编辑工具编辑出需要的工件点云。

工件点云制作完成后，点击生成模板数据，即可完成模板生成。

源数据来源：现场采集生成

确认已连接相机并在作业信息处配置相机，点击采集图像，生成点云图像，框选出工件位置的ROI，点击生成工件点云，左侧窗口出现点云，通过右上角的点云编辑工具编辑出需要的工件点云。

工件点云制作完成后，点击生成模板数据，即可完成模板制作。

通过历史数据生成模板时，生成的点云模板不允许调整点云位姿，对齐坐标原点，点云模板降采样，重置，导出等操作

2.2 点云模板编辑

2.2.1 调整点云位姿

支持自定义调整点云位姿，调整完成后点击最下方导出，会将当前左侧视窗内的点云模板保存导出。

可以一键将点云模板中心对齐相机坐标系原点，点击对齐坐标原点后，点云模板中心会被移动到相机坐标系的原点位置。

注意

点云模板中心对齐相机坐标系原点后不支持再进行"点云对齐网格"计算
根据"历史数据生成模板"生成的点云模板不支持调整点云位姿对齐坐标原点/点云模板降采样等功能

2.2.2 点云着色

可自定义点云模板颜色，调整完成后点击最下方导出，会将当前左侧视窗内的点云模板保存导出。

2.2.3 点云模板降采样

可对点云模板进行降采样处理，降低点云数量，提高视觉运算速度。

降采样的点间距(mm)：点云模板降采样的点间距，该数值越大，降采样后的点云数量越少，视觉运算速度会加快，但精度可能下降，该数值越小则相反；限定范围：[0.0，1000.0]，默认值：0.0，单位：mm。

每次输入降采样点间距后，降采样生效，并且会在上次降采样的基础上进行再次降采样。左侧视窗左下角会显示当前点云数量，用户可根据点云数量调整降采样点间距。

重置功能：

点击重置按钮时，自动将左侧可视化视窗中显示的点云模板，还原为当前展开的功能部分、最近一次点击生成模板按钮时生成的点云模板，相当于重新生成对应的点云模板
降采样点间距重置为默认值0.0mm，点云数量也会更新

3. 关键点制作

关键点是三维模型中具有明确语义或几何意义的特征点，用于描述工件的局部结构或全局姿态，在基于关键点的姿态估计中，通过检测这些点的位置来推断工件的整体位置和姿态。

3.1 降采样生成关键点

功能说明

通过导入的标准化网格文件，一键生成在工件整体上均匀分布的关键点。

适用场景

大部分通用工件场景都适用。

切换至关键点制作窗口
上传标准化后的网格文件

若需生成工件的全量关键点，可点击生成关键点，生成的全量关键点如下图所示。

若仅需生成当前视角的关键点，可点击生成关键点（仅当前视角），生成的当前视角关键点如下图所示。

3.2 工件轮廓生成关键点

功能说明

通过导入的标准化网格文件，一键生成在工件轮廓上分布的关键点。

适用场景

适用于通用工件场景，当均匀分布的关键点无法正确识别工件特性的情况，特别是工件具备对称性、正反等特征时。基于工件轮廓生成的关键点能够匹配更精准。

切换至关键点制作窗口
点击工件轮廓生成关键点，上传标准化后的网格文件

若需生成工件的全量关键点，可点击生成关键点，生成的全量关键点如下图所示。

若仅需生成当前视角的关键点，可点击生成关键点（仅当前视角），生成的当前视角关键点如下图所示。

4. 点云对齐网格

功能说明

将点云文件与标准化网格文件的坐标系对齐。

适用场景

适用于通用工件场景，当标准化后的网格文件与工件点云模板坐标系不一致时需要（如通过相机采图生成的点云模板）使用该功能。

需要对齐的原因为：相机采图生成的点云模板默认以相机坐标为原点，需要与标准化网格文件的坐标对齐，实现网格文件、关键点（通过网格文件生成，与网格文件坐标系一致）、工件点云模板的坐标关系一致，通用工件才可正常进行后续的识别与匹配。

使用点云对齐网格之前需要连接相机

操作步骤：上传标准化网格文件和点云文件，填写导出点云文件的名称后点击对齐计算，支持自定义调整点云位姿和点云模板颜色。