1. 产品简介

基于 mems 振镜的双目结构光 3D 相机嵌入式软件是基于 mems 振镜投影的结构光 3D 相机软件。基于核心硬件 Ainstec mems 芯片，Sony 成像芯片和 NvidiaJetson Nano 运算模块。数据传输使用 GigE 接口，支持多种曝光模式。本软件适用于 3D 扫描、工业 3D 缺陷检测，可配合工业机器人使用在工业无序抓取、上下料等使用场景。

2. 安全须知

请仔细阅读安全须知，严格按照下述规范操作，否则将严重损害相机，跨维不负责由此产生的维护问题

• 严禁水泡

• 严禁火烧

• 严禁拆机

• 严禁私接电源

• 严禁私自延长网线

• 严禁在潮湿、有凝露或高粉尘环境下使用相机

• 严禁在强磁场、高压放电设备（如电焊机）环境下使用相机

• 严禁外力撞击，摔打，如发生请联系工作人员检修

• 远离激光打标机、镭雕机等会对相机造成损坏的设备，如必须使用，请联系公司人员确认

• 严禁超距使用，使用距离：XEMA-P:100-150mm；XEMA-DCW:0.3-0.5m;XEMA-SCW:0.5-1m;XEMA-LCW:1-2.5m;SPARROW:0.3-0.5m;FINCH:1.5-3.5m：如有特殊定制需提前跟相机组沟通需求

• 严格按照产品规格书在高低温允许温度范围内使用相机。

3. 规格参数

参数	型号	FINCH-W-2002
硬件参数	视场角(H/V)	57°/48°
	外形尺寸(mm)	465*130*×69
	重量(kg)	2.7
	基线长度(mm)	400
	分辨率	Mono:1624*1240 Color:2272*1648
	接口类型	Gigabit Ethernet
	计算单元	NVIDIA Jexson Nano
	额定电压	DC 24V ≥2A
技术参数	近端现场(mm)	1844*1332
	远端现场(mm)	3796*3109
	推荐工作距离(mm)	1500~3500
	Z轴精度	0.65mm@3m
	Z轴重复精度σ(μm)	72@1.5m-3.5m
	像素间距	Mono：1.13mm@1.5m 2.63mm@3.5m Color：0.93mm@1.5m 2.17mm@3.5m
	典型采集时间	0.8-2.0s
	输出数据	点云图、深度图、灰度图（彩色图）
	操作系统支持	微软、Linux操作系统(Ubuntu20.04)
	SDK接口	C/C++/C#/Python

4. 安装与连接

4.1 开箱检查

4.2 硬件安装

安装方式有两种，一种是通过网线直接连接进行通信（用网线连接相机与工控机），一种是通过路由器或交换机连接进行交互（网线一端连接路由器一端连接相机）。

• 通过路由器/交换机连接交互

• 通过网线直接连接进行通信

当网络中不存在DHCP服务器时（即相机与电脑直连），相机的DHCP机制尝试30秒仍没有获取到IP，即转为AVAHI机制协商IP，协商出的IP在169.254.x.x网段。

• 电源连接相机，开启电源

相机上电前，首先确认电源线与网线连接牢靠，接通电源后“Power”指示灯常亮，约30秒钟相机启动完成，此时相机的网口绿色指示灯常亮、橙色指示灯闪烁，表明网络带宽为千兆。相机的“Act”工作指示灯在拍照及数据传输时点亮，平时为熄灭状态。

4.3 连接相机

在连接相机前，应当下载安装DexSense软件，请按照 http://cloud.open3dv.site:8087/nas/dexsense_release/ 下载安装DexSense

• 打开DexSense软件，在DexSense软件界面直接搜索连接

• 使用网线连接相机与工控机，打开相机电源，然后在主界面点击相机面板，打开相机界面

• 在相机界面选择需要连接的相机品牌，可选XEMA、FINCH、SPARROW、KINGFISHER、KINGFISHER-R，然后点击搜索当前品牌相机或以前连接过的相机，连接对应IP地址的相机。

也可直接输入相机的IP地址然后点击连接相机按钮。

• 相机连接成功后，应当在作业信息界面为当前作业选择相机，选择相机后，状态栏的相机连接状态变为"已连接"，如下图所示。

5. 相机配置

• 每个相机具有多个默认配置，所有默认配置不可更改。选择对应的默认配置，点击触发拍照，使用成像参数拍摄2D图、点云图、深度图，可在左侧的可视化视窗查看成像质量。

• 相机默认配置不可更改，若所有默认配置拍摄的2D图都无法达到曝光正常，可点击+复制当前的相机默认配置，新增一个相同的相机配置，直接进入相机配置界面修改参数。

复制当前的相机默认配置后，可切换为新增的相机配置，点击设置按钮 ，进入相机配置界面修改参数。

点击—，可删除新增的相机配置。

• 点击保存图片，可保存使用当前配置拍摄的2D图、点云图、深度图到本机，如下图所示，保存路径为项目文件夹/config/camera/image/拍摄时间，后缀名为bmp的是2D图、后缀名是ply的是点云图、后缀名是tiff的是深度图。

• 点击查看内参，可查看相机内参，包括镜头焦距、主点坐标、畸变系数等。

• 点击断开连接可断开该相机的连接，重新选择相机连接。

5.1 导入相机配置

进入相机配置界面，点击导入相机配置可将已有的相机配置导入相机。

5.2 功能操作

相机配置界面有如下功能操作：

• 显示过曝区域

开启 显示过曝区域 后，可视化视窗将显示当前图像的过曝区域，如下图所示。

• 触发拍照

点击触发拍照，使用当前的相机配置拍摄2D图、点云图、深度图，可在可视化视窗查看当前相机配置的成像质量。

• 连续采集

点击连续采集，相机将连续拍照，点击取消采集才停止拍照

• 保存图片

点击保存图片，可保存拍摄的2D图、点云图、深度图

• 相机精度

点击相机精度，可查看和校验相机精度

5.3 相机精度

5.3.1 查看相机精度

• 将标定板放置在相机视野内，在相机配置界面点击相机精度，会出现相机精度界面，如下图所示

• 选择对应的标定板，若选择的标定板与实际不符，会弹窗警告"请检查标定板类型"弹窗，如下图所示，标定板类型为A3会弹窗警告

• 选择正确的标定板类型后，点击查看相机精度，PickWiz会自动计算当前相机的相机精度，若相机精度符合要求，则直接调整相机成像参数；若相机精度过大，会弹窗提示框"误差过大，建议校正相机精度"。

FINCH系列相机的相机精度<0.8mm说明精度满足要求

5.3.2 校正相机精度

在实际相机使用过程中，以及外参校正后，需要验证当下相机的精度是否达到要求。

查看相机精度，若相机精度误差异常，应当校正相机精度；

当前相机拍照得到的点云起伏波动较大，应当校正相机精度

在校正相机精度前，应开启显示过曝区域查看相机成像的曝光程度，如有过曝区域应调整单曝光的曝光时间，确保相机成像曝光正常。

校正完成后，应当将相机成像参数切换回原本的配置

• 在相机配置界面点击相机精度

• 选择对应的标定板，若选择的标定板与实际不符，会弹窗警告"请检查标定板类型"弹窗，如下图所示，标定板类型为A3会弹窗警告

• 选择正确的标定板类型后，点击校正相机精度

• 将标定板水平放置在相机视野范围的中央，点击新增样本，相机开始采样和校验样本，若采集的样本校验通过，会添加到采集样本下方，如下图所示

点击样本x，可查看采集的样本，校验通过的样本的标定板上所有同心圆的圆心变成绿色

• 移动标定板到相机视野范围内的4个角落新增样本

在每个角落将标定板垫起角度，标定板摆放角度在15-30°，倾斜角度不可过大过小

• 新增5个样本后，点击计算校正结果

• 校正完成后，会弹出提示框"相机精度校正完成，校正精度为x，误差正常，是否覆盖当前的相机参数配置"

如选择覆盖当前的相机参数配置，会将相机精度校正结果更新到相机，需重启相机才能生效

6. 相机调参

6.1 必选参数

6.1.1 引擎模式

引擎模式包括常规、高反、黑色模式，其中高反模式对高反件效果极佳，黑色模式对黑色工件效果极佳、常规模式可应对普通工件。

引擎模式	说明
常规	适用于一般工件
高反	适用于高反光工件
黑色	适用于黑色工件

6.1.2 曝光类型

（1）单曝光

对于普通纹理工件可使用单曝光

（2）高动态：

对于高反工件可使用HDR功能进行点云融合

曝光类型的高动态应当与引擎模式的高动态配合使用

高动态范围成像（High Dynamic Range Imaging，简称 HDRI 或 HDR），用来实现比普通数位图像技术更大曝光动态范围（即更大的明暗差别）的一组技术。

高动态使图像层次更分明，明暗差别明显（特别是面对反光工件）。

调参建议：

• 使用高动态时，可根据具体的场景和工件，选择高动态曝光次数，取值范围 2~6，默认2。若3D点云质量和2D图像质量不佳，应当增加组数对物体进行多次曝光，以达到最佳的成像质量。

建议在满足点云质量的情况下使用更少的高动态曝光次数。

（3）重复曝光：相机要重复拍摄的次数，作用是提高信噪比（信号与噪声的比例），信噪比越高越好，这样随机噪声将会被抑制，增加了有效信息，取值范围为0~10。

对于黑色物体可使用重复曝光，通过多次曝光优化点云

6.1.3 曝光时间

相机曝光时间：曝光时间是景物的反射光线通过镜头到达成像感光材料上，快门所要打开的时间。曝光时间越长，进入的光线越多。曝光时间过长则会出现过曝现象，从而影响点云，应结合实际调整大小

范围：1700-100000

曝光时间和投影亮度为一组，一次高动态曝光次数就是一组，为每一组设置合适的曝光时间和投影亮度值。

曝光时间：曝光时间是相机快门打开的时候光线进入相机的时间。曝光时间越长，进入的光线越多，图像越清晰。

曝光时间过长则会出现过曝的现象，可打开显示过曝区域，显示红色的部分为过曝区域。

6.1.4 投影亮度

投影亮度是指投影光线的强度，光线强度越大，图像就越明亮、越清晰，在一定范围内，人眼会因为亮度大而觉得画面更清晰，如果超过这个限度，过强的亮度则会导致无法看清图像。

范围：0-1023

该值越大，投影的亮度越大，可有效提高信噪比。建议使用最大值，若曝光时间调至最小仍过曝再考虑缩小此值

注意：建议亮度调整为 1023

6.1.5 增益

调节画面的亮暗。

范围：0-24

可调节2D相机的增益值，应适当增加，增益增大，噪声会随之增大

6.1.6 平滑

范围:0-5

对点云进行平滑操作

6.1.7 置信度

置信度表明可信程度，会在最初对点云进行一次筛选，一般2-5即可，客户可根据现场调整

调低置信度，深度图中的黑色部分被保留更多；相反，调高置信度之后深度图中的黑色噪声会被去除。

范围：0-100

6.1.8 噪点过滤

在机器视觉应用场景中,如检测金属、铝箔表面、反光膜片、光滑表面的物品时,镜面反射会造成局部反射光过强,从而失去物体原有信息,干扰机器视觉检测。噪点过滤可将产生的噪声部分消除，保存物体原有信息。

范围0-100

在识别金属、铝箔表面、反光膜片、光滑表面的物品时，镜面反射会造成局部反射光过强,从而失去物体原有信息，干扰 Pickwiz 识别和检测图像。调大噪点过滤值可将产生的噪声部分消除，保存物体原有信息。

6.2 可选参数

6.2.1 半径滤波

对于点云中的每一个点，确定一个半径为r的球体，选取有效点数，若内部点数小于有效点时，则认为是噪声点进行剔除，半径越小、有效点数越大，滤波效果越明显

半径范围：0-99

有效点范围：0-99

6.2.2 深度滤波

对于Z轴方向的悬空噪点进行过滤，阀值越大，滤波效果越明显。基于深度图的滤波方法，在 1000mm 的距离下建议阈值为 33。

范围：0-100

6.2.3 反射滤波

对于金属互反射造成的立面噪声进行过滤，阀值越大，滤波效果越明显

范围：0-100

6.2.4 相位校正

相位校正即点云灰度补偿，是一种在三维点云数据中对灰度信息进行校正的方法。 点云灰度补偿的目的是消除这些灰度值差异，并将点云中的灰度信息转化为与实际物体表面反射率相对应的数值，阀值越大，校正越明显

范围：0-100

使用方法：首先放置标定板，以标定板的平面为基准平面。如上图所示。

如最大高度最小高度章节介绍，将最大高度调为 1，最小高度调为-1，只显示标定板部分，如上图所示。

在不打开相位校正时，标定板如上图所示，在实际的标定板中整个是平面，圆和非圆部分不存在上下起伏，但实际拍出的效果则是圆有起伏。

在打开相位校正后，发现标定板基本不存在颜色差异或差异不明显，说明校正成功。

6.2.5 2D图叠加曝光

该功能可在得到点云后，对最初2D图进行单独的覆盖；有时会遇到点云良好，但2D图却过暗过爆，不满足要求，此时便可打开2D叠加曝光，对最初的2D图进行覆盖。

选择发光则可以自行设置曝光时间、增益，拍摄方式（单曝光或高动态）。

选择不发光则是环境中的光线亮度，也可自行设置曝光时间、增益，拍摄方式（单曝光或高动态）。

叠加增益

在使用2D叠加曝光功能时，可调节此增益使画面更亮

叠加曝光时间

在使用2D叠加曝光功能时，可调节此曝光时间使画面更亮

上一页XEMA系列相机使用手册

下一页SPARROW系列相机使用手册