外观
FINCH系列相机使用手册
1. 产品简介
基于 mems 振镜的双目结构光 3D 相机嵌入式软件是基于 mems 振镜投影的结构光 3D 相机软件。基于核心硬件 Ainstec mems 芯片，Sony 成像芯片和 NvidiaJetson Nano 运算模块。数据传输使用 GigE 接口，支持多种曝光模式。本软件适用于 3D 扫描、工业 3D 缺陷检测，可配合工业机器人使用在工业无序抓取、上下料等使用场景。
2. 安全须知
请仔细阅读安全须知，严格按照下述规范操作，否则将严重损害相机，跨维不负责由此产生的维护问题
严禁水泡
严禁火烧
严禁拆机
严禁私接电源
严禁私自延长网线
严禁在潮湿、有凝露或高粉尘环境下使用相机
严禁在强磁场、高压放电设备（如电焊机）环境下使用相机
严禁外力撞击，摔打，如发生请联系工作人员检修
远离激光打标机、镭雕机等会对相机造成损坏的设备，如必须使用，请联系公司人员确认
严禁超距使用，使用距离：XEMA-P:100-150mm；XEMA-DCW:0.3-0.5m;XEMA-SCW:0.5-1m;XEMA-LCW:1-2.5m;SPARROW:0.3-0.5m;FINCH:1.5-3.5m：如有特殊定制需提前跟相机组沟通需求
严格按照产品规格书在高低温允许温度范围内使用相机。
3. 规格参数
| 参数 | 型号 | FINCH-W-2002 |
|---|---|---|
| 硬件参数 | 视场角(H/V) | 57°/48° |
| 外形尺寸(mm) | 465*130*×69 | |
| 重量(kg) | 2.7 | |
| 基线长度(mm) | 400 | |
| 分辨率 | Mono:1624*1240 Color:2272*1648 | |
| 接口类型 | Gigabit Ethernet | |
| 计算单元 | NVIDIA Jexson Nano | |
| 额定电压 | DC 24V ≥2A | |
| 技术参数 | 近端现场(mm) | 1844*1332 |
| 远端现场(mm) | 3796*3109 | |
| 推荐工作距离(mm) | 1500~3500 | |
| Z轴精度 | 0.65mm@3m | |
| Z轴重复精度σ(μm) | 72@1.5m-3.5m | |
| 像素间距 | Mono：1.13mm@1.5m 2.63mm@3.5m Color：0.93mm@1.5m 2.17mm@3.5m | |
| 典型采集时间 | 0.8-2.0s | |
| 输出数据 | 点云图、深度图、灰度图（彩色图） | |
| 操作系统支持 | 微软、Linux操作系统(Ubuntu20.04) | |
| SDK接口 | C/C++/C#/Python |
4. 安装与连接
4.1 开箱检查
4.2 硬件安装
安装方式有两种，一种是通过网线直接连接进行通信（用网线连接相机与工控机），一种是通过路由器或交换机连接进行交互（网线一端连接路由器一端连接相机）。
- 通过路由器/交换机连接交互
- 通过网线直接连接进行通信
当网络中不存在DHCP服务器时（即相机与电脑直连），相机的DHCP机制尝试30秒仍没有获取到IP，即转为AVAHI机制协商IP，协商出的IP在169.254.x.x网段。
- 电源连接相机，开启电源
相机上电前，首先确认电源线与网线连接牢靠，接通电源后“Power”指示灯常亮，约30秒钟相机启动完成，此时相机的网口绿色指示灯常亮、橙色指示灯闪烁，表明网络带宽为千兆。相机的“Act”工作指示灯在拍照及数据传输时点亮，平时为熄灭状态。
4.3 连接相机
在连接相机前，应当下载安装DexSense软件，请按照 http://cloud.open3dv.site:8087/nas/dexsense_release/ 下载安装DexSense
打开DexSense软件，在DexSense软件界面直接搜索连接
使用网线连接相机与工控机，打开相机电源，然后在主界面点击
相机面板，打开相机界面
- 在相机界面选择需要连接的相机品牌，可选XEMA、FINCH、SPARROW、KINGFISHER、KINGFISHER-R，然后点击
搜索当前品牌相机或以前连接过的相机，连接对应IP地址的相机。
也可直接输入相机的IP地址然后点击连接相机按钮。
- 相机连接成功后，应当在
作业信息界面为当前作业选择相机，选择相机后，状态栏的相机连接状态变为"已连接"，如下图所示。
5. 相机配置
- 每个相机具有多个默认配置，所有默认配置不可更改。选择对应的默认配置，点击
触发拍照，使用成像参数拍摄2D图、点云图、深度图，可在左侧的可视化视窗查看成像质量。
- 相机默认配置不可更改，若所有默认配置拍摄的2D图都无法达到曝光正常，可点击
+复制当前的相机默认配置，新增一个相同的相机配置，直接进入相机配置界面修改参数。
复制当前的相机默认配置后，可切换为新增的相机配置，点击设置按钮 ，进入相机配置界面修改参数。
点击—，可删除新增的相机配置。
- 点击
保存图片，可保存使用当前配置拍摄的2D图、点云图、深度图到本机，如下图所示，保存路径为项目文件夹/config/camera/image/拍摄时间，后缀名为bmp的是2D图、后缀名是ply的是点云图、后缀名是tiff的是深度图。
- 点击
查看内参，可查看相机内参，包括镜头焦距、主点坐标、畸变系数等。
- 点击
断开连接可断开该相机的连接，重新选择相机连接。
5.1 导入相机配置
进入相机配置界面，点击导入相机配置可将已有的相机配置导入相机。
5.2 功能操作
相机配置界面有如下功能操作：
- 显示过曝区域
开启 显示过曝区域 后，可视化视窗将显示当前图像的过曝区域，如下图所示。
- 触发拍照
点击触发拍照，使用当前的相机配置拍摄2D图、点云图、深度图，可在可视化视窗查看当前相机配置的成像质量。
- 连续采集
点击连续采集，相机将连续拍照，点击取消采集才停止拍照
- 保存图片
点击保存图片，可保存拍摄的2D图、点云图、深度图
- 相机精度
点击相机精度，可查看和校验相机精度
5.3 相机精度
5.3.1 查看相机精度
- 将标定板放置在相机视野内，在相机配置界面点击
相机精度，会出现相机精度界面，如下图所示
- 选择对应的标定板，若选择的标定板与实际不符，会弹窗警告"请检查标定板类型"弹窗，如下图所示，标定板类型为A3会弹窗警告
- 选择正确的标定板类型后，点击
查看相机精度，PickWiz会自动计算当前相机的相机精度，若相机精度符合要求，则直接调整相机成像参数；若相机精度过大，会弹窗提示框"误差过大，建议校正相机精度"。
FINCH系列相机的相机精度<0.8mm说明精度满足要求
5.3.2 校正相机精度
在实际相机使用过程中，以及外参校正后，需要验证当下相机的精度是否达到要求。
查看相机精度，若相机精度误差异常，应当校正相机精度；
当前相机拍照得到的点云起伏波动较大，应当校正相机精度
在校正相机精度前，应开启
显示过曝区域查看相机成像的曝光程度，如有过曝区域应调整单曝光的曝光时间，确保相机成像曝光正常。校正完成后，应当将相机成像参数切换回原本的配置
- 在相机配置界面点击
相机精度
- 选择对应的标定板，若选择的标定板与实际不符，会弹窗警告"请检查标定板类型"弹窗，如下图所示，标定板类型为A3会弹窗警告
- 选择正确的标定板类型后，点击
校正相机精度
- 将标定板水平放置在相机视野范围的中央，点击
新增样本，相机开始采样和校验样本，若采集的样本校验通过，会添加到采集样本下方，如下图所示
点击样本x，可查看采集的样本，校验通过的样本的标定板上所有同心圆的圆心变成绿色
- 移动标定板到相机视野范围内的4个角落新增样本
在每个角落将标定板垫起角度，标定板摆放角度在15-30°，倾斜角度不可过大过小
- 新增5个样本后，点击
计算校正结果
- 校正完成后，会弹出提示框"相机精度校正完成，校正精度为x，误差正常，是否覆盖当前的相机参数配置"
如选择覆盖当前的相机参数配置，会将相机精度校正结果更新到相机，需重启相机才能生效
6. 相机调参
6.1 必选参数
6.1.1 引擎模式
引擎模式包括常规、高反、黑色模式，其中高反模式对高反件效果极佳，黑色模式对黑色工件效果极佳、常规模式可应对普通工件。
| 引擎模式 | 说明 |
|---|---|
| 常规 | 适用于一般工件 |
| 高反 | 适用于高反光工件 |
| 黑色 | 适用于黑色工件 |
6.1.2 曝光类型
（1）单曝光
对于普通纹理工件可使用单曝光
（2）高动态：
对于高反工件可使用HDR功能进行点云融合
曝光类型的高动态应当与引擎模式的高动态配合使用
高动态范围成像（High Dynamic Range Imaging，简称 HDRI 或 HDR），用来实现比普通数位图像技术更大曝光动态范围（即更大的明暗差别）的一组技术。
高动态使图像层次更分明，明暗差别明显（特别是面对反光工件）。
调参建议：
- 使用高动态时，可根据具体的场景和工件，选择高动态曝光次数，取值范围 2~6，默认2。若3D点云质量和2D图像质量不佳，应当增加组数对物体进行多次曝光，以达到最佳的成像质量。
建议在满足点云质量的情况下使用更少的高动态曝光次数。
（3）重复曝光：相机要重复拍摄的次数，作用是提高信噪比（信号与噪声的比例），信噪比越高越好，这样随机噪声将会被抑制，增加了有效信息，取值范围为0~10。
对于黑色物体可使用重复曝光，通过多次曝光优化点云
6.1.3 曝光时间
相机曝光时间：曝光时间是景物的反射光线通过镜头到达成像感光材料上，快门所要打开的时间。曝光时间越长，进入的光线越多。曝光时间过长则会出现过曝现象，从而影响点云，应结合实际调整大小
范围：1700-100000
曝光时间和投影亮度为一组，一次高动态曝光次数就是一组，为每一组设置合适的曝光时间和投影亮度值。
曝光时间：曝光时间是相机快门打开的时候光线进入相机的时间。曝光时间越长，进入的光线越多，图像越清晰。
曝光时间过长则会出现过曝的现象，可打开显示过曝区域，显示红色的部分为过曝区域。
6.1.4 投影亮度
投影亮度是指投影光线的强度，光线强度越大，图像就越明亮、越清晰，在一定范围内，人眼会因为亮度大而觉得画面更清晰，如果超过这个限度，过强的亮度则会导致无法看清图像。
范围：0-1023
该值越大，投影的亮度越大，可有效提高信噪比。建议使用最大值，若曝光时间调至最小仍过曝再考虑缩小此值
注意：建议亮度调整为 1023
6.1.5 增益
调节画面的亮暗。
范围：0-24
可调节2D相机的增益值，应适当增加，增益增大，噪声会随之增大
6.1.6 平滑
范围:0-5
对点云进行平滑操作
6.1.7 置信度
置信度表明可信程度，会在最初对点云进行一次筛选，一般2-5即可，客户可根据现场调整
调低置信度，深度图中的黑色部分被保留更多；相反，调高置信度之后深度图中的黑色噪声会被去除。
范围：0-100
6.1.8 噪点过滤
在机器视觉应用场景中,如检测金属、铝箔表面、反光膜片、光滑表面的物品时,镜面反射会造成局部反射光过强,从而失去物体原有信息,干扰机器视觉检测。噪点过滤可将产生的噪声部分消除，保存物体原有信息。
范围0-100
在识别金属、铝箔表面、反光膜片、光滑表面的物品时，镜面反射会造成局部反射光过强,从而失去物体原有信息，干扰 Pickwiz 识别和检测图像。调大噪点过滤值可将产生的噪声部分消除，保存物体原有信息。
6.2 可选参数
6.2.1 半径滤波
对于点云中的每一个点，确定一个半径为r的球体，选取有效点数，若内部点数小于有效点时，则认为是噪声点进行剔除，半径越小、有效点数越大，滤波效果越明显
半径范围：0-99
有效点范围：0-99
6.2.2 深度滤波
对于Z轴方向的悬空噪点进行过滤，阀值越大，滤波效果越明显。基于深度图的滤波方法，在 1000mm 的距离下建议阈值为 33。
范围：0-100
6.2.3 反射滤波
对于金属互反射造成的立面噪声进行过滤，阀值越大，滤波效果越明显
范围：0-100
6.2.4 相位校正
相位校正即点云灰度补偿，是一种在三维点云数据中对灰度信息进行校正的方法。 点云灰度补偿的目的是消除这些灰度值差异，并将点云中的灰度信息转化为与实际物体表面反射率相对应的数值，阀值越大，校正越明显
范围：0-100
使用方法：首先放置标定板，以标定板的平面为基准平面。如上图所示。
如最大高度最小高度章节介绍，将最大高度调为 1，最小高度调为-1，只显示标定板部分，如上图所示。
在不打开相位校正时，标定板如上图所示，在实际的标定板中整个是平面，圆和非圆部分不存在上下起伏，但实际拍出的效果则是圆有起伏。
在打开相位校正后，发现标定板基本不存在颜色差异或差异不明显，说明校正成功。
6.2.5 2D图叠加曝光
该功能可在得到点云后，对最初2D图进行单独的覆盖；有时会遇到点云良好，但2D图却过暗过爆，不满足要求，此时便可打开2D叠加曝光，对最初的2D图进行覆盖。
选择发光则可以自行设置曝光时间、增益，拍摄方式（单曝光或高动态）。
选择不发光则是环境中的光线亮度，也可自行设置曝光时间、增益，拍摄方式（单曝光或高动态）。
叠加增益
在使用2D叠加曝光功能时，可调节此增益使画面更亮
叠加曝光时间
在使用2D叠加曝光功能时，可调节此曝光时间使画面更亮