外观
SPARROW系列相机使用手册
1. 产品简介
SPARROW相机是基于DLP投影的结构光3D相机。核心部件采用TI DLP2010投影芯片，Sony IMX392 成像芯片，且下位机无计算单元。数据传输使用 GigE接口，支持多种曝光模式。适用于 3D 扫描、工业 3D 缺陷检测，可配合工业机器人使用在工业无序抓取、上下料等使用场景。
2. 安全须知
请仔细阅读安全须知，严格按照下述规范操作，否则将严重损害相机，跨维不负责由此产生的维护问题
严禁水泡
严禁火烧
严禁拆机
严禁私接电源
严禁私自延长网线
严禁在潮湿、有凝露或高粉尘环境下使用相机
严禁在强磁场、高压放电设备（如电焊机）环境下使用相机
严禁外力撞击，摔打，如发生请联系工作人员检修
远离激光打标机、镭雕机等会对相机造成损坏的设备，如必须使用，请联系公司人员确认
严禁超距使用，使用距离：XEMA-P:100-150mm；XEMA-DCW:0.3-0.5m;XEMA-SCW:0.5-1m;XEMA-LCW:1-2.5m;SPARROW:0.3-0.5m;FINCH:1.5-3.5m：如有特殊定制需提前跟相机组沟通需求
严格按照产品规格书在高低温允许温度范围内使用相机。
3. 规格参数
4. 安装与连接
4.1 开箱检查
4.2 硬件安装
SPARROW系列相机的安装方式只有一种，将相机网线直连上位机网口，不可经路由连接。
4.2 连接
在连接相机前，应当下载安装DexSense软件，请按照 DexSense安装指南下载安装DexSense
SPARROW的服务端因在主机上运行，需要配置环境才可使用DexSense连接相机，配置如下：
1）首次使用时，下载服务端安装包SPARROW_V2.0_C(G)PU.zip和大恒安装包GalaxySDK.zip，地址：https://gitee.com/open3dv/sparrow/releases (可根据电脑配置自由选择CPU或GPU版本下载)
2）在发行版中解压GalaxySDK压缩包，双击运行install.bat。此时会静默安装大恒相关库，等待2分钟安装完成。
3）此时桌面会存在安装好的GxGigE大恒IP配置工具，双击打开，若发现IP为感叹号说明地址不在同网段，点击Auto Configure IP 按钮即可，若正常Available则不用点击配置
当出现Available非感叹号说明可以去启动SPOARROW的服务端
4）启动SPARROW相机服务端
进入SPARROW_v2.0-camera_server_2.0--camera_server路径，双击运行服务端程序camera_server.exe。
若看到光机投光且服务端出现listening则表示服务端已经运行。客户端可正常连接相机。
注意：使用时服务端camera_server不可关闭，且要关闭时请按:Ctrl+C，否则客户端为非法关闭，相机需重启才可使用。
打开DexSense软件，在DexSense软件界面直接搜索连接
使用网线连接相机与工控机，打开相机电源，然后在主界面点击
相机面板，打开相机界面
- 在相机界面选择需要连接的相机品牌，可选XEMA、FINCH、SPARROW、KINGFISHER、KINGFISHER-R，然后点击
搜索当前品牌相机或以前连接过的相机，连接对应IP地址的相机。
也可直接输入相机的IP地址然后点击连接相机按钮。
- 相机连接成功后，应当在
作业信息界面为当前作业选择相机，选择相机后，状态栏的相机连接状态变为"已连接"，如下图所示。
5. 相机配置
- 每个相机具有多个默认配置，所有默认配置不可更改。选择对应的默认配置，点击
触发拍照，使用成像参数拍摄2D图、点云图、深度图，可在左侧的可视化视窗查看成像质量。
- 相机默认配置不可更改，若所有默认配置拍摄的2D图都无法达到曝光正常，可点击
+复制当前的相机默认配置，新增一个相同的相机配置，直接进入相机配置界面修改参数。
复制当前的相机默认配置后，可切换为新增的相机配置，点击设置按钮 ，进入相机配置界面修改参数。
点击—，可删除新增的相机配置。
- 点击
保存图片，可保存使用当前配置拍摄的2D图、点云图、深度图到本机，如下图所示，保存路径为项目文件夹/config/camera/image/拍摄时间，后缀名为bmp的是2D图、后缀名是ply的是点云图、后缀名是tiff的是深度图。
- 点击
查看内参，可查看相机内参，包括镜头焦距、主点坐标、畸变系数等。
- 点击
断开连接可断开该相机的连接，重新选择相机连接。
5.1 导入相机配置
进入相机配置界面，点击导入相机配置可将已有的相机配置导入相机。
5.2 功能操作
相机配置界面有如下功能操作：
- 显示过曝区域
开启 显示过曝区域 后，可视化视窗将显示当前图像的过曝区域，如下图所示。
- 触发拍照
点击触发拍照，使用当前的相机配置拍摄2D图、点云图、深度图，可在可视化视窗查看当前相机配置的成像质量。
- 连续采集
点击连续采集，相机将连续拍照，点击取消采集才停止拍照
- 保存图片
点击保存图片，可保存拍摄的2D图、点云图、深度图
- 相机精度
点击相机精度，可查看和校验相机精度
5.3 相机精度
5.3.1 查看相机精度
- 将标定板放置在相机视野内，在相机配置界面点击
相机精度，会出现相机精度界面，如下图所示
- 选择对应的标定板，若选择的标定板与实际不符，会弹窗警告"请检查标定板类型"弹窗，如下图所示，标定板类型为A3会弹窗警告
- 选择正确的标定板类型后，点击
查看相机精度，PickWiz会自动计算当前相机的相机精度，若相机精度符合要求，则直接调整相机成像参数；若相机精度过大，会弹窗提示框"误差过大，建议校正相机精度"。
SPARROW系列相机的相机精度<0.2mm说明精度满足要求
5.3.2 校正相机精度
在实际相机使用过程中，以及外参校正后，需要验证当下相机的精度是否达到要求。
查看相机精度，若相机精度误差异常，应当校正相机精度；
当前相机拍照得到的点云起伏波动较大，应当校正相机精度
在校正相机精度前，应开启
显示过曝区域查看相机成像的曝光程度，如有过曝区域应调整单曝光的曝光时间，确保相机成像曝光正常。校正完成后，应当将相机成像参数切换回原本的配置
- 在相机配置界面点击
相机精度
- 选择对应的标定板，若选择的标定板与实际不符，会弹窗警告"请检查标定板类型"弹窗，如下图所示，标定板类型为A3会弹窗警告
- 选择正确的标定板类型后，点击
校正相机精度
- 将标定板水平放置在相机视野范围的中央，点击
新增样本，相机开始采样和校验样本，若采集的样本校验通过，会添加到采集样本下方，如下图所示
点击样本x，可查看采集的样本，校验通过的样本的标定板上所有同心圆的圆心变成绿色
- 移动标定板到相机视野范围内的4个角落新增样本
在每个角落将标定板垫起角度，标定板摆放角度在15-30°，倾斜角度不可过大过小
- 新增5个样本后，点击
计算校正结果
- 校正完成后，会弹出提示框"相机精度校正完成，校正精度为x，误差正常，是否覆盖当前的相机参数配置"
如选择覆盖当前的相机参数配置，会将相机精度校正结果更新到相机，需重启相机才能生效
6. 相机调参
6.1 必选参数
6.1.1 引擎模式
引擎模式包括常规、高反、黑色模式，其中高反模式对高反件效果极佳，黑色模式对黑色工件效果极佳、常规模式可应对普通工件。
| 引擎模式 | 说明 |
|---|---|
| 常规 | 适用于一般工件 |
| 高反 | 适用于高反光工件 |
| 黑色 | 适用于黑色工件 |
6.1.2 曝光类型
（1）单曝光
对于普通纹理工件可使用单曝光
（2）高动态：
对于高反工件可使用HDR功能进行点云融合
曝光类型的高动态应当与引擎模式的高动态配合使用
高动态范围成像（High Dynamic Range Imaging，简称 HDRI 或 HDR），用来实现比普通数位图像技术更大曝光动态范围（即更大的明暗差别）的一组技术。
高动态使图像层次更分明，明暗差别明显（特别是面对反光工件）。
调参建议：
- 使用高动态时，可根据具体的场景和工件，选择高动态曝光次数，取值范围 2~6，默认2。若3D点云质量和2D图像质量不佳，应当增加组数对物体进行多次曝光，以达到最佳的成像质量。
建议在满足点云质量的情况下使用更少的高动态曝光次数。
（3）重复曝光：相机要重复拍摄的次数，作用是提高信噪比（信号与噪声的比例），信噪比越高越好，这样随机噪声将会被抑制，增加了有效信息，取值范围为0~10。
对于黑色物体可使用重复曝光，通过多次曝光优化点云
6.1.3 曝光时间
相机曝光时间：曝光时间是景物的反射光线通过镜头到达成像感光材料上，快门所要打开的时间。曝光时间越长，进入的光线越多。曝光时间过长则会出现过曝现象，从而影响点云，应结合实际调整大小
范围：1700-100000
曝光时间和投影亮度为一组，一次高动态曝光次数就是一组，为每一组设置合适的曝光时间和投影亮度值。
曝光时间：曝光时间是相机快门打开的时候光线进入相机的时间。曝光时间越长，进入的光线越多，图像越清晰。
曝光时间过长则会出现过曝的现象，可打开显示过曝区域，显示红色的部分为过曝区域。
6.1.4 投影亮度
投影亮度是指投影光线的强度，光线强度越大，图像就越明亮、越清晰，在一定范围内，人眼会因为亮度大而觉得画面更清晰，如果超过这个限度，过强的亮度则会导致无法看清图像。
范围：0-1023
该值越大，投影的亮度越大，可有效提高信噪比。建议使用最大值，若曝光时间调至最小仍过曝再考虑缩小此值
注意：建议亮度调整为 1023
6.1.5 增益
调节画面的亮暗。
范围：0-24
可调节2D相机的增益值，应适当增加，增益增大，噪声会随之增大
6.1.6 平滑
范围:0-5
对点云进行平滑操作
6.1.7 置信度
置信度表明可信程度，会在最初对点云进行一次筛选，一般2-5即可，客户可根据现场调整
调低置信度，深度图中的黑色部分被保留更多；相反，调高置信度之后深度图中的黑色噪声会被去除。
范围：0-100
6.1.8 噪点过滤
在机器视觉应用场景中,如检测金属、铝箔表面、反光膜片、光滑表面的物品时,镜面反射会造成局部反射光过强,从而失去物体原有信息,干扰机器视觉检测。噪点过滤可将产生的噪声部分消除，保存物体原有信息。
范围0-100
在识别金属、铝箔表面、反光膜片、光滑表面的物品时，镜面反射会造成局部反射光过强,从而失去物体原有信息，干扰 Pickwiz 识别和检测图像。调大噪点过滤值可将产生的噪声部分消除，保存物体原有信息。
6.2 可选参数
6.2.1 半径滤波
对于点云中的每一个点，确定一个半径为r的球体，选取有效点数，若内部点数小于有效点时，则认为是噪声点进行剔除，半径越小、有效点数越大，滤波效果越明显
半径范围：0-99
有效点范围：0-99
6.2.2 深度滤波
对于Z轴方向的悬空噪点进行过滤，阀值越大，滤波效果越明显。基于深度图的滤波方法，在 1000mm 的距离下建议阈值为 33。
范围：0-100
6.2.3 反射滤波
对于金属互反射造成的立面噪声进行过滤，阀值越大，滤波效果越明显
范围：0-100
6.2.4 相位校正
相位校正即点云灰度补偿，是一种在三维点云数据中对灰度信息进行校正的方法。 点云灰度补偿的目的是消除这些灰度值差异，并将点云中的灰度信息转化为与实际物体表面反射率相对应的数值，阀值越大，校正越明显
范围：0-100
使用方法：首先放置标定板，以标定板的平面为基准平面。如上图所示。
如最大高度最小高度章节介绍，将最大高度调为 1，最小高度调为-1，只显示标定板部分，如上图所示。
在不打开相位校正时，标定板如上图所示，在实际的标定板中整个是平面，圆和非圆部分不存在上下起伏，但实际拍出的效果则是圆有起伏。
在打开相位校正后，发现标定板基本不存在颜色差异或差异不明显，说明校正成功。
6.2.5 2D图叠加曝光
该功能可在得到点云后，对最初2D图进行单独的覆盖；有时会遇到点云良好，但2D图却过暗过爆，不满足要求，此时便可打开2D叠加曝光，对最初的2D图进行覆盖。
选择发光则可以自行设置曝光时间、增益，拍摄方式（单曝光或高动态）。
选择不发光则是环境中的光线亮度，也可自行设置曝光时间、增益，拍摄方式（单曝光或高动态）。
叠加增益
在使用2D叠加曝光功能时，可调节此增益使画面更亮
叠加曝光时间
在使用2D叠加曝光功能时，可调节此曝光时间使画面更亮