KINGFISHER系列相机使用手册

约 8436 字大约 28 分钟

1. 产品简介

KINGFISHER 智能 3D 相机基于双目立体成像技术，模仿人类双眼视觉原理，利用两个相机从不同角度获取图像，并通过使用 Sim2Real 训练的智能算法，使用两组不同角度的图像，可以在各种环境光下，最快 0.5s 内精确重建场景的三维点云 ;解决了传统 3D 相机易受到环境光的影响、成像时间较慢、相机使用寿命短、成本较为高昂等，有效提升视觉系统的稳定性，为 3D 成像领域带来了革命性的创新和突破。

2. 安全须知

请仔细阅读安全须知，严格按照下述规范操作，否则将严重损害相机，跨维不负责由此产生的维护问题

严禁水泡
严禁火烧
严禁拆机
严禁私接电源
严禁私自延长网线
严禁在潮湿、有凝露或高粉尘环境下使用相机
严禁在强磁场、高压放电设备（如电焊机）环境下使用相机
严禁外力撞击，摔打，如发生请联系工作人员检修
远离激光打标机、镭雕机等会对相机造成损坏的设备，如必须使用，请联系公司人员确认
严禁超距使用，使用距离：XEMA-P:100-150mm；XEMA-DCW:0.3-0.5m;XEMA-SCW:0.5-1m;XEMA-LCW:1-2.5m;SPARROW:0.3-0.5m;FINCH:1.5-3.5m：如有特殊定制需提前跟相机组沟通需求
严格按照产品规格书在高低温允许温度范围内使用相机。

3. 规格参数

参数	KINGFISHER-S-601	KINGFISHER-S-602	KINGFISHER-S-1001	KINGFISHER-W-3003	KINGFISHER-S-1201W	KINGFISHER-W-1201W
基线	60	60	150	400	150	400
视场角	46°/42°（H/V）	58°/37°（H/V）	48°/39°（H/V）	50°/43°（H/V）	59°/47°（H/V）	60°/46°（H/V）
分辨率	1280*1024	1920*1080	1280*1024	1280*1024	4024*3036	4024*3036
推荐工作距离（mm）	200 - 500	200 - 1000	500 - 2000	1500 - 3500	500 - 2000	1500 - 3500
视野（mm）	近视场135157 远视场433393	近视场186134 远视场1171674	近视场455355 远视场18031425	近视场14521166 远视场32742721	近视场559440 远视场22831760	近视场17741276 远视场40122978
典型采集时间（s）	1	1	1	1	1	1
重复精度（mm）	136	0.288	259	272	259	272
接口	GigE	GigE	GigE	GigE	GigE	GigE
供电	POE	POE	POE	POE	POE	POE
尺寸（mm）	15514560	96.594.538.5	20913446	45712948	20913446	45712948
重量（kg）	1.1	0.39	1.0	1.5	1.0	1.5

4. 安装与连接

4.1 开箱检查

配附件名称	数量	用途
KingFisher相机	1	采集图像
标配千兆网线	1	连接相机、传输数据
标配电源线	1	连接相机、相机供电
适配标定板	1	参数检查、外参校正

4.2 硬件安装

相机通过网线与 POE 交换机相连，POE 交换机为相机供电，将电脑网线连接POE 交换机。

4.3 MVS连接与配置

MVS安装

MVS软件是海康威视工业相机客户端软件，具有实时预览相机画面、修改相机设备参数、抓图、录像存储、在线设备升级等功能，可帮助工程师和开发者快速配置和调试相机，确保图像采集的准确性和稳定性。

跨维目前使用MVS软件来配置和调试KingFisher相机，工控机已安装该软件，如需自行安装请点击如下地址下载软件https://www.hikrobotics.com/cn/machinevision/service/download/?module=0

MVS配置相机正常连接以及获取内外参标定文件

双目windows PickWiz部署（应用向）(内部)，参考链接文档内演示视频或3.1～3.2部分内容

双目windows PickWiz部署（应用向）

目的

介绍发货至现场的机器如何进行一些基础配置以及联调条件准备。

必做流程：修改相机IP至可连接 -> pickwiz连接相机并配置可出点云 -> 红线图校验（相机精度）

视频演示

图文步骤

连接相机，修改相机IP至同一网段

打开MVS软件

若未安装：下载地址

PS：使用3D海康软件可能会引起修改IP成功但ping不通的情况，如

在MVS左侧查看相机列表，双击想连接的相机，若不可连接，则修改IP，相机IP需修改为与工控机同一网段

若相机直连工控机，建议设置电脑 IP 为静态 IP，后在 MVS 中设置相机 IP 为同网段静态 IP。

若想设置自动获取，则先需要修改为静态IP（可连接状态），连接后再次修改IP为"自动分配IP(DHCP)"即可

此处需记录相机的序列号，若相机名称为2M_right（DA3249464），则序列号为DA3249464，后面有用

MVS相机配置修改

关闭自动白平衡（色0调，建议两个相机的平衡比填写一致）

若相机白平衡数值不同，则画面色调会不一致，如下方两张图所示。
正常显示效果推荐：
“白平衡”数值填写为1500。PS:高分辨率色调偏冷，可填写1800，总之与人眼观感一致即可。
“白平衡分量选择器”选择“红”。

自动曝光AOI设置

点击箭头所指向方框，点击“编辑”，绘制AOI

“自动曝光AOI”意为仅关心AOI内的曝光情况，使得框内的纹理清晰，但自动曝光值是全局的，也就存在可能“关心的部分”清晰了，其余地方都过曝了的情况。

出现绿色方框

将鼠标放到绿色框中心点击可拖拽AOI区域

将鼠标放到绿色框线上可拉伸AOI区域

完成绘制AOI后，记录AOI方框数据，并打开"自动功能AOI使用强度"如下图

AOI方框数据有：横向偏移、竖向偏移、宽度和高度，需手动填写至Pickwiz软件相机参数中

在图像预览框内，右键，点击"完成"，AOI配置结束

关闭MVS，断开相机连接

4.4 PickWiz配置并连接相机

PickWiz软件配置

导入模型

获取到双目模型pth文件后，在“kuaweidata/deepmodel/iris/sack_carton/”目录下，放入pth文件并重命名为model.pth，获取途径查看双目windows PickWiz部署（应用向）（内部）3.3章节

打开软件进行连接及参数配置

config.json配置：路径如下图，若不存在则新建同名文件，着重修改max_disp参数

config.json

{//内容解析 "matcher_type": "pth",//模型类型，“pth”或“trt” "max_disp": 256,//视差值, //视差计算公式disp = fx * baseline / distance "igev_refine_iters": 32,//迭代次数 "scale_x": 1.0,//2D图像x方向的放缩比 "scale_y": 1.0,//2D图像y方向的放缩比 "rectify_enlarge": false,//是否恢复全局视野 "roi_delta_x": 0//x方向的roi2d窗口偏移 }

max_disp参数需要着重设置，使用公式计算，过大会引入噪声，过小会导致视差预测错误。max_disp意为最大的视差，即工作距离最大和最小距离分别计算一次取最大值即可。

计算公式：disp = 基线长度 * 相机内参fx / 距物体的距离

连接

双目配置勾选，没有则按“+”号新建

左目右目可设置不同的相机参数

内外参配置导入参考双目windows PickWiz部署（应用向）3.3章节

高分辨率先设置缩放比为0.33（3036*4024），防止全图推理爆显存，低分辨率（1024.1280）无需修改

参数介绍以及配置（较长，建议全部浏览）

4.5 下载内外参标定文件

内外参标定文件是跨维相机的出厂配置文件，用于说明左右目相机的相对关系

根据相机型号和序列号（左右目SN）找到对应的内外参标定文件 KINGFISHER-相机标定文件，如下图所示，下载最新版本的标定文件。

若查询不到对应的标定文件，可找确认

获取相机内外参标定文件
在此链接下查询步骤a所记录的相机序列号 KINGFISHER-相机标定文件
对照左右目SN号(序列号)，下载对应的标定文件。PS：若查询不到对应的标定文件，可找确认
双目模型导入（使用pth版）
1. 模型路径：kuawei_data->deepmodel->iris->sack_carton，没有此路径需手动新建
- ~~trt：一般应用于拆垛，是大模型，无需更换，拆垛类配置相关，出厂即配置好 ~~
- pth：来源
  1. 通用拆垛pth(注意改名为"model.pth")
    model_sack.pth
- 配置双目模型参数config.json
  1. 1.4.2版本以后，将“config.json”文件连同“model.pth”一起放进sack_carton文件夹中，填入以下内容并适当修改，注意：max_disp参数需要着重设置，使用公式计算，过大会引入噪声，过小会导致视差预测错误。max_disp意为最大的视差，即工作距离最大和最小距离分别计算一次取最大值即可。随后看看计算出的视差值小于256、384还是512，填写"max_disp"参数即可。
    计算公式：disp = 基线长度 * 相机内参fx / 距物体的距离
    注：基线长度，KingFisher-S-1000为0.15，KingFisher-W-3002为0.40.
    低分辨率的fx一般为1275左右，高分辨率则根据缩放比计算大约为3000*scale.
    config-1.json
保存参数并触发拍照查看效果
注意：左右目参数除AOI以外最好保持一致，范围要求不严格时AOI也可以一致，查看左右目拍照取图效果和风格是否一致，若发生偏色，则可能是自动白平衡未关闭，或者相机在关闭自动白平衡之前已记录该数值，这时需要进入MVS重新填写白平衡比数值。
当场内需要双目数据验证时，可直接拍照保存图片，发送”保存图片“的数据即可
检查相机是否正常(是否需要外参矫正)
该步骤是必要步骤，否则可能采集图像失败
1. 在相机界面保存图片后，打开保存的文件夹
2. 找到rect.bmp，查看左右目两图中，红线是否穿过同一个点，正常的情况如下：可以看到红线穿过了实际场景中的同一个点，证明相机的外参正确；否则需要进行外参矫正（具体步骤参阅ROI及手眼标定）。

4.6 ROI

ROI设置

识别为导向的ROI2D以左目为主（工作区）

点云裁切ROI2D（观察区）

设置完成后仅生成ROI范围内的点云，可提升节拍，去除其他点云干扰，PS：也可能存在设置ROI后点云质量不达标的情况，都要结合实际考虑

4.7 手眼标定

关于手眼标定操作流程请查阅手眼标定相关说明

相机连接完成后，需进行手眼标定，否则会影响采图效果

调整MVS软件的AOI属性为固定曝光

按照手眼标定流程相机采集图像

调整画面亮度到标定板不过曝，如下图（右）所示

外参矫正

若标定误差显示较小，但出现实际戳点有较大误差、点云形变等情况，确认排除人为操作因素后，查看相机拍照保存得到的红线图，确认是否是运输时相机结构发生改变导致，需进行内参矫正。

5. 相机配置

每个相机具有多个默认配置，所有默认配置不可更改。选择对应的默认配置，点击触发拍照，使用成像参数拍摄2D图、点云图、深度图，可在左侧的可视化视窗查看成像质量。

相机默认配置不可更改，若所有默认配置拍摄的2D图都无法达到曝光正常，可点击+复制当前的相机默认配置，新增一个相同的相机配置，直接进入相机配置界面修改参数。

复制当前的相机默认配置后，可切换为新增的相机配置，点击设置按钮，进入相机配置界面修改参数。

点击—，可删除新增的相机配置。

点击保存图片，可保存使用当前配置拍摄的2D图、点云图、深度图到本机，如下图所示，保存路径为项目文件夹/config/camera/image/拍摄时间，后缀名为bmp的是2D图、后缀名是ply的是点云图、后缀名是tiff的是深度图。

点击查看内参，可查看相机内参，包括镜头焦距、主点坐标、畸变系数等。

点击断开连接可断开该相机的连接，重新选择相机连接。

5.1 导入相机配置

进入相机配置界面，点击导入相机配置可将已有的相机配置导入相机。

5.2 功能操作

相机配置界面有如下功能操作：

显示过曝区域

开启 显示过曝区域 后，可视化视窗将显示当前图像的过曝区域，如下图所示。

触发拍照

点击触发拍照，使用当前的相机配置拍摄2D图、点云图、深度图，可在可视化视窗查看当前相机配置的成像质量。

连续采集

点击连续采集，相机将连续拍照，点击取消采集才停止拍照

保存图片

点击保存图片，可保存拍摄的2D图、点云图、深度图

相机精度

点击相机精度，可查看和校验相机精度

5.3 相机精度

5.3.1 查看相机精度

将标定板放置在相机视野内，在相机配置界面点击相机精度，会出现相机精度界面，如下图所示

选择对应的标定板，若选择的标定板与实际不符，会弹窗警告"请检查标定板类型"弹窗，如下图所示，标定板类型为A3会弹窗警告

选择正确的标定板类型后，点击查看相机精度，PickWiz会自动计算当前相机的相机精度，若相机精度符合要求，则直接调整相机成像参数；若相机精度过大，会弹窗提示框"误差过大，建议校正相机精度"。

各系列相机的相机精度<Xmm说明精度满足要求
XEMA-D:0.2mm
XEMA-S:0.2mm
XEMA-L:0.5mm

5.3.2 校正相机精度

在实际相机使用过程中，以及外参校正后，需要验证当下相机的精度是否达到要求。

查看相机精度，若相机精度误差异常，应当校正相机精度；

当前相机拍照得到的点云起伏波动较大，应当校正相机精度

在校正相机精度前，应开启显示过曝区域查看相机成像的曝光程度，如有过曝区域应调整单曝光的曝光时间，确保相机成像曝光正常。
校正完成后，应当将相机成像参数切换回原本的配置

在相机配置界面点击相机精度

选择对应的标定板，若选择的标定板与实际不符，会弹窗警告"请检查标定板类型"弹窗，如下图所示，标定板类型为A3会弹窗警告

选择正确的标定板类型后，点击校正相机精度

将标定板水平放置在相机视野范围的中央，点击新增样本，相机开始采样和校验样本，若采集的样本校验通过，会添加到采集样本下方，如下图所示

点击样本x，可查看采集的样本，校验通过的样本的标定板上所有同心圆的圆心变成绿色

移动标定板到相机视野范围内的4个角落新增样本

在每个角落将标定板垫起角度，标定板摆放角度在15-30°，倾斜角度不可过大过小

新增5个样本后，点击计算校正结果

校正完成后，会弹出提示框"相机精度校正完成，校正精度为x，误差正常，是否覆盖当前的相机参数配置"

如选择覆盖当前的相机参数配置，会将相机精度校正结果更新到相机，需重启相机才能生效

引擎模式	说明
常规	适用于一般工件
高反	适用于高反光工件
黑色	适用于黑色工件

6.1.2 曝光类型

（1）单曝光

对于普通纹理工件可使用单曝光

（2）高动态：

对于高反工件可使用HDR功能进行点云融合

曝光类型的高动态应当与引擎模式的高动态配合使用

高动态范围成像（High Dynamic Range Imaging，简称 HDRI 或 HDR），用来实现比普通数位图像技术更大曝光动态范围（即更大的明暗差别）的一组技术。

高动态使图像层次更分明，明暗差别明显（特别是面对反光工件）。

调参建议：

使用高动态时，可根据具体的场景和工件，选择高动态曝光次数，取值范围 2~6，默认2。若3D点云质量和2D图像质量不佳，应当增加组数对物体进行多次曝光，以达到最佳的成像质量。

建议在满足点云质量的情况下使用更少的高动态曝光次数。

（3）重复曝光：相机要重复拍摄的次数，作用是提高信噪比（信号与噪声的比例），信噪比越高越好，这样随机噪声将会被抑制，增加了有效信息，取值范围为0~10。

对于黑色物体可使用重复曝光，通过多次曝光优化点云

6.1.3 曝光时间

相机曝光时间：曝光时间是景物的反射光线通过镜头到达成像感光材料上，快门所要打开的时间。曝光时间越长，进入的光线越多。曝光时间过长则会出现过曝现象，从而影响点云，应结合实际调整大小

范围：1700-100000

曝光时间和投影亮度为一组，一次高动态曝光次数就是一组，为每一组设置合适的曝光时间和投影亮度值。

曝光时间：曝光时间是相机快门打开的时候光线进入相机的时间。曝光时间越长，进入的光线越多，图像越清晰。

曝光时间过长则会出现过曝的现象，可打开显示过曝区域，显示红色的部分为过曝区域。

6.1.4 投影亮度

投影亮度是指投影光线的强度，光线强度越大，图像就越明亮、越清晰，在一定范围内，人眼会因为亮度大而觉得画面更清晰，如果超过这个限度，过强的亮度则会导致无法看清图像。

范围：0-1023

该值越大，投影的亮度越大，可有效提高信噪比。建议使用最大值，若曝光时间调至最小仍过曝再考虑缩小此值

注意：建议亮度调整为 1023

6.1.5 增益

调节画面的亮暗。

范围：0-24

可调节2D相机的增益值，应适当增加，增益增大，噪声会随之增大

6.1.6 平滑

范围:0-5

对点云进行平滑操作

6.1.7 置信度

置信度表明可信程度，会在最初对点云进行一次筛选，一般2-5即可，客户可根据现场调整

调低置信度，深度图中的黑色部分被保留更多；相反，调高置信度之后深度图中的黑色噪声会被去除。

范围：0-100

6.1.8 噪点过滤

在机器视觉应用场景中,如检测金属、铝箔表面、反光膜片、光滑表面的物品时,镜面反射会造成局部反射光过强,从而失去物体原有信息,干扰机器视觉检测。噪点过滤可将产生的噪声部分消除，保存物体原有信息。

范围0-100

在识别金属、铝箔表面、反光膜片、光滑表面的物品时，镜面反射会造成局部反射光过强,从而失去物体原有信息，干扰 Pickwiz 识别和检测图像。调大噪点过滤值可将产生的噪声部分消除，保存物体原有信息。

6.2 可选参数

6.2.1 半径滤波

对于点云中的每一个点，确定一个半径为r的球体，选取有效点数，若内部点数小于有效点时，则认为是噪声点进行剔除，半径越小、有效点数越大，滤波效果越明显

半径范围：0-99

有效点范围：0-99

使用方法：首先放置标定板，以标定板的平面为基准平面。如上图所示。

如最大高度最小高度章节介绍，将最大高度调为 1，最小高度调为-1，只显示标定板部分，如上图所示。

在不打开相位校正时，标定板如上图所示，在实际的标定板中整个是平面，圆和非圆部分不存在上下起伏，但实际拍出的效果则是圆有起伏。

在打开相位校正后，发现标定板基本不存在颜色差异或差异不明显，说明校正成功。

6.2.5 2D图叠加曝光

该功能可在得到点云后，对最初2D图进行单独的覆盖；有时会遇到点云良好，但2D图却过暗过爆，不满足要求，此时便可打开2D叠加曝光，对最初的2D图进行覆盖。

选择发光则可以自行设置曝光时间、增益，拍摄方式（单曝光或高动态）。

选择不发光则是环境中的光线亮度，也可自行设置曝光时间、增益，拍摄方式（单曝光或高动态）。

场景特点：环境光突变，由室内LED变化为阳光直射（下图为未经调整到调整后变化效果）
调参思路：保持环境光突变后，成像稳定且节拍不改变，使用自动曝光模式2（海康SDK自带AOI自动曝光），修改AOI参数。

案例2：上海工博会-室内灯光高反棒料

场景特点：聚光灯光颜色变化，但亮度几乎一致
调参思路：固定曝光降低曝光值即可

案例3：陆源油缸-半户外阳光高反工件

场景特点：头顶有天窗，受天气影响，白天光照强度各不相同，夜晚需补光（下图为调整后效果）
调参思路：无需考虑节拍，使用PID自动曝光，调节至需要的亮度即可

案例4：山东德州-腾阳拆垛

场景特点：下午三四点有阳光直射，造成垛面局部过曝（下图为HDR结果）
调参思路：面对环境亮度变化较大的场景，并且麻袋为白色，若框选海康AOI自动曝光易受底部露出影响，故选择pid自动曝光，ExposureAuto填3；局部阳光直射强烈过曝，需使用HDR高动态合成，故开启HDR， "HDREnable": 1，基于PID曝光倍率。具体看参数里黄色标注部分。"HDR": "AutoExposureTimeRates"，0.1是因为太阳光十分强烈，需要降低亮处的曝光；1是正常调整的合适曝光值，；1.5是为了拉高暗处的画面亮度。

认识双目相机

结构

双目相机由两个2D相机组成，内外参标定文件用来说明这两个相机的相对关系。

深度学习模型分割识别以左目图像为准。

调参本质

硬件上属于2D，所以调参调的其实是2D相机的曝光、白平衡之类的参数，只有曝光调好了，后续的成像质量和精度才能得到保障。

如何使用影子模式

KINGFISHER系列相机使用手册