军心 请把传感器标定打在公屏上！ 如何稳固智能驾驶

这里是「毫有引力」技术栏目，本栏目由毫末智行供稿，未来将继续启动智能驾驶相关技术分享

传感器是如何启动校准的吗？

本期就带你一同钻研钻研！

在智能驾驶系统中，传感器是系统能感知周围环境的选择性起因。在传感器卸车后，须要经过传感器标定消弭装置误差，让智能驾驶系统准确定位各个传感器被装置在什么位置。传感器标定为后续建图、定位、感知和控制打下松软基础，是智能驾驶系统稳固运转的外围部分与前置条件。标定的精度会影响传感器的经常使用下限精度，最终影响车辆的行驶形态。

各路传感器请汇报位置坐标！

——传感器标定

智能驾驶系统中蕴含各种各样的传感器，传感器是系统能感知周围环境的选择性起因。在传感器卸车后，须要对传感器启动标定，失掉各个传感器的装置位置，进而让后续算法模块更好地经常使用传感器数据。​

便捷来讲，传感器标定须要通知智能驾驶系统传感器的准确位置。假设说定位是在地图坐标系确定自车的位置，那么标定就是在车身坐标系确定传感器的位置。

从性质上说，传感器标定可以分为内参标定与外参标定。

内参标定关键与传感器有关，它可以经过建设传感器误差模型，取得传感器个性参数、消弭传感器自身测量误差。外参标定与装置位置有关，经过各种先验消息失掉传感器在车身坐标系下的位姿。外参标定求解的关键疑问取决于车辆坐标系的定义。

假设车辆坐标系为车辆上的某一点，将车辆看作刚体，传感器标定处置的疑问，即为固定车辆坐标系下传感器的位置确定。进一步，假设车辆坐标系即为车辆上的某个传感器坐标系。传感器外参标定疑问即简化为多传感器外参标定疑问。

假设车辆坐标系为车辆自车低空上某一点。除了卸车后的传感器位姿标定，还蕴含自车形态、以及环境变动影响下的传感器坐标系与车身坐标系间的外参变动疑问。

上方，咱们就区分引见一下智能驾驶中的内参标定与外参标定。

传感器校准第一回

——内参标定

由于与装置位置有关，在智能驾驶系统中，传感器的内参普通在卸车行启动。上方，咱们就以最经常出现的相机内参为例，引见相机内参标定的原理与方法。

相机内参标定关键是为了失掉相机自身的性质参数，包括相机的焦距，光心以及畸变参数等：

内参的物理意义与相机模型强相关，罕用的相机成像模型为小孔模 数学可表示为一个矩阵

其中 fx、fy 是等效焦距，cx、cy 是光心。

畸变的发生，是由于相机自身不能准确地依照理想的成像模型启动透视投影，即物点在实践的相机成像平面上生成的像与理想成像之间存在必定偏向，这个偏向就是相机畸变形成的。以经常出现的小孔成像模型为例，畸变误差关键是径向畸变误差（k1、k2、k3）和切向畸变误差（p1、p2）。

内外兼修

——传感器外参标定

目前业界罕用的相机标定方法是张正友方法。张正友方法经过多种位姿摆放的标定板，提取棋盘格角点，计算出相机的内参。感兴味的同窗可以查阅相关论文[1]，本文不再赘述。

上方引见传感器外参标定。外参标 定的疑问外围是求解传感器在车辆坐标系下的位姿。由于触及到车辆坐标系 确实定，传感器外参标定关键分为两部分：

1、传感器与车身的外参标定

1.1、相机与车身的标定

在以相机为主的智能驾驶传感器性能打算中，车上普通会装置多个相机。相机与车身的外参标定可以经过引入房间坐标系成功：标定间墙面上贴若干标志物，咱们称之为靶标。如下图所示:

相机经过检测靶标建设与房间坐标系的相关，即可求解相机与房间的外参。在标定阶段保证车身停在房间的固定位置，即失掉车身与房间的外参。经过坐标转换即可成功相机与车身的外参标定。这种方法依赖于靶标的角点精度，因此对环境有必定要求，且靶标数量越多，精度越高。

在产线上，打算设计既要思考传感器标定精度，又要统筹车辆标定效率和产线环境，思考到产线环境中，车辆传感器工装位置与车辆停泊位置可以较大水平保证精度。因此，可以缩小靶标数量，运用雷同的标定原理，成功相机与车身的标定。

1.2、激光雷达与车身的标定

在以激光雷达为主的智能驾驶传感器性能打算中，须要标定激光雷达与车身的外参，相似于相机与车身的标定原理，激光雷达与车身的标定也可借助标定板启动。标定环节中，将多个标定板置于激光雷达可扫描到的区域，经过已知的车身位姿、标定板位姿和激光雷达工装等先验消息，可解算出激光雷达与车身的外参。

2、多传感器联结标定

多传感器联结标定是多传感器融合的必要前提。繁多传感器往往会存在笼罩范畴无余和观测消息受限等局限与应战，多传感器融共打算可以做到不同传感器间的扬长避短。依据传感器个性与算法原理的不同，多传感器标定可分为基于共视特色消息的标定和基于静止轨迹的标定。

2.1、基于共视特色消息的标定

1）多激光雷达之间的标定

激光雷达可以间接测量周围环境的距离消息，因此多激光雷达间的标定打算较为成熟。关于有共视区域的激光雷达，可以经过场景的特色消息，运用 NDT 或 ICP 等配准方法成功点云特色婚配，从而成功多个激光雷达之间的外参标定。

图来自于网络

​2）相机与激光雷达的外参标定

相机与激光雷达的观测消息表白模式是不分歧的，那么如何启动二者之间的标定呢？目前业界比拟成熟的打算是经过引入一致观测源建设束缚。关于有共视区域的相机与激光雷达，可在共视区域内安顿靶标作为一致观测源, 区分失掉靶标在相机坐标系下和激光雷达坐标系下的特色。经过两种特色婚配，成功相机与激光雷达之间的外参标定。下图便是经过棋盘格靶标作为一致观测源的相机与激光雷达标定流程图。

图来自于网络

关于 IMU 这种间接预计位姿变动的传感器，经常出现的打算是基于车辆静止轨迹的标定。以激光雷达与 IMU、相机与 IMU 之间的标定为例，可驳回最经典的手眼标定模式，基于给定的 IMU 与激光雷达/相机之间的外参初值，经过激光雷达/相机的轨迹与 IMU 的轨迹启动外参优化，从而成功最终的激光雷达/相机和 IMU 的外参标定。下图是激光雷达与 IMU 外参标定的示用意。

外参标定有奇招

——在线标定

区别于以上引见的外参离线标定方法（须要固定的场地、固定的靶标、以及准确的车辆定位、固定的静止轨迹等消息）。在线标定可在人造场景中, 依据离线标定的结果、工装、车辆静止等先验消息，成功对离线标定结果的所有参数或部分参数的批改。由于打算的灵敏性，传感器外参的在线标定是近年业内的钻研重点。上方咱们区分引见一下传感器与车身、多传感器之间的在线标定。

1、传感器与车身的在线标定

1.1、相机与车身的在线标定

车辆行驶环节中，相机可依据行驶路线消息失掉场景中的一些平行或许正交的消息（如车道线、灯杆等）。空间平行线在相机图像平面上的交点被称为隐没点。经过这些空间平行线失掉的隐没点，咱们可以实时预计相机与车体的外参。该打算灵敏性强，但鲁棒性会有所降低，因此如何统筹算法的鲁棒性与灵敏性是该类打算钻研的重点。外参标定前后的成果如下图的（b 纠正前，仰视图内八）和（c 纠正后，仰视图平行）所示，感兴味的同窗可以参考[2]。

​1.2、激光雷达与车身的在线标定

与相机不同，激光雷达可以间接测量观测点的 3D 距离。因此，激光雷达与车身的在线标定也相对成熟。基于车辆的静止先验与场景先验，在车辆行驶环节中，激光雷达可依据车辆的行驶方向、地平面点云等消息，实时纠正自身与车体的外参。

多传感器在线标定，尤其是激光雷达与相机的在线标定，是业界公认的难点，在近年已有宽泛钻研。目前业内关键方法是经过最大化点云与图像的配准消息来预计标定参数。依据消息提取模式的不同，多传感器在线标定的钻研方向可分为边缘配准[3]、互消息[4]、宰割[5][6]三种方法。

边缘配准方法首先提取图像和激光雷达的边缘消息，而后将激光雷达边缘消息经过初值投影到图像上，并驳回优化算法，最大化两种边缘消息乘积的值，以此成功激光雷达和相机的外参标定。

此方法原理便捷，可操作性强，但由于只能失掉激光雷达的垂直边缘消息，关于偏航角的预计成果要显著优于横滚角与俯仰角。

互消息方法对激光雷达的强度消息与图像的灰度消息启动互消息操作，使得互消息结果最大，从而成功标定。如下图所示，正确的激光雷达外参角度值（89degree）对应的相相互关数最大。

此类方法关于激光雷达的强度值有较强依赖，若激光雷达线束较少，点云稠密，婚配成果或许不可到达需求。

宰割方法须要对图像/点云启动宰割操作，宰割后的消息会用于特色婚配。如下图所示，此类方法可以只对图像启动宰割（图 ，也可以对图像和点云都启动宰割（图 ）

①只对图像宰割

②对点云、图像均启动宰割

此类方法将激光雷达原始点云或宰割后的点云经过初值回投到宰割后的图像上，驳回部分优化的模式，使得点云与图像作用相关最大化，成功激光雷达与相机的外参标定。

相较于提取边缘的方法，此类方法可取得图像和点云的更多有效消息，且图像宰割相较于图像边缘提取，抗搅扰才干强。

综上所述，在线标定长处在于可应用人造场景，成功传感器改过，缺陷是须要在满足条件的人造场景下启动，且若场景个性不可到达预期，会造成在线标定结果偏向较大或标定失败。

传感器标定是智能驾驶系统的基础环节，也是智能驾驶系统运转的关键条件。传感器标定结果的准确性与准确性，间接影响智能驾驶各性能模块的运转成果。因此，一个准确的、高精度的标定结果，是传感器标定的指标，也是整个智能驾驶系统的需求与希冀。目前传感器标定仍存在诸多应战，如何成功高精度的标定、如何应用有限的环境成功标定、如何成功不同类型传感器之间的标定，如何感知车辆静止环节中传感器位置的偏向，如何对传感器位置偏向实时纠正等，这些都是咱们会始终优化和探求的方向。

本期的干货分享就到这里啦，不得不说，失实把传感器标定给讲明确了！下期咱们会继续为大家带来更精彩的智能驾驶干货分享，请继续锁定呦～

参考文献

[1] Z. Zhang, “A Flexible New Technique for Camera Calibration”

[2] J.Lee, Y.Baik, H.Cho, and S.Yoo，“Online Extrinsic Camera Calibration for Temporally Consistent IPMUsing Lane Boundary Observations with a Lane Width Prior”

[3] J. Levinson and S. Thrun, “Automatic Online Calibration of Cameras and Lasers”

[4] G. Pandey and J.R. McBride and S.Savarese and R.M. Eustice, ”Automatic Targetless Extrinsic Calibration of a 3D Lidar and Camera byMaximizing Mutual Information”

[5] Y. Zhu, C. Li, Y. Zhang, “Online Camera-LiDAR Calibration with Sensor Semantic Information”

[6] T. Ma , Z. Liu , G. Yan, and Y.Li，”CRLF: Automatic Calibration and Refinement based on Line Featurefor LiDAR and Camera in Road Scenes”