为了智能驾驶 谷歌用NeRF在虚构环球中重建了旧金山市

训练智能驾驶系统须要高精地图，海量的数据和虚构环境，每家努力于此方向的科技公司都有自己的方法，Waymo 有自己的智能驾驶出租车队，英伟达创立了用于大规模训练的虚构环境 NVIDIA DRIVE Sim 平台。近日，来自 Google AI 和谷歌自家智能驾驶公司 Waymo 的钻研人员通常了一个新思绪，他们尝试用 280 万张街景照片重建出整片旧金山城市的 3D 环境。

经过少量街景图片，谷歌的钻研人员们构建了一个 Block-NeRF 网格，成功了迄今为止最大的神经网络场景表征，渲染了旧金山的街景。

该钻研提交到 arXiv 上之后，Jeff Dean 立刻转推引见：

Block-NeRF 是一种神经辐射场的变体，可以表征大规模环境。详细来说，该钻研标明，当扩展 NeRF 以渲染超越多个街区的城市场景时，将场景分解为多个独自训练的 NeRF 至关关键。这种分解将渲染时期与场景大小分别，使渲染能够扩展到恣意大的环境，并准许对环境启动逐块降级。

该钻研驳回几项架构更改，使得 NeRF 对数月内不同环境条件下捕捉的数据具备鲁棒性，为每个独自的 NeRF 参与了外观嵌入、学习姿态细化和可控曝光，并提出了一种用于对齐相邻 NeRF 之间外观的程序，以便无缝组合。

《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》是 UC Berkeley 钻研人员在 ECCV 2020 上的一篇论文，取得了最佳论文提名。其提出一种隐式 3D 场景表征，不同于显示场景表征（如点云、网格 mesh），其原理是求解穿过场景的任何光线的色彩，从而渲染分解新视角的 2D 场景图片。

NeRF 在给定一组姿态相机图像的状况下，成功了照片般真切的重建和新型视图分解。NeRF 早期的上班往往并重于小规模和以对象为中心的重建。虽然如今有些方法可以重建单个房间或修建物大小的场景，但这些方法依然范围有限，不能扩展到城市规模的环境。由于模型容量有限，将这些方法运行于大型环境通常会造成显著的伪影和低视觉保真度。

重建大规模环境在智能驾驶、航空测量等畛域具备宽泛运行前景。例如创立大范围的高保真地图，为机器人定位、导航等运行提供先验常识。此外，智能驾驶系统通常经过从新模拟以前遇到的场景来启动评价，但是任何与记载存在的偏向都或许扭转车辆的轨迹，因此须要沿着门路启动高保真的视图渲染。除了基本的视图分解，以场景为条件的 NeRF 还能够扭转环境照明条件，例如相机曝光、天气或一天中不同的时期，这可用于进一步增强模拟场景。

如上图所示，谷歌此次提出的 Block-NeRF 是一种经过经常使用多个紧凑的 NeRF 表征环境来成功大规模场景重建的方法。在推理时，Block-NeRF 无缝联合给定区域的关系 NeRF 的渲染。上图的示例经常使用 3 个月内搜集的数据重建了旧金山的阿拉莫广场社区。Block-NeRF 可以降级环境的各个块，而无需对整个场景启动从新训练。

重建如此大规模的环境会带来额外的应战，包括瞬态物体（汽车和行人）的存在、模型容量的限制以及内存和计算限制。此外，在分歧的条件下，极无法能在一次性捕捉中搜集如此大环境的训练数据。同样，环境不同局部的数据或许须要来自不同的数据搜集上班，这会在场景几何（例如，修建上班和停放的汽车）以及外观（例如，天气条件和一天中不同的时期）中引入差异。

该钻研经过外观嵌入和学习姿态细化来扩展 NeRF，以应答搜集到的数据中的环境变动和姿态失误，同时还为 NeRF 参与了曝光条件，以提供在推理环节中修正曝光的才干。参与这些变动之后的模型被钻研者称为 Block-NeRF。扩展 Block-NeRF 的网络容量将能够表征越来越大的场景。但是，这种方法自身有许多限制：渲染时期随着网络的大小而变动，网络不再适宜单个计算设施，降级或扩展环境须要从新训练整个网络。

为了应答这些应战，钻研者提出将大型环境划分为多个独自训练的 Block-NeRF，而后在推理时灵活渲染和组合。独自建模这些 Block-NeRF 可以成功最大的灵敏性，扩展到恣意大的环境，并提供以分段模式降级或引入新区域的才干，而无需从新训练整个环境。要计算指标视图，只要渲染 Block-NeRF 的子集，而后依据它们相关于相机的天文位置启动分解。为了成功更无缝的分解，谷歌提出了一种外观婚配技术，经过优化它们的外观嵌入，将不同的 Block-NeRF 启动视觉对齐。

图 2：重建场景被分红了多个 Block-NeRF，每个 Block-NeRF 都在特定 Block-NeRF 原点坐标（橙色点）的某个原型区域（橙色虚线）内的数据上启动训练。

该钻研在 mipNeRF 的基础上构建了 Block-NeRF 成功，改善了因输入图像从许多不同距离观察场景形成的侵害 NeRF 性能的混叠疑问。钻研人员联合了来自 NeRF in the Wild (NeRF-W) 的技术，该技术在将 NeRF 运行于 Photo Tourism 数据集中的地标时，为每个训练图像参与一个潜在代码以处置不分歧的场景外观。NeRF-W 从数千张图像中为每个地标创立一个独自的 NeRF，而谷歌的新方法联合了许多 NeRF，从数百万张图像中重建一个连接的大环境，并联合了学习相机姿态细化。

图 3. 新模型是 mip-NeRF 中提出的模型的扩展。

一些基于 NeRF 的方法经常使用宰割数据来隔离和重建视频序列中的静态和灵活对象（如人或汽车）。由于该钻研关键关器重建环境自身，所以在训练时期便捷地选用屏蔽掉灵活对象。

为了灵活选用关系的 Block-NeRF 启动渲染，并在遍历场景时以平滑的模式启动分解，谷歌优化了外观代码以婚配光照条件，并经常使用基于每个 Block-NeRF 到新视图的距离计算的插值权重。

鉴于数据的不同局部或许在不同的环境条件下被捕捉，算法遵照 NeRF-W 并经常使用生成式潜在优化（Generative Latent Optimization，GLO）来优化 perimage 外观嵌入向量。这使得 NeRF 可以解释几个外观变动的条件，例如变动的天气和照明。同时还可以操纵这些外观嵌入，以在训练数据中观察到的不同条件之间启动插值（例如多云与晴天的天空，或白昼和黑夜）。

图 4. 外观代码准许模型展现出不同的照明和天气条件。

整个环境可以由恣意数量的 Block-NeRF 组成。为了提高效率，钻研人员应用两种过滤机制仅渲染给定指标视点的关系区块，这里只思考指标视点设定半径内的 Block-NeRF。此外，系统关于每个候选者都会计算关系的可见性。假设平均可见度低于阈值，则摈弃 Block-NeRF。图 2 提供了一个可见性过滤的示例。可见性可以极速计算，由于它的网络独立于色彩网络，并且不须要以指标图像分辨率启动渲染。过滤后，通常有 1 到 3 个 Block-NeRF 须要兼并。

图 5. 谷歌的模型蕴含曝光条件，这有助于解释训练数据中存在的曝光质变动，准许用户在推理环节中以人类可解释的模式更改输入图像的外观。

为了重建整个城市场景，钻研人员在录制街景时捕捉常年序列数据（超越 100 秒），并在几个月外在特定指标区域重复捕捉不同序列。谷歌经常使用从 12 个摄像头捕捉的图像数据，这些摄像头独特提供 360° 视图。其中 8 个摄像头从车顶提供完整的环顾图，另外 4 个摄像头位于车辆前部，指向前方和正面。每个相机以 10 Hz 的频率捕捉图像并存储一个标量曝光值。车辆姿态是已知的，并且一切摄像机都经过校准。

借助这些消息，该钻研在一个独特的坐标系中计算相应的相机光线原点和方向，同时将相机的滚动快门思考在内。

图 6. 当渲染基于多个 Block-NeRF 的场景时，该算法经常使用外观婚配来取得整个场景的分歧样貌。给定一个 Block-NeRF（图左）的固定指标外观，算法会优化相邻 Block-NeRF 的外观以婚配。在此示例中，外观婚配了在 Block-NeRF 中发生分歧的夜间外观。

图 7. 多段数据的模型消融结果。外观嵌入有助于神经网络防止参与云雾几何体来解释天气和光照等环境变动。移除曝光会稍微降落了准确度。姿态优化有助于锐化结果并消弭重复对象的重影，如在第一行的电线杆上观察到的那样。

谷歌钻研人员示意，新方法依然有一些疑问有待处置，比如局部车辆和阴影没有被正确移除，植被由于外观随节令变动而在虚构环境中变得含糊。同时，训练数据中的时期不分歧（例如施工上班）无法被 AI 智能处置，须要手动从新训练受影响的区域。

此外，目前无法渲染蕴含灵活对象的场景限制了 Block-NeRF 对机器人闭环模拟义务的实用性。未来，这些疑问或容许以经过在优化环节中学习瞬态对象来处置，或许间接对灵活对象启动建模。