感知 智能驾驶 的改造 从人脑和蛙眼失掉的启示

须要处置的图像像素过多与芯片算力无余的矛盾，曾经成为了制约智能驾驶开展的瓶颈之一。

为了处置上述疑问，事情相机与脉冲神经网络的联合或许会是一个可行的处置打算。

卷积神经网络是目前图像指标检测算法的关键手腕。以ResNet-152为例，一个152层的卷积神经网络，处置一张224*224大小的图像所需的计算量大概是226亿次，假设这个网络要处置一个1080P的30帧的摄像头，那么它所须要的计算量将高达每秒33万亿次，十分庞大。

以典型的百度的无人车为例，计算平台约为800TOPS，其中1TOPS代表处置器可以每秒钟启动一万亿次操作。

假定一个摄像头所须要的算力为33TOPS，更遑论无人车动辄性能十余个摄像头，以及多个激光雷达和毫米波雷达。

为了准确检测行人并预测其门路，芯片往往须要多帧处置，至少是10帧，也就是330毫秒。这象征着相相关统或许须要数百毫秒才干成功有效探测，而关于一辆以60公里每小时后退中的车辆来说，330毫秒的期间就能行驶5.61米。

假设为了保障足够的安保，将帧数参与到每秒30帧，图像数据很或许让智能驾驶芯片不堪重负。

针对算力无余的疑问，提高算力是业内玩家最容易想到的方法。但是，目前芯片的制程正在始终紧缩，在极小尺寸下，量子遂穿效应逐渐清楚，摩尔定律逐渐失效，芯片算力的优化也在面临渺小应战。

同时，算力的提高也随同着功耗的提高，但在新动力的大背景下，调配给芯片的能量越多，续航才干就会遭到越大的影响。

算力与能耗正在逐渐成为智能驾驶开展的一对矛盾。

那么咱们能不能另辟蹊径呢？仿生学兴许能给咱们带来新的思绪。

关于人类来讲，在运动的画面中留意到运生物体并不难。关于青蛙来说，它甚至只能看到运动的物体，对运动的背景画面生视无睹。

针对生物这一个性，钻研者们设计出一种事情相机。

传统相机以固定帧率重复扫描整个场景，无论场景中能否有指标优惠，均虔诚的输入由一帧帧图片组成的视频流。毫无不懂，这种延续的视频流存在高度的消息冗余，少量无用的背景图片也被送入卷积神经网络启动运算。

事情相机则不同，事情相机仅记载亮度“变动”的像素点。

传统帧相机与事情相机输入的效果对比如下图所示，即传统的帧相机输入为整个视场的所有消息（左图），而事情相机只捕捉场景中运动的手臂，如（右图）所示。

基于重点关注运动指标这一特点，事情相机兴许能在智能驾驶畛域大展本领。

因为事情相机剔除了运动的背景图片，所以每帧发生的数据量大大缩小，到达几十kb的级别。

相关于传统相机，事情相机还有高帧率、低功耗、高灵活范围等好处：

上方两张图展现了事情相机的关注运生物体和高灵活范围的个性。传统相机在光线较暗的状况下，难以辨识图片中左边的行人。但是事情相机却能够十分明晰的捕捉到左边的行人，并同时滤出图像右下运动的车辆消息。

传统相机

事情相机

在智能驾驶畛域，事情相机相关于传统相机具有渺小的好处，不过须要留意的是，事情相机不可提取出距离消息，须要激光雷达配合判别指标距离。

或许会有人感到纳闷：事情相机这么好，为什么没有少量运行在智能驾驶畛域呢？

实践上，相机失掉消息仅仅是第一步，后续事情相机消息的处置则是更为关键的一环。

如下图所示，传统相机的输入是一帧帧的运动图片，而事情相机则是一个个事情（Event）流。

普通来说，目前的神经网络都专一于如何提取每帧运动图片中的行人、汽车等指标，如YOLO，resnet等算法。针对基于期间戳的事情流，目前尚无有效的算法启动指标识别。

而事情流处置算法的缺失，与的神经网络结构是分不开的。

干流的神经网络被称为第二代人工神经网络，以准确的浮点运算为基础，缺失了在自然界中最关键的一个起因：期间。关于神经网络而言，输入的结果会和输入逐一对应，任何时刻输入相反的图片，神经网络都会输入一样的结果。

但是实在的大脑，是以这种浮点运算为基础的吗？显然不是，实在的大脑是以脉冲为基础的，以脉冲传递和处置消息。

这种以脉冲传递为基础的神经网络是脉冲神经网络（spiking neural network，SNN），被誉为第三代人工神经网络。基于脉冲神经网络结构设计的芯片也被称为类脑芯片。

脉冲出现的时辰携带着关键消息，脉冲神经网络自然具有对时序消息处置的才干，这与事情相机基于期间戳的事情流输入十分吻合。

此外，脉冲神经网络还具有事情驱动、异步运算、极低功耗等个性。

总的来说，事情相机和脉冲神经网络的联合，正如人类用眼睛和大脑观察周围：智能疏忽周围运动的事物，对突然出现的运生物体予以重点关注和运算。

学术界曾经掀起了对脉冲神经网络钻研的热潮，但因为神经态配件的开展正处于起步阶段，并且人们关于大脑的上班机理意识还不够片面，目前尚无基于脉冲神经网络在商业上的运行。

随着人们对大脑意识的深化，以及国外的TrueNorth、SpiNNaker、Loihi和国际清华的天机芯（Tianjic）和浙大的达尔文等类脑芯片的研发。咱们也等候，事情相机与脉冲神经网络的联合能够给智能驾驶行业带来新的打破。