疑问 视频时代的大数据 应战与处置方案

一、引见

人们所观察的环球无时无刻不在扭转，培育了“视频”相比于文本等类型的数据更详细现力，蕴含愈加丰盛的消息。如今，能够发生视频的数据源及运行场景愈发多样，视频数据的规模始终增长，视频大数据成为撑持诸多行业技术开展的热点方向。

1. 交通摄录

市区化的极速开展造成机动车数量继续激增，也因此形成了诸多的交通疑问。

一方面，因为期间、天气、大型事情等多方面的起因，市区路线上的交通流量继续变动，尤其是冷落地带的路口，经常会聚着较多的待通行车辆。

如何第一期间失掉交通流量消息、监测市区交通状况，正是交通摄录系统所需处置的疑问。经过摄录视频流的实时搜集，市区交通控制中枢能够及时地获知流量意外状况，做出交通调度调整，以改善行车效率。

另一方面，人为驾驶的客观性造成违规事情的出现难以齐全防止，而对检测的疏漏或提前将不只或许造成驾驶行为责任人自身规定看法的降低，升高未来的意外出现率，更有或许形成交通瘫痪，甚至严重的人身财富损失。

因此，宽泛散布且实时视频采集的交通摄录系统具有极高的存在必要性，始终规范及解放车辆驾驶者的行为，同时对违规事情及交通意外在第一期间启动采集、上报，启动后续的处置。

目前，在部分市区的交通系统中，曾经尝试驳回愈加智能化的交通摄录体系，例如对疲劳驾驶、违规通话等驾驶行为实时检测、智能判别，而毋庸人为干预。

密布于市区各个角落的摄像头组成的庞大的摄像系统基础设备带来的交通价值显而易见，但对交通数据处置系统提出了严格的应战。

一方面，该系统须要具有低提前的处置性能，保证意外事情出现时能够及时地启动剖析、处置以及后续操作。另一方面，基础设备中数量渺小的输入源是传统繁多视频处置系统所难以接待的。

因为该系统不只须要采集、存储视频，而且在迈向智能化开展的路上，须要对它启动预处置、帧解析、事情形式婚配、意外检测上报等操作，因此关于极多输入源的同时处置，是所面临的一大难题。

2. 车载摄录

关于传统机动车而言，行车记载仪的出现为广阔驾驶者带来了多方面的包全。

一方面，共享出行的专车内、公共交通的车厢内，车内记载仪能够继续记载乘客及驾驶者的行为，检测车内状况。在出现意外事情时，记载仪能够提供准确的现场追溯，不只为责任认定提供了有效的证据撑持，更为严重性事情的溯源剖析提供了第一手资料。

另一方面，用于私家车的前向记载仪则更为普遍。在车辆启动后，行车记载仪随之启动，以视频的方式继续地、完整地记载着行驶的整个环节，有效补偿了交通摄录系统不迭之处，为驾驶者提供了多层面的安保保证。

关于新兴的智能车辆而言，蕴含360°盘绕摄像在内的环境感知系统所施展的作用更是无足轻重。摄像头之于汽车，就像眼之于人，提供了感知周遭环境的输入口。基于实时的环境图像，智能驾驶控制系统能够对采集到的视频启动处置、剖析，并即时启动决策，控制车辆行为，在必定水平上，甚至齐全地代替人为控制，极大地优化出行效率。

只管车载摄录为传统及新兴机动车带来了弱小的性能，但车辆自身的移动性为视频的数据处置提出了新的疑问：

3. 航空摄录

因为更高的摄入角度，基于航空器材的摄录系统通常具有更高的专业型和不凡性，同时带来了愈增弱小的性能性：

1)空地追踪

得益于不被路线交通所限，航行器能够灵敏、高效地追踪移动性指标，补偿低空追踪不便的毛病，降低指标失踪率，为关键性义务提供撑持。

2)智慧农耕

传统农耕作业须要人工地亲力亲为，教训长周期的运作，包括观察并剖析农田状况，调整作业战略，依据种植方案启动收获，以及前期灌溉、除虫等保养。因为务农者自身才干所限，这一系列的环节将十分消耗期间资源，效率较为低下，且不可准确地依照预期规范化操作细节，形成增产等损失。

相比于人力运作，基于航空器的作业方式能够带来极大的改善。经过航空摄录系统，能够间接以直观的视频方式采集农田状况，并基于农田数据处置系统启动视频剖析，失掉种植所需的多元化参数。随后，航空器能够携带种子、农药等基础资源，从空中间接启动平均播撒，在短期间内笼罩大范围作业区域，成功人工难以到达的效率。

3)遥感

基于航空设备的自身长处，它能够在空中无接触地、远距离地探测、勘察各种复杂地形地貌，包括人们难以进入的家养地带、冰川、火山等。而视频的方式为人们提供了关于未知环境最为直观的感触，同时无利于数据处置系统进一步地迷信剖析、探求。

如今，因为基础设备以及无人控制技术的始终开展，航空摄录曾经逐渐转向基于无人机的系统成功。无人机具有更低的制作老本、更小的体积、移动愈加灵敏等诸多长处，因此关于传统航行器难以成功的场景，无人机具有更大的潜能。

同时，因为控制者自身从“机内”移动到了“机外”，相隔数百米甚至数百千米，因此，一方面，如何高性能地成功从无人机采集的实时视频到控制者的实时决策，须要处置视频采集技术、预处置技术、网络传输技术等诸多视频大数据系统所面临的疑问;另一方面，因为无人机具有愈加多元化的环境感知才干，例如无死角笼罩的实时摄录系统，因此无人机自主行为控制也是成功智能化开展的一个方向。然而，因此带来更高的视频处置性能需求，是传统设备端运算或许云端两层架构所不可成功的，须要云边协同高效架构的参与。

4. 智能设备

包括智能手机、平板计算机在内的智能设备，逐渐成为日常消费生存中与人们打交道最为频繁的东西。

一方面，智能设备自身所具有的拍照及录像才干，为人们的生存带来了愈加丰盛的记载方式。经过智能设备所拍下的照片、短视频、影片，能够繁难地分享正在启动的游戏、参观的景色、幽默的宠物、令人深思的事情等。

另一方面，它能使得人们的消费、上班愈加高效，尤其是在人们出行受限的不凡期间，泛滥的团队、企业开局经常使用基于视频会议的高效办公方式，继续原有的运作。

相比于其余的摄录系统，智能设备带来的摄录才干以及发生的视频大数据愈加无处不在，愈加贴近人们自身，同时也蕴含着更大的价值开掘潜能。

5. 其余

远不止上述提及的运行场景，视频大数据简直无处不在，例如：

1)安防监控

不同于交通摄录系统，安防监控带来的视频记载才干更多地用于环境采集，以成功消费生存日常运作的安保保证。在安防系统中，数据处置的低提前、高吞吐个性尤为关键。依据用户预设的智能检测模型，摄像系统在采集到视频数据后，应在极短的期间内成功数据处置，并成功智能决策。

2)工业摄录

经过视频监控等方式，实时监测车间消费状况，基于视频大数据的剖析，能够即时发现意外、调整设备等。

视频数据在各行各业的运行场景十分宽泛，同时也带了极高的潜在剖析价值，但因为它文件体积自身庞大，因此对数据处置系统的才干提出了更大的应战。

二、疑问与应战

1. 疑问

视频数据是非结构化数据，价值密度很低，且具有延续性、实时性等特点，视频大数据系统对数据相比传统具有更高的性能要求，这关键体如今以下几方面：

1)计算密集

关于视频流而言，普通须要启动信号处置、编码、解码等基础环节，转换为计算机内相应的存储格局，再对每一帧内容启动深化处置。

一方面，关于每一帧内容而言，可以将它看作相似于静态照片的图像，可经过一系列关系技术启动以下操作：

不论是基于传统算法的图像处置方法，还是近年来愈发炽热的深度学习处置方法，它的性能(例如准确率)通常与运算量间接关联，例如，关于深度网络模型而言，具有更高精度的模型通常具有更为复杂的网络结构、更为庞大的训练参数量，因此须要更高的算力(包括计算才干、存储才干等)启动推断。

另一方面，因为视频是每一帧延续组合而成的流式数据，因此关于视频流的处置将远高于静态图像处置的复杂度。

首先，为了捕捉环境中更多的细节，以及为后续的算法提供愈加准确的原生输入，视频采集系统通常谋求更高的分辨率。如今，随着设备的始终更新迭代，4K甚至8K分辨率曾经逐渐成为高品质视频的规范，这将大幅参与每一帧图像的体积，对运算系统性能提出更高的要求。

其次，为了能够在期间变动的环节中捕捉愈加顺畅的静止行为，视频采集系统通常会将帧率(即每单位期间内采集的图像帧数量)设置为设备能够接受的尽或许高的水平。因此，在单帧图像体积必定的状况下，更高的帧率象征着单位期间内的视频体积更大，这对数据处置系统会形成更大的压力。

此外，因为不同于静态图像的特点，视频流将具有更高的延续性、灵活性，数据处置系统不应仅专一于每一帧内图像的消息，还应该具有剖析帧与帧之间的灵活变动性消息的才干。

在启动指标追踪时，须要对高帧率的延续视频画面口头算法，仰仗实时性能检测指标物体，并定位指标位置。例如，在检测行人的环节中，人们的移动通常具有个体性，因此基于对行人静止轨迹的预测进而优化检测准确率，这是一个优化的潜在方向。

因此，计算密集型的视频流处置使得终端设备的计算才干、存储才干难以满足。

2)带宽需求高

分辨率、帧率等性能的始终优化，带来的不只是关于计算系统的压力，同时也带来了关于网络传输系统的应战：

这三点同时带来了不同维度的体积增长，进而造成了视频发生源发送至处置系统所在平台的网络带宽开支急剧参与。目前，在体积优化的状况下，智能手机以1080P分辨率、60帧/s帧率的性能录制1min视频的体积约为100MB;以4K分辨率、60帧/s帧率录制1min视频的体积约为440MB。

由此可见，在多采集源同时启动传输的状况下，网络基础设备将接受极大压力，同时，带宽占用带来的老本也使得用户难以接受。

2. 应战

针对视频体积带来的带宽老本与通讯压力，须要从多个维度启动剖析，依据实践场景启动优化。例如图1-8给出了一种尝试方案：边缘节点对终端设备采集的原生高带宽视频启动预处置，经过部分紧缩、裁切、去帧等方法，减小视频体积，并将加工后的视频流上行至云端进一步处置。但这种方法雷同面临着一些技术应战：

▲图1-8 一种云边协同视频大数据处置方案

1)计算义务卸载

普通计算义务通常能够经过划分取得低耦合的子义务，但视频流因为不凡性，为义务划分以及基于划分的卸载提出了更高的要求：

2)边缘平台资源

边缘平台相比于云平台，自身不具有海量的计算、存储等资源，因此关于计算密集型的视频流运行而言，难以提供有限度的处置才干。例如，用于处置视频图像的DNN通常具有百万甚至千万级的参数，这使得边缘平台中繁多的计算节点或许难以负载。

关于用户而言，须要愈加周密地思索云边协同处置方案，而不能繁难间接地套用现有卸载战略。

3)边缘服务范围

处于网络中心的云平台能够对网络全局的计算恳求启动处置，而边缘节点受限于服务范围，仅能够为必定区域内的用户提供服务。但与此同时，许多视频流运行的计算义务具有较高的继续性，须要平台为它提供不连续的计算服务，这关于移动性的视频源而言，将形成节点切换、义务迁徙、服务稳固性等多方面影响。

此外，减小视频体积象征着或许形成视频的细节完整度降低，进而造成在用于指标检测、物体追踪等的深度网络模型准确率方面有所斗争，因此须要经常使用愈加细粒度的优化方案来补偿画面细节缩小带来的损失。

因此，在传统云平台的义务卸载方式俨然不可顺应体积增长迅速的视频流处置运行的当下，如何应用云边协同平台进一步优化视频大数据处置性能，值得人们深化钻研。

三、前沿钻研

关于计算、存储以及网络传输才干的需求使得视频流处置系统须要驳回新的计算服务形式来成功。目前，云边协同平台为它带来了宿愿，同时也面临着许多疑问，不只包括云边平台自身所面临的疑问，也蕴含针对视频流处置运行的不凡应战，学术界以及工业界的钻研人员对此启动着始终探求。

1. 边缘环境的网络不稳固性

参考文献[62]针对边缘环境中对视频流图像处置义务影响较大的网络起因启动剖析，思索到无线通讯信号强弱，提出了3种处置方案：

①本地口头;②齐全卸载;③本地预处置(减小体积)后卸载至云边平台，并对不同模型的计算期间、计算能耗、通讯期间、通讯开支等多方面启动综合建模剖析，掂量计算期间与能耗、通讯期间与能耗，在不同信号强度时选用不同的最优战略成功图像处置义务。

2. 边缘节点的多租户个性

同一个边缘节点或许同时服务于不同的用户，但因为边缘平台的天文位置以及服务范围，这些用户或许具有相似或部分相似的视频流计算义务，尤其是基于深度神经网络模型的图像处置，不同的图像或许运行相反的模型或相反的子模型启动推断。

基于这个理念，Mainstream[63]框架基于迁徙学习，对经常使用相反预训练模型的并发口头的视频处置义务启动剖析，应用相反预训练层[作者称为共享茎干(sharestem)部分]的一次性计算，消弭重复计算。

但因为不同的运行或许会对相反的预训练模型启动细粒度的优化训练以优化模型推断准确率，因此共享茎干的比重会随之降低，同时减慢了帧处置速率。为了处置这个疑问，即灵活掂量视频流处置速度与模型准确率，该框架蕴含3个部分：

1)M-Trainer：模型训练工具包，能够使得基于预训练模型启动训练优化的环节保管不同粒度级别的正本，同时发生不同级别模型的推断准确率等元数据;2)M-Scheduler：经常使用训练时生成的数据，计算不同层(包括共享茎干)的运转期间开支，寻觅全局最优战略;3)M-Runner：提供运行运转时环境，灵活选用不同级别的模型提供服务，成功共享茎干带来的计算量缩小与准确率降低之间的掂量。该框架专一于并发视频流义务处置的场景，提供了从开发到部署运转的完整框架，但同时也为开发者的成功带来了必定难度。

3. 云边协同下的智能处置

深度学习技术为视频大数据处置带来了史无前例的性能优化，但包括深度神经网络在内的模型架构的复杂度使得它关于资源具有较高的要求，这表如今模型训练以及推断两方面：

1)模型训练

关于视频大数据运行的深度神经网络模型的训练而言，数据的规模和体积成为限度性能的一个关键起因。通常，模型训练阶段通常搁置于领有较多资源的平台而非在终端设备上运转，因此视频数据的传输将形成渺小的网络带宽开支。

CDC[64]框架成功了一个轻量级的智能编码器(AutoEncoder，AE)，以及一个轻量的元素分类器(ElementaryClassifier，EC)：

首先，CDC框架控制AE对数据启动紧缩;随后，EC经常使用紧缩后的数据以及数据标注启动梯度降低计算，调整自身参数汇合;再者，AE基于自身紧缩形成的损失与相应的EC的损失值独特优化自身参数，并设置削弱参数α，调整EC的损失对AE训练环节的影响权重，防止不收敛的疑问;如此往返迭代，成功EC、AE相结合，EC指点AE的训练。

经过训练后的AE将具有内容感知的紧缩才干，结合精度降低战略，成功传输到云端的较低的带宽开支。同时，云端能够评价网络状况，向边缘端反应后续的图像紧缩率。该框架以智能紧缩的思绪，对降低训练数据网络传输开支的方向启动了有价值的探求。

2)模型推断

雷同是驳回紧缩战略，参考文献[65]从关键区域(Region OfInterest，ROI)的角度成功带宽与准确率之间的掂量。作者基于SORT、Hungarian等算法，在云端将蕴含指标物体的ROI坐标反应至边缘端，边缘端基于multi-QFJPEG算法对ROI及非ROI区域启动不同品质水平的紧缩，并将紧缩后的数据发送至云端推断。

同时，基于Kalman Filter算法，该钻研为每个指标物体树立一个行为预测模型，以赔偿边-云-边这一反应传输环节的提前。

4. 其余

参考文献[66]基于灵活布局思维，在云端构建了一个灵活数据模型，对固定视频流启动剖析，并预测下一次性或许出现的事情的时空位置，以对特定监控传感器启动带宽控制。

而参考文献[67]从多比特率视频传达输的角度登程，以为传统边缘缓存方法通常须要视频盛行度合乎特定散布，但实践场景下边缘节点笼罩区域小、用户移动性高、用户恳求受移动设备高低文影响大。因此钻研人员将该疑问建模为0-1优化疑问，应用多臂老虎机通常，设计了CUCB(C-upper置信区间)算法启动优化。

详细而言，该方法能够启动在线化的学习，依据用户需务实时地制订缓存形式和处置战略，可最大化视频服务提供商的利益，满足用户的服务品质要求。

此外，关于云边协同的视频处置，还能够运行全局一致的时空ID技术、视频编码与特色编码联结优化技术等，进一步对视频处置性能加以提高。

关于作者：韩锐，北京理工大学特意钻研员，博士生导师。2010年毕业于清华大学并获低劣硕士毕业生，2014年博士毕业于英国帝国理工学院，2014年3月至2018年6月在中国迷信院计算所上班。专一于钻研面向典型负载(机器学习、深度学习、互联网服务)的云计算系统优化，在TPDS、TC、TKDE、TSC等畛域顶级(关键)期刊和INFOCOM、ICDCS、ICPP、RTSS等会议上宣布超越40篇论文，Google学术援用1000余次。

刘驰，北京理工大学计算机学院副院长，传授，博士生导师。智能消息技术北京市重点试验室主任，国度低劣青年迷信基金取得者，国度重点研发方案首席迷信家，中国电子学会会士，英国工程技术学会会士，英国计算机学会会士。区分于清华大学和英国帝国理工学院取得学士和博士学位，后在德国电信钻研总院任博士后钻研员，在美国IBMT.J.Watson钻研中心和IBM中国钻研院任钻研主管。关键钻研方向是智能物联网技术。

本文摘编自《云边协同大数据技术与运行》(ISBN：978-7-111-70100-2)，经出版方授权颁布。

参考文献[62] Y G KIM, Y S LEE, S W CHUNG. Signal strength-aware adaptiveoffloading with local image preprocessing for energy efficient mobiledevices[J].IEEE Transactions on Computers, 2019, 69(1): 99-111.

[63] A H JIANG,et al. Mainstream: Dynamic stem-sharing for multi-tenant videoprocessing[C].2018 USENIX Annual Technical Conference, 2018: 29-42.

[64] Y DONG,P ZHAO, H YU, et al. CDC: Classification Driven Compression for BandwidthEfficient Edge-Cloud Collaborative Deep Learning[DB/OL].arXiv preprint arXiv:2005.02177, 2020.

[65] B A MUDASSAR, J H KO, S MUKHOPADHYAY. Edge-cloudcollaborative processing for intelligent internet of things: A case study onsmart surveillance[C].2018 55th ACM/ESDA/IEEE Design Automation Conference(DAC), 2018: 1-6.

[66] L TOKA, B LAJTHA, é HOSSZU, et al. A resource-aware andtime-critical IoT framework[C].IEEE INFOCOM 2017-IEEE Conference on ComputerCommunications, 2017: 1-9.

[67] Y HAO, L HU, Y QIAN, et al. Profit maximizationfor video caching and processing in edge cloud[J].IEEE Journal on Selected Areasin Communications, 2019, 37(7): 1632-1641.