五分钟技术趣谈

Part 01 眼动追踪的历史开展

眼动追踪技术教训了从间接观察到侵入式再到非侵入式的开展环节。早期的眼动追踪技术关键运行于心思学畛域，罕用间接观察法粗略地形容眼动。侵入式眼动追踪法，如机械记载法、探查线圈记载法等须要测量装置与眼部间接接触。机械记载法间接将橡胶吸盘吸附在眼球外表来记载眼动数据，十分容易形成眼部不适。探查线圈记载规律需将感应线圈嵌入眼睛中，经过线圈在电磁场中静止发生的电磁信号来记载眼动轨迹，此方法对眼睛有必定的损伤，无法长期间佩戴。

20世纪以来，摄像技术、红外技术与计算机技术的开展推进了非侵入式眼动追踪技术的研发。非侵入式眼动追踪方法包含红内线法、视频记载法等。红内线法，如巩膜-虹膜边缘法，应用红外光照耀人眼，并在眼部周围装置红外光敏管来接纳巩膜和虹膜边缘处反射的红外光。经过眼球转动时巩膜和虹膜反射的不同红外光线无接触地测出眼动。视频记载法关键应用摄像机记载眼动环节，经过计算机智能剖析处置视频图像失掉眼动数据。摄像机采集眼部图像或眼球反射的红内线图像，经过预设的模型启动图像数据与实践注视点的映射，成功非侵入式的瞳孔检测和注视点估量。

Part 02 眼动追踪的技术现状

随着数字影像设施、计算机视觉、图像处置、机器学习的加快开展，现代的眼动追踪方法大多驳回图像采集设施记载眼动的视频，而后应用图像处置技术提取与眼动相关的特色，经过建设模型成功眼动追踪。目前罕用的方法有基于二维映射的眼动追踪方法和基于外观的眼动追踪方法等。

基于二维映射的眼动追踪方法经过构建实践注视点与检测的二维眼帘参数的映射模型来成功眼动追踪。瞳孔-角膜反射向量法是目前干流的基于二维映射方法之一，其基本原理是当红外光源照夺目部时角膜会发生清楚的反射，若红外光源和图像采集设施固定，当眼球转动时瞳孔位置会出现扭转，而角膜反射光斑的位置不会变动，因此可将其作为瞳孔静止的参照点，依据瞳孔核心与角膜反射点的相对位置变动来估量眼球的静止。如图1所示，首先在校准环节依据已知注视点与瞳孔-角膜反射向量构建瞳孔核心与角膜反射向量的映射函数。校准时受试者需观察屏幕上特定位置出现的点，校准点通常为1点、3点、5点、9点及13点，应用角膜、瞳孔与反射光斑的消息来剖析实践注视点与瞳孔-角膜反射向量之间的相关，目前关键驳回多项式拟合、支持向量回归、神经网络等方法。而后用摄像机采集眼部图像，经过图像处置后识别瞳孔核心与红外光源在角膜的反射点，构建瞳孔-角膜反射向量。最后将瞳孔-角膜反射向量作为输入，经过预设好的映射函数计算出实践注视点。

图1 瞳孔-角膜反射向量法示用意

基于外观的眼动追踪方法通常以人脸图像或眼部图像为输入启动高维特色提取，而后经过机器学习方法学习高维特色与低维眼帘之间的映射函数。该方法设施方便，但须要少量的训练数据来学习映射函数。早期关键驳回KNN、支持向量机、随机森林等方法启动训练。随着少量开源数据集的搜集和地下，以卷积神

经网络为代表的深度学习模型也被少量地运行到基于外观的眼动追踪方法中。训练成功后的模型，以眼部图像作为输入即可失掉实践注视点的位置。

Part 03 眼动追踪与VR

眼动追踪能够协助用户失掉物体位置并失掉观察事物深度的特点，使其在虚构事实与增强事实畛域能为用户提供更好的交互体验和沉迷感。眼动追踪在VR畛域关键有注视点渲染、眼控交互、虚构社交、身份识别以及眼动数据剖析五大运行。

(1)注视点渲染：基于人眼的视觉生理特色，对用户注视的中央凹视野区域启动高清渲染，边缘视野则经常使用低分辨率渲染。从而降落渲染带来的画面提前，优化渲染帧率，降落GPU压力，减轻用户的眩晕感，清楚优化用户的沉迷式操控体验。

(2)眼控交互：作为辅佐交互的一种新外形，协助用户经过眼睛就可以与VR场景中的元素启动交互，成功选用、瞄准、留意力反应等交互内容，进而在VR场景中建设眼动、手柄、手势、语音等多模态的人造交互系统。

(3)虚构社交：在VR环境中，经过虚构人物(Avatar)实时重现人眼的各种举措形态，如眼帘方向、眨眼、眯眼等。在VR社交、VR会议等VR运行中经常使用，可以丰盛虚构人物的情感表白，带来愈加贴近实在的虚构社交体验。

(4)身份识别：在账号快捷登录、虚构超市支付等有身份验证需求的场景中，针对用户佩戴VR头显时人脸识别无法用的不凡性，经过眼球追踪技术启动身份识别和注册，绑定用户的账户消息，优化VR经常使用的安保性与方便性。

(5)眼动数据剖析：搜集用户的眼动数据，经过注视时长、注视次数等剖析其留意力散布状况，联合心思剖析，可用于用户体验剖析、市场营销剖析、教育培训、心思痊愈、视觉训练、军事训练等泛滥畛域。

Part 04 眼动追踪开展方向

实践运行场景中，基于外观的注视点估量方法须要少量的训练数据使得深度模型算法稳固性更强，但眼动数据的采集标注通常会耗时费劲，因此钻研小样本状况下的新型学习通常与方法，如元学习、迁徙学习、数据反抗生成等方法具备关键的钻研意义。其次，以往VR眼镜罕用的菲涅尔光学打算的空间较大，因此眼动追踪模块的光学设计空间富余，但随着PANCAKE光学打算的运行，光路设计的空间被极度紧缩，原先的眼动追踪光学打算无法成功。因此将眼动追踪的光路设计和空间需求紧缩到很小的空间内是亟待处置的疑问，在空间有限的状况下成功眼动的图像失掉，运行到PANCAKEVR一体机中。