Meta眼球追踪研究：采用事件相机，采样率可达kHz级

业界作者：青亭网 2022-04-01 19:45:18

Esther｜编辑

扎克伯格在访谈中曾指出下一代Quest的重点是面部和眼球追踪技术，Project Cambria也将配备眼球追踪技术。尽管如此，眼球追踪依然是Meta需要解决的一大研发难题，这项技术在普遍适用性、延迟、准确性等方面都存在挑战。

从Meta Reality Labs公布的最新论文来看，其正在探索一种基于事件相机的眼球追踪方案。那么什么是事件相机呢？它的英文名为Event Camera，是近几年来出现的相机技术。

事件相机与传统相机的数据回传格式不同，它采用一种异步的通讯方式，也就是说设备之间的时钟不同步，事件相机不是事实回传捕捉到的数据，而是在捕捉到亮度等像素变化（事件）时，才会回传数据。

简单来讲，事件相机类似于人眼的工作原理，主要功能是捕捉物体的变化或运动。

Meta指出，事件相机可以低功率运行，响应延迟可降低至微秒级。这些特性有望解决现有眼球追踪技术在实时性、功耗上的局限，甚至有望带来适合AR/VR头显等移动设备的眼球追踪技术。

关于Meta眼球追踪方案

目前，眼球追踪系统常见的设计是采用闪烁的灯光照亮角膜来捕捉数据，这种方案只需要稀疏的数据即可运行。这说明眼球追踪系统的采样率不需要非常高，因此科研人员预计即使用事件相机也足够，尽管事件相机在捕捉到运动时才拍照，但只要捕捉到关键数据，也能计算出眼球变化。

该方案与传统眼球追踪技术最大的区别是，它没有固定的采样率，也不是对所有像素采样，而是主要回传像素亮度的变化数据（带有时间信息），在变化产生时才会采样。尽管采集的数据较少，但准确性和效率足够好。

事件相机的另一个优势是具有高动态范围（≈120dB），几乎没有运动模糊，而且比传统相机功率更低，延迟可低至亚毫秒级别。

Meta表示：这是首个完全基于事件的角膜闪烁/眼球追踪方案。其原理是，光源照在眼角膜上，产生的反射光进入图像传感器中，显示为可见的数据。这些数据可以用于定位角膜的运动，从而预测注视点。

加密的差别照明

科研人员指出，眼睛通常由两种表面组成：1）像镜面一样的角膜，可对光源产生镜面反射；2）皮肤、虹膜和巩膜等朗伯表面，它们会漫反射光线。

在追踪眼球过程中，为了避免光源照到皮肤、虹膜、巩膜等其他部位而产生误差，该方案采用的每个光源都有配套的补偿光系统，以保持总亮度不变。在不影响角膜的镜面反射的情况下，抑制了场景漫反射产生的事件。

为此，Meta设计了名为“加密的差别照明”（Coded Differential Lighting）的照明方案，特点是可增强镜面反射事件，同时抑制其他事件，而且在事件触发时才闪烁，在标准硬件上的采样率为kHz级。

该方案采用双LED光源，可提升角膜镜面反射检测的效率、准确性。为了照到光源和角膜反光/闪烁的对应关系，其采用二进制模式，让光源脉冲在两个周期运行。

通常，眼球追踪方案采用高速率闪烁的光源。然而，由闪烁光源照亮的场景通常会使事件相机器饱和，让整个场景都出现亮度变化。因此，科研人员让两个LED灯切换闪烁，而不是闪烁单个光，目的是保持整体照明大致恒定。

他们还发现，LED灯之间的最佳距离距离是在眼球反光点刚好接触而不重叠的点处。LED灯距离近时，两个闪烁在它们相交的地方抵消，导致净亮度变化为零，并减少闪烁的有效频率。

解决了哪些问题

Meta指出，眼球追踪是AR/VR头显的一项关键功能，它可以丰富用户之间的交互，同时也可以实现动态注视点渲染效果，提升AR/VR视觉观感。此外，也可以用于实验、医疗、培训等场景，通过使用者的眼球运动数据来进行分析。可变焦显示系统、焦面显示系统也眼球追踪功能来实现变焦。

应用在AR/VR头显中，眼球追踪系统需要保证低功耗的，才能延长续航、降低热量产生。同时，也需要支持高采样率，比如在用户身份验证场景中，采样率需高达1kHz。

目前，市面上许多视频眼球追踪系统基于瞳孔角膜反射原理（PCCR），通常是在眼球上照射红外光，并捕捉角膜上镜面反射回的光线位置/角度，来预估角膜的中心位置，以及瞳孔（暗黑椭圆形）的位置。接着，通过瞳孔中心和角膜中心的距离来计算注视点方向。

相比之下，Meta的方案更省电，每个LED的功耗约5mW，在低功率下也可以实现亚像素级精度。如果将广角的LED换成对准眼球的位置，性能会进一步提升。而事件相机功耗则为10mW左右，整个传感器功耗约为35mW。与此同时，事件相机的采样率可达到1kHz，可捕捉到眼球的细微变化。

参考：

https://research.facebook.com/publications/event-based-kilohertz-eye-tracking-using-coded-differential-lighting/

（ END）