用眼球追踪动态校正VR畸变，看看误差和延迟表现如何

Esther | 编辑

今年6月，Meta Reality Labs公布了一种光学畸变模拟装置，其特点是可测试不同的屏幕和透镜配置，加速VR光学方案迭代。相关阅读：《Tested采访扎克伯格：揭秘四款VR原型机更多细节》。

这种装置具体有什么用呢？我们知道，目前市面上的一些消费级VR头显采用静态畸变校正方案，来优化透镜造成的画面失真，原理主要基于对渲染图像的预先扭曲。但这只能解决静态畸变，动态畸变（移动的眼球通过透镜看到的画面畸变）还需要配合眼球追踪技术，来实时校正。然而，现有的眼球追踪技术在准确性、延迟等方面还有待优化，因此即使采用眼球追踪和动态畸变校正算法（DDC），效果也不一定理想。甚至可能会因为眼球追踪系统、校正模型本身的误差而受到限制，部分图像不能得到校正。

因此，为了快速测试不同眼球追踪效率对于VR视觉效果的影响，Meta研发了这一套数字模拟装置，好处是省去了制造光学原型硬件的成本和时间，可以直接在测试中收集使用反馈。

解决哪些痛点

于VR显示技术来讲，光学透镜和屏幕是紧密关联的，因此更换或修改屏幕参数/类型，意味着透镜也需要改变。为了搭配不同类型的显示屏，Meta在VR头显中尝试了各种不同的透镜方案。比如Quest采用菲涅尔透镜、Half Dome 2原型则采用Pancake透镜、Holocake 2原型采用全息+Pancake透镜。

通常，由于光的折射特性，显示屏画面通过透镜会产生一定畸变。目前市面上的一些消费级VR头显采用静态畸变校正方案，即预先将图像扭曲，来补偿光线通过透镜产生的扭曲。但这种校正方式依赖于固定的出瞳位置，比如当人眼和VR头显的相对位置有所变化时，预校正可能会失效（比如出现pupil swim问题）。因此，VR需要一种根据人眼运动变化而适时调整的图像校正算法。而利用软件来模拟整个VR头显光学配置，便可以更好的训练光学畸变校正算法。

方案细节

细节方面，其硬件构成包括：120Hz OLED大屏电视（模拟畸变图像）、与电视同步的主动式快门3D眼镜（营造3D效果），还有一个固定头部的旋转支架。

当使用者将下巴放在支架上时，支架会根据他的头部旋转，来实时更新头部和眼球模型的位置。同时，算法会根据头部和眼球模型来计算前庭眼球反射运动（VOR），并合成对应的图像失真。而为了模拟头显适配度对pupil swim的影响，该方案还可以模拟不同显示屏角度对显示效果的影响，利用倾斜的屏幕来贴合人脸弧度。

Meta指出，这个VR显示系统模拟器可准确模拟任何光学元件组合的视觉失真效果，并通过3D眼镜搭配快速响应屏幕，来实现3D畸变预览。利用数字算法来模拟图像畸变，省去了制造光学原型的过程，可以更好的加速VR显示技术迭代。

用户测试

此外，Reality Labs还使用该模拟器来进行用户调研，让参与者测试并对比不同的光学设计和场景内容，来了解人眼对于光学失真的容忍度，寻找一种人眼可接受的畸变范围。结果发现即使移动头部和眼球造成一定程度的pupil swim，也不会严重影响VR视觉观感。

眼球追踪容忍度对比图

科研人员还利用LFP（光场入口）光场技术构建了一个基础的双目畸变度量标准，可根据用户调研的结果来制定光学设计的基础。光场入口作为一种通用的光学方案表示，主要是用于模拟光学器件内，光在任意角度的传输过程（将入瞳到显示器之间的光线进行映射）。同时，也用来观察人眼的前庭眼反射（VOR）运动，因为VOR运动代表了pupil swim造成的不良影响。而设备采用下巴托和咬合杆来固定头部，并与旋转编码器进行同步，以此来头部和眼球运动在试验中保持一致。

调研结果显示，当眼动追踪错误导致失真低于可检测阈值时，受试者会偶然（50%）识别出失真间隔，并且当眼动追踪错误导致容易检测到的失真时，受试者会以100%的几率识别出失真间隔。可接受的眼动追踪性能由眼动追踪误差值定义，当失真可以在75%的时间内准确识别时。

Pancake透镜采用二次反射面以最小化瞳孔游动，而折射镜片仅包含两个光学表面，通常表现出较大的瞳孔游动。因此，眼动追踪误差预计会对屈光镜片的DDC产生更大的负面影响，但影响程度未知。与折射镜片（绿色和紫色轮廓）相比，Pancake设计（黄色和蓝色轮廓）的眼动追踪要求显著放宽。

眼球追踪延迟的影响

另外，眼球追踪误差会对折射型透镜和动态畸变校正算法产生负面影响。动态畸变校正算法应用于折射型透镜时，在现有的眼球追踪误差基础上，会导致更多误差。

实验显示，Pancake透镜对眼球追踪误差的要求比折射型透镜更低，因为Pancake的结构特点可减少光学模组设计的pupil swim现象。此外还发现，校正文本显示时对眼球追踪效果要求高，高于3D内容显示。经过数千次试验，除了眼球追踪误差外，还需要弥补8毫秒延迟。当眼动追踪误差最小时，可以容忍较大的延迟。

不过，目前这项用户测试还存在局限，比如参与者少，测试的光学架构和场景内容有限。Meta认为，未来通过后续测试可以进一步了解图像畸变的机制，从而优化VR光学元件和畸变校正算法。也会计划在3D眼镜上加入眼球追踪设备，用于测试和优化眼球追踪技术。

参考：

https://tech.fb.com/ar-vr/2022/06/%e9%80%9a%e8%bf%87%e8%a7%86%e8%a7%89%e5%9b%be%e7%81%b5%e6%b5%8b%e8%af%95%ef%bc%9a%e6%88%91%e4%bb%ac%e8%bf%bd%e6%b1%82-vr%e8%a7%86%e8%a7%89-%e9%80%bc%e7%9c%9f%e5%ba%a6%e7%9a%84%e8%83%8c%e5%90%8e/

https://research.facebook.com/publications/perceptual-requirements-for-eye-tracked-distortion-correction-in-vr/

（ END）

 

   推荐阅读    

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网  

关注公众号：拾黑（shiheibook）了解更多

赞助链接：

关注数据与安全，洞悉企业级服务市场：https://www.ijiandao.com/
四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/