WWDC22:ARKit 6低调发布,新功能瞄准VST MR头显

业界 作者:青亭网 2022-06-07 13:19:03

hi188 | 编辑

本次WWDC苹果发布四大OS,很多功能确实有意思,macOS与iPadOS上的台前调度,连续互通相机,iOS上锁屏小组件、智能抠图等等,不断再提升使用体验。

时间紧迫,ARKit的内容完全没有在Keynote中提及。尽管如此,未在Keynote亮相的ARKit  6却有着重磅功能:4K分辨率、实时调节相机曝光、白平衡等参数,这对视频透视的AR体验至关重要,基本被看作是瞄准VST MR头显而来。

以下是值得关注的几点:

1,苹果地图

虽然苹果地图支持200多个地区,但全新设计的苹果地图目前仅支持21个国家或地区,它们的特点是提供城市三维体验和类街景内容。增加了诸多的细节,包括3D地标,立交桥等,看上去更立体,信息密度很高。

之前谷歌、Niantic推出VPS视觉定位系统,实际上苹果地图也在推动相关工作,只是支持地区太少。Look Around功能就是如此,它和谷歌街景类似,可以实现步行AR导航(利用VPS)等功能。目前仅限部分城市,其中,城市三维体验与步行导航功能一致,目前支持7个城市,Look Around支持40个国家或城市。

同步还推出MapKit,这对第三方App来说是一个重要契机,可以更好地调用原生地图能力,也有望推动AR应用与地图能力的结合。比如,Bird可以通过新地图查找车辆,在立体感强烈的场景中清晰标注车辆位置,有助于识别标志建筑和辨别方向。

第三方App借助MapKit可以直接调用Look Around,用户可直接查看高清图像(类似谷歌街景),实现例如查看房屋外景等用途。

2,智能抠图

iOS 15在OCR上提取文字变得非常轻松,现在iOS 16上支持在图片中提取主体,例如上图中的狗狗。

同时,相机文本识别功能现在更强大,支持识别电话快速拨打,识别价格并进行单位转换,语言翻译等。可以预见的是,这些玩法很可能会作为MR/AR头戴设备的基础功能。

3,M芯片的游戏支持

M系列芯片带来了更强劲的性能,除了更好的用于影视媒体工作外,理应用于游戏场景。这次WWDC苹果也演示了Hello Games旗下的《无人深空》,以及找到Capcom,并在Mac上演示了《生化危机8:村庄》。

怎么说呢,一个是扩大Mac自身游戏的扩展,另一个则是为AR/MR内容做预备。虽然《生化危机8:村庄》的VR版为PS VR2独占,但不排除在开发其它内容,甚至也是苹果向头部游戏品牌招揽MR内容开发的例证。

4,ARKit 6

之前我们提到过,最近一两年苹果在ARKit方面进展略微缓慢,除了增加LiDAR等硬件支持外其它新功能很少,一个是移动AR功能整体比较完善,对手竞争平台的体验和功能都处于追赶阶段,另一个就是,按照苹果的设计思路,软件方面新功能大概率需更强大的硬件做支撑。

这一次的ARKit 6的重磅功能就是:支持4K分辨率、HDR录制

这些功能对于影视编辑、电影制作等行业应用更有价值,对广大用户来说,将AR录制短片进行日常社交分享也有着不错的效果提升,尤其是HDR视频录制。

这里说的4K分辨率指不是虚拟物体,而是视频背景,也就是AR体验的背景。ARKit 6在AR体验中还可以实时调节相机曝光、白平衡、对焦,这对于沉浸式的AR体验至关重要,比如可以把现实场景调暗等等操作。

可能你已经联想到,传闻中采用VST透视方案的苹果MR头显即将问世,那么4K分辨率支持是一项十分必要的功能,它几乎对应着头显屏幕的物理分辨率规格,也直接影响VST透视的视觉效果。而且AR体验中控制相机的曝光、对焦的玩法,基本上就是瞄准了MR头显而来,比如控制光圈实现抑制或拉高曝光,提高透视画面视觉效果,可避免过暗过亮场景的干扰;通过对焦实现背景模糊模拟,模拟数字的深度信息,在VST AR体验中作用非常明显。

甚至,如果还可以可以设置不同的焦点切换(这一点暂时没有明确),还能基于此实现引导注意力转移等玩法,对MR游戏的虚实融合类交互帮助很大,想象空间很大。

目前4K分辨率、HDR录制功能仅限于iPhone 11、iPad Pro(第五代)或更新机型

ARKit 6还改进了运动追踪,现支持识别左右耳朵,优化了姿态检测功能,可以自动估算好拍摄场景中物体的大小,并实现稳定的追踪效果,提高3D物体检测的鲁棒性。

此外,ARKit 6还加入了前摄+后摄融合玩法,可通过前摄捕捉人脸,然后基于后摄拍摄背景,实现一些另类的玩法和交互。

5,RoomPlan

RoomPlan是苹果Swift的一个全新API,该功能依托于ARKit。就如同名字一样,可以进行房间扫描和规划,例如房地产、建筑、室内设计、电子商务、酒店管理等行业,可以通过扫描房屋场景进行3D规划。

RoomPlan功能基于LiDAR硬件,可以导出USD或USDZ格式文件,文件中信息包括:房间中识别到的组件尺寸,家具类型等,并可在C4D、AutoCAD、Shapr3D等进一步编辑。

本质上RoomPlan已经在LiDAR发布时添加支持,当时就展示了Shapr3D的扫描建模能力,现在这项功能正式开放给开发者。

( END)


 
   推荐阅读    




 
每天五分钟,轻松了解前沿科技。    
         —— 青亭网  

关注公众号:拾黑(shiheibook)了解更多

赞助链接:

关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接