热门资讯

英伟达开发最快 NeRf 技术:数秒内将 2D 照片合成为 3D 场景

业界 作者:SegmentFault 2022-05-04 21:37:13 阅读:206

技术编辑:61丨发自 思否编辑部

公众号:SegmentFault




75 年前宝丽来拍摄第一张即时照片的时候,以逼真的 2D 图像捕捉 3D 世界是开创性的,如今人工智能研究人员正做着相反的事情,即几秒内将一组静止图片转换成 3D 数字场景。


上个月在英伟达 GTC 的一次会议中,英伟达演示了最新的人工智能技术并致敬了早期的宝丽来影像,视频中展示者穿着像 Andy Warhol,手持旧款宝丽来相机,通过数十张 2D 照片快速转换成 3D 渲染场景。



这一过程被称为反向渲染,使用人工智能来模拟光线在现实世界中的行为,使研究人员能够从不同角度拍摄的少量 2D 图像中重建三维场景。


英伟达将这种方法应用于一种流行的新技术,称为神经辐射场或 NeRF。该工具被称为 Instant NeRF,是由加州大学伯克利分校、加州大学圣地亚哥分校以及谷歌研究院在 2020 年联合开发,通过映射不同 2D 镜头的颜色和光线强度生成数据,并结合摄像机位置数据,然后将这些来自不同位置的图像连接起来,渲染出一个完整的 3D 场景。


尽管 Instant NeRF 也需要拍摄照片的摄像头角度数据,但该模型只需几秒钟就可以对几十张静态照片进行训练,然后在几十毫秒内渲染出最终的 3D 场景,是迄今为止最快的 NeRF 技术。


英伟达图形研究副总裁 David Luebke 表示:“如果说多边形网格等传统 3D 表示类似于矢量图像,那么 NeRFs 就像位图图像:它们密集地捕捉了物体或场景中光线的辐射方式。从这个意义上来说,Instant NeRF 对于 3D 的重要性可能就像数码相机和 JPEG 压缩对于 2D 摄影一样——极大地提高了 3D 捕捉和共享的速度、易用性和覆盖范围。”


未来,英伟达希望 Instant NeRF 可以为虚拟世界创建场景、以 3D 方式捕捉视频会议参与者及其环境、为 3D 数字地图重建场景,并用于训练机器人和汽车自动驾驶技术等领域。


更多详细内容查看:

https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai/

https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf


- END -

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接