呃这是《老友记》未公开的一幕吗还是子弹时间特效

我看到那个人影停了一会儿，飞机在平稳地运动一个多角度全方位的厨房出现在我的面前，仿佛我就站在现场

没错，又是AI在施魔法看完《老友记》，AI可以像真实场景一样直接还原3D场景，弥补了两个切换画面之间人物不同角度的手势可以从没拍过的角度重建

也可以把特写镜头变成大视野。

乍一看，真的很难看出生成的效果其实完全是捏造的以后电视剧的化妆镜头还会省吗这是加州大学伯克利分校的研究人员提出的一种重建3D人物和环境的新方法

看完，网友脑洞大开:

也许10年之内，你就能把你的VR影像放到你喜欢的节目里。

目前，该方法已被ECCV 2022接受。

专门针对电视剧场景重建。

研究人员表示，此次提出的新方法是专门针对电视剧场景的除了《老友记》，他们还用3D重构了《生活大爆炸》等七部电视剧的场景

要知道，用一段视频重建一个3D场景其实是非常困难的而在电视剧中，很多画面都是同一个场景拍摄的，这为AI学习提供了非常丰富的图像数据

这种方法可以在整季剧集中自动运行，计算出每个镜头的摄像机位置信息，静态3D场景结构和角色身体信息，然后整合成一个3D场景。

具体来说，这种方法主要分为两个方面:场景信息和人物信息这种方法是指在只有一台摄像机的情况下，通过分析摄像机移动时拍摄的场景来确定3D场景信息

然后通过分析摄像头与人的位置关系，确定人所在的区域，再对两个不同角度的图像进行整合分析，进行位置三角测量，从而确定人的真实位置。

之后，使用NeRF重建详细的3D场景信息神经渲染辐射场可以将场景的体积表示优化成矢量函数，该矢量函数由位置和视角方向组成的连续5维坐标定义也就是说，5D坐标沿着相机光线被采样以合成图像

接下来，我们处理场景中人物的信息在多镜头的情况下，确定人的位置后，可以通过NeRF直接重建人体的3D信息

但在单镜头的情况下，需要利用上下帧中人体姿态，摄像机位置和环境结构信息的变化来进行重建。

从实验结果可以看出，该方法最终可以合成三维信息，重新渲染出新的画面。

在烧蚀实验中，如果没有确定摄像机和人的特征信息，最终的结果是不理想的。

论文地址:

GitHub地址:

项目主页: