9月1日,李飞飞参与创办的World Labs发布了 Atlas。
李飞飞称,Atlas是首个从零开始训练的多模态世界模型,能够同时处理文字、图像、视频和三维数据。
它能够:
u 精确控制虚拟摄像机的位置和运动轨迹
u 仅凭一张图像生成可以从不同角度观看的三维场景
u 根据少量图像重建现实空间,并输出三维结果
u 重新调整视频视角,模拟“子弹时间”效果
u 将多张带有相机位置信息的图像,合成为一个连贯的三维世界
据说这是迄今为止最出色的相机条件世界模型,为视觉特效、机器人等领域带来了大量应用可能。
这段30秒的视频,展示了Atlas的核心能力。
拍摄时,现场只有三部固定在三脚架上的手机,分别从不同角度记录同一场景。
Atlas先把这些二维画面拼成一个三维场景,判断人物和物体之间的空间关系,再补出摄像机没有拍到的部分。
接着,它让一台并不存在的“虚拟摄像机”沿着新的路线移动,于是生成了原本没有被真实拍到的视角。
像是“冻结时间”,但并不是真的让时间暂停,而是把同一时刻的多个机位合成为一个三维瞬间,再让虚拟镜头绕着这个瞬间移动。
简单说:
ü 手机负责拍素材
ü Atlas负责搭建三维场景
ü 虚拟摄像机负责重新取景
这不是传统意义上的视频重拍,而是把现实场景变成一个可以自由移动镜头的数字片场。
NeRF和3D高斯泼溅也能实现类似的新视角合成。Atlas更进一步的地方,是尝试把三维场景重建、时间一致性和相机轨迹控制整合到一个模型中。
网友评论:
“这就像他们不知怎么造出了一架只有1厘米大的无人机,还能让时间暂停一样。