新万博体育

科技视频

您的位置: 新万博体育主页 > 科技视频 >

nVIDIA黑科技:给个简单视频直接生成高清电影片

发布人: 新万博体育 来源: 新万博体育国际 发布时间: 2020-12-12 21:09

  计算机能自己做电影了!?看看英伟达(nVIDIA)和MIT共同完成的这个最新实验项目,你就会觉得这一天好像离我们不远了。

  前段时间,一系列动图在网络上被众多人。它们便来自nVIDIA与MIT最新的尝试,所使用的工具是:

  GANs解决的问题是:输入一段只有大色块的视频段落,工具可以自动帮助用户生成一个写实级别的拟真视频。而且这视频还具有2048x1024像素的极高分辨率。

  可以说,即使我的视频已经丢失掉了大量的信息,只剩下些笼统的、色调分离的轮廓,计算机还是可以通过算法,模拟还原出一个视频的完整原貌。

  该项目的全称是Video-to-Video Synthesis。按照科研团队的说法,从照片到照片的研究在文献里很多见;但从视频到视频的,目前还是太少了。

  在这里,我们并不需要对场景中的物体形状、材质、灯光等各种视频要素进行人工的设置,一切的模拟合成都是电脑自己完成的。

  计算机「思考」的过程大致长上图那个样子。不是所有人都能看出很多门道,但很明显,看到Past Images你就知道,这是个机器学习的过程。

  随着机器训练集的加大,可以合成出的视频效果也必定越来越丰富,能够合成出的视频时长也越来越长。在现阶段中,研究人员已经能够合成出长达30 秒的2K分辨率的视频了。

  训练集增加,也意味着符合草图特征的合成效果越来越多,计算机可不像人那么聪明,例如草图中一个方块,既可以被合成为一辆车,也可以被合成为一个报亭,所以研究人员进一步对系统增加了内容定义功能,也就是让使用者能够人为指定新视频中的局部景观。

  到了这个阶段,研究人员进一步发挥创造力,通过采集人脸运动的数据集,生脸的运动模型,可以轻易地实现用人脸轮廓草图生成真人人脸视频。

  我们可以用同一段视频,但改变人脸的肤色、肤质、发型、年龄状态等等,生成不同版本的照片写实级别的视频。小菜一碟。

  当然,这项技术是该团队在探索视频合成的通用解决方案中的一项阶段性。从合成效果来看,汽车行驶视频中还是存在很多瑕疵:画面锯齿,抖动的景观,扭曲的空间……

  这项技术暂时还处于原始阶段,因为文献太少嘛,还正在起步。但是相信用不了多久,它的技术不断迭代之后,一旦能够满足视效行业的需求,将对行业产生巨大的影响。

  不过话说回来,科技的发展总有一天会把重复性的劳动由机器代工。另外别忘了毕竟我们连围棋都已经下不过机器人了。拍电影的、做动画的,之后会有工作上的危机吗?

  今天和大家聊到这个项目的所有代码、模型,包括如何配置等一系列问题都可以在下方的地址中找到,感兴趣的小伙伴可以尝尝鲜哦~

新万博体育,新万博体育官网,新万博体育国际