世界商业网

热门关键词: 

皮克斯如何使用AI和GAN来创建高分辨率内容

来源:未知 作者:世界商业网 人气: 发布时间:2020-07-20
摘要:皮克斯如何使用AI和GAN来创建高分辨率内容
随着数字动画制作人员不断突破技术和创造力的界限,支持它们的技术团队正在转向人工智能和机器学习,以提供所需的工具。皮克斯(Pixar)就是这种情况,该公司在机器学习方面取得了新的突破,希望能够提高质量并降低成本。
 
皮克斯动画工作室(Pixar Animation Studios)技术总监Vaibhav Vavilala在认真研究了最近的科学文献并监视了母公司迪士尼的研发实验室的工作之后,一直在领导其中的一些工作。Vavilala说,这些进展有可能在生产的某些阶段将Pixar的数据中心占地面积减少一半。
 
 
 
Vavilala在VentureBeat的Transform 2020会议上的演讲中发表了自己的看法。
 
近年来,Vavilala曾在可可,超人特工队2和玩具总动员4等皮克斯电影的照明和渲染优化团队中工作。但是几年前,他开始关注“深度学习超分辨率”这一概念。Vavilala和皮克斯(Pixar)的合作者Mark Meyer发表了一篇技术论文,详细介绍了他们的工作。
 
Vavilala在演讲中解释说,数字动画行业面临的主要挑战是在高分辨率(例如2K或4K)下渲染动画的时间和成本。
 
他说:“以2K分辨率渲染一帧通常至少需要50个CPU小时,”他说。“对于90分钟的电影,我们每秒渲染24帧,并且随着艺术家的迭代,渲染多次镜头。此外,我们在给定时间放映多部电影。所有这些加在一起导致对渲染场的大量需求,而渲染场是一种有限的资源。如果我们以更高的分辨率(例如4K)进行渲染,那将是像素的四倍,而成本则要高出一倍以上。”
 
实际上,随着当前系统的发展,动画师和技术团队之间发生了一些猫捉老鼠的游戏,因此解决此问题变得很复杂。
 
他说:“随着更好的技术使渲染变得更便宜,艺术家通常会试图通过突破更多的灯光,更多的几何形状,更多的雾度和更复杂的照明等创造性界限来吞噬这些收益,”他说。“所有这些通常会导致更长的渲染时间。当然,永久需要更多内容。因此,仍然有创新的空间可以使渲染更便宜。”
 
这导致Vavilala进入了深度学习的超级分辨率。实际上,该技术将使动画师以较低的分辨率创建其作品,然后机器学习系统会将其“放大”为较高的分辨率。
 
为了发展这个想法,Vavilala设置了PyTorch开发环境,然后准备了带有Nvidia GPU的Linux实例。然后,他的团队开始使用来自最新皮克斯电影的高分辨率和低分辨率图像来训练系统。
 
教系统正确地填充诸如光和颜色之类的细节是很棘手的。因此,该团队求助于生成对抗网络(GAN)以帮助改善结果。
 
GAN是一种机器学习,其中两个神经网络互相作用以产生所需的结果。通常,这包括用于样本的生成器,然后包括鉴别器,该鉴别器识别差异以最终使两个图像协调一致。
 
在Pixar的情况下,将高分辨率渲染从其渲染场转移到其单独的放大系统上会产生有趣的效率提升。
 
Vavilala表示,最新模型表明,当以1K渲染图像,然后转移到第二个系统放大到2K时,工作室可以节省渲染场处理空间的50%至75%。他希望这项技术可以在未来的产品中使用。
 
他说:“要想达到接近生产就绪的水平,就需要进行大量的试验和迭代。”
 
最后,瓦维拉拉说,皮克斯在这一领域的实验为其他行业的公司提供了一些教训。
 
“促进冒险在你的组织文化,”他说。“我在皮克斯(Pixar)的观察之一是,人们在电影制作的早期就​​对新技术和实验持开放态度。但是一旦进入生产阶段,我们就会专注于稳定性,并尝试避免技术中断。如果您可以在冒险和经过实践检验的流程之间找到平衡,那么您就可以成功地进行创新,并且可以避免混乱。”
责任编辑:世界商业网
首页 | 新闻 | 国内 | 商品 | 财经 | 贸易 | 企业 | 图片 | 视频 | 各国

2007-2018 世界商业网 版权所有 www.sijii.com  技术支持:世商社

电脑版 | 移动版